Sintesi Tecnica: Test della Validità della Similarità e del Clustering basati su Embedding per Soluzioni di Fisica Scritte a Mano

Definizione del Problema

Nella didattica della fisica, una valutazione significativa richiede l'analisi del percorso risolutivo — non solo della risposta finale — per valutare la comprensione concettuale, la modellazione matematica e la coordinazione di diagrammi e equazioni. Sebbene esistano sistemi automatizzati, essi spesso limitano le risposte a opzioni a scelta multipla o risposte algebriche a forma chiusa, fallendo nel catturare l'ampiezza del ragionamento dello studente. Le soluzioni scritte a mano rimangono il gold standard per gli esami ad alta posta in gioco, ma richiederebbero un lavoro manuale eccessivo per essere corrette su larga scala.

Recenti progressi nei Large Language Models (LLM) e negli embedding testuali offrono un'alternativa computazionalmente efficiente per organizzare e confrontare grandi collezioni di testo. I metodi basati su embedding mappano il testo in spazi vettoriali ad alta dimensionalità, permettendo di calcolare le similarità a coppia in modo economico tramite operazioni vettoriali (ad esempio, la similarità del coseno) piuttosto che attraverso costose chiamate pairwise agli LLM. Tuttavia, rimane un divario critico di validità: sebbene gli embedding possano produrre cluster, non è chiaro se la geometria dello spazio di embedding preservi le distinzioni rilevanti per la valutazione. Nello specifico, la prossimità nello spazio di embedding corrisponde alla similarità nei punteggi assegnati dagli umani, o gli embedding raggruppano semplicemente le soluzioni in base a caratteristiche superficiali?

Metodologia

Lo studio ha valutato la validità della similarità e del clustering basati su embedding utilizzando un dataset di 992 soluzioni di problemi scritte a mano da un esame di termodinamica ingegneristica ad alto livello presso l'ETH di Zurigo. La metodologia ha coinvolto un design sperimentale a più stadi:

1. Preparazione dei Dati e Trascrizione

Le soluzioni scritte a mano sono state trascritte in testo utilizzando un LLM multimodale (GPT-5.4) sotto cinque diverse condizioni di trascrizione per variare il grado di normalizzazione e interpretazione:

• ASCII Verbatim: Normalizzazione minima; preserva la notazione idiosincratica e il layout in ASCII semplice.
• Orientata al LaTeX: Espressioni matematiche convertite in LaTeX; la prosa rimane in testo semplice.
• Narrativa delle Formule: Formule e passaggi simbolici narrati in linguaggio naturale mantenendo le variabili originali.
• Narrativa della Soluzione: Un resoconto narrativo conciso del processo di soluzione visibile dello studente, evitando termini valutativi.
• Ibrida Strutturata: Una rappresentazione strutturata con intestazioni fisse (es. etichette del problema, formule, diagrammi, metodo apparente) che combina il contenuto letterale con l'organizzazione strutturale.

Fondamentalmente, i prompt di trascrizione proibivano esplicitamente al modello di risolvere i problemi, correggere errori o assegnare punteggi.

2. Generazione degli Embedding

Ciascuna delle cinque rappresentazioni testuali è stata elaborata utilizzando nove meccanismi di embedding:

• Generale: text-embedding-3-large di OpenAI.
• Jina Embeddings v4: Vari adapter (text-retrieval, text-matching) e livelli di quantizzazione (F16, Q8, Q4).
• Specializzato in Matematica: Modelli Qwen 2.5-Math (1.5B e 7B parametri), dove gli stati nascosti dell'ultimo strato sono stati sottoposti a mean-pooling per creare i vettori.

Ciò ha prodotto un totale di 44.640 vettori di embedding utilizzabili (9 meccanismi × 5 rappresentazioni × 992 risposte).

3. Metriche di Valutazione

I punteggi assegnati dagli umani hanno servito come standard di riferimento esterno ma non sono stati utilizzati durante la generazione degli embedding o il clustering. Sono state condotte due analisi primarie:

• Similarità a Coppie: Correlazione (Pearson e Spearman) tra la similarità degli embedding e la differenza assoluta negativa nei punteggi umani.
• Clustering Gerarchico: Il clustering agglomerativo (average e complete linkage) è stato eseguito sulle matrici di distanza derivate dagli embedding. La qualità dei cluster è stata misurata dalla deviazione standard ponderata del punteggio entro il cluster e dalla copertura degli studenti in "cluster utili" (dimensione ≥ 5).

4. Validazione Sintetica

Un dataset sintetico di affermazioni riguardanti il lavoro di un motore di Carnot è stato creato per testare se gli embedding raggruppano per correttezza concettuale (famiglie di errori) o per formulazione superficiale (coppie di affermazioni). Questo "sistema giocattolo" ha permesso un esame controllato per verificare se gli embedding si comportino come esperti (raggruppando per principio) o come novizi (raggruppando per caratteristiche superficiali).

Risultati Chiave

1. Debole Correlazione tra Embedding e Similarità dei Punteggi

In tutti i modelli e le rappresentazioni, la similarità degli embedding ha mostrato una relazione costante ma modesta con la similarità dei punteggi.

• La migliore correlazione di Spearman è stata 0.198 (Hybrid structured + Qwen 7B + similarità del coseno).
• Anche i percentili di similarità più elevati mantenevano una sostanziale variazione di punteggio; le coppie con alta similarità di embedding non avevano necessariamente punteggi simili.
• La relazione non era abbastanza lineare da servire come affidabile proxy per l'equivalenza della valutazione.

2. Il Clustering Produce Gruppi Arricchiti dal Punteggio ma non Equivalenti al Punteggio

Il clustering gerarchico ha prodotto gruppi leggermente più omogenei nel punteggio rispetto ai raggruppamenti casuali, ma la variazione rimaneva alta.

• La migliore configurazione (Formula narrative + Jina Retrieval Q8 + centroide del coseno + complete linkage) ha ottenuto una deviazione standard del punteggio nei cluster utili di 2.547 punti.
• L'intervallo di punteggio all'interno di questi "migliori" cluster era di circa 7-9 punti, indicando che i cluster contenevano un ampio mix di livelli di prestazione.
• Impatto della Trascrizione: Le rappresentazioni narrative e strutturate hanno generalmente superato le trascrizioni letterali (ASCII/LaTeX), suggerendo che convertire il lavoro simbolico in testo semanticamente esplicito aiuti gli embedding a catturare parte della struttura rilevante per la valutazione.
• Impatto del Modello: Le differenze tra i meccanismi di embedding sono state marginali; nessun singolo modello ha superato decisamente gli altri in tutte le condizioni.

3. Il Comportamento "Novizio" degli Embedding

L'analisi dei dati sintetici ha rivelato un limite critico: gli embedding tendevano a raggruppare le affermazioni in base alla formulazione superficiale piuttosto che alla correttezza concettuale.

• Nei layout a forza (force-directed), le affermazioni corrette e le loro varianti errate (che condividono lo stesso schema di parole) si raggruppavano insieme.
• Al contrario, affermazioni che condividevano lo stesso errore concettuale ma con formulazioni diverse erano spesso separate.
• Questo comportamento rispecchia lo stile di categorizzazione dei "novizi" nella didattica della fisica (raggruppamento per caratteristiche superficiali) piuttosto che lo stile degli "esperti" (raggruppamento per principi sottostanti).

Significato e Rivendicazioni

L'articolo conclude che gli attuali embedding testuali non forniscono una base validata e non supervisionata per la valutazione di soluzioni di fisica scritte a mano.

• Limite di Validità: Sebbene la geometria degli embedding sia "arricchita dal punteggio" (contiene un segnale relativo ai punteggi umani), non è "equivalente al punteggio". Un'alta similarità di embedding non implica equivalenza di valutazione.
• Ruolo nella Valutazione: Gli embedding sono adatti per l'organizzazione esplorativa, come la navigazione in grandi set di risposte, la selezione di esempi esemplari, l'identificazione di soluzioni insolite o il supporto ai flussi di lavoro di revisione con intervento umano. Non sono sufficienti per una valutazione autonoma senza una validazione esterna rispetto allo specifico costrutto di valutazione.
• Superficie vs Concetto: Lo studio suggerisce che gli attuali meccanismi di embedding si comportano come novizi, fortemente influenzati da caratteristiche superficiali (notazione, layout, fraseggio) piuttosto che dalla profonda struttura concettuale richiesta per la valutazione della fisica.
• Direzione Futura: Gli autori sostengono che la valutazione tramite LLM consapevole della rubrica o i sistemi human-in-the-loop con filtro di confidenza siano vie più promettenti rispetto al semplice affidamento sulla geometria degli embedding non supervisionati. Lo studio enfatizza che i risultati del clustering dovrebbero essere trattati come ipotesi per l'ispezione umana piuttosto che come categorie di valutazione definitive.