Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

Sintesi Tecnica: Variabilità Semantica delle Risposte Generate da LLM tra diversi LLM

Problematica
L'integrazione dei Large Language Models (LLM) nelle valutazioni basate sulla conversazione introduce una tensione fondamentale tra adattività e standardizzazione. Sebbene gli LLM consentano interazioni naturali e dinamiche, necessarie per misurare competenze complesse come la comunicazione e la collaborazione, la loro natura generativa crea variabilità. Diversi apprendisti possono sperimentare percorsi di interazione divergenti, e input identici da parte dell'apprendista possono produrre risposte semanticamente distinte a seconda del modello LLM specifico, della configurazione del prompt, delle impostazioni di distribuzione o della cronologia della chat precedente.

La sfida centrale della misurazione non è l'esistenza della variabilità in sé, ma se tale variabilità rimanga entro limiti accettabili per preservare la validità, l'affidabilità e l'equità della valutazione. Se non controllata, l'incoerenza semantica tra versioni del modello o contesti conversazionali può introdurre varianza irrilevante rispetto al costrutto, minacciando la comparabilità delle condizioni di valutazione nel tempo, specialmente data l'evoluzione rapida e il frequente ritiro degli LLM.

Metodologia
Questo studio ha esaminato empiricamente la variabilità semantica delle risposte generate da LLM attraverso diversi modelli e condizioni di contesto conversazionale, utilizzando dati provenienti da compiti reali di risoluzione collaborativa di problemi in diadi.

• Fonte dei Dati: Lo studio ha utilizzato 61 "messaggi focali" selezionati da 99 team di partecipanti umani impegnati in compiti scientifici online. Questi messaggi sono stati scelti dalla fase avanzata delle conversazioni, dove le risposte umane erano codificate come altamente rilevanti, garantendo un contesto precedente ricco e risposte interpretabili.
• Condizioni Sperimentali: Sono stati valutati quattro LLM: GPT-4o mini, GPT-5.4, GPT-5.4 mini e GPT-5.4 nano. Ogni modello è stato testato sotto due condizioni di prompting:
  1. Senza Cronologia (No History): Il prompt conteneva solo l'istruzione di sistema e il messaggio focale.
  2. Con Cronologia (With History): Il prompt includeva l'istruzione di sistema, il messaggio focale e tutti i turni conversazionali precedenti.
• Protocollo di Generazione: Per ogni messaggio focale e condizione, ogni LLM ha generato 100 risposte indipendenti. La temperatura è stata impostata a 0.7 dove supportato (specificamente per GPT-4o mini) per simulare la variabilità naturale della risposta.
• Metriche di Similarità Semantica: La similarità semantica è stata quantificata tramite la similarità del coseno degli embedding testuali generati dal modello text-embedding-3-large di OpenAI. Lo studio ha analizzato:
  • Similarità Intra-Modello (Within-Model Similarity): La media della similarità a coppie tra le 100 risposte generate da un singolo modello.
  • Similarità Inter-Modello (Cross-Model Similarity): La media della similarità tra risposte generate da modelli diversi.
  • Allineamento con l'Umano (Human Alignment): La similarità tra le risposte degli LLM e le risposte umane originali.
  • Sensibilità al Contesto (Context Sensitivity): La similarità tra le risposte generate con e senza cronologia della chat per lo stesso messaggio focale.
• Analisi Statistica: Sono stati applicati modelli lineari a effetti misti per stimare gli effetti del tipo di LLM e della condizione di cronologia della chat su due esiti: la media della similarità a coppie (coerenza semantica) e la deviazione standard della similarità a coppie (variabilità semantica).

Risultati Chiave

• Dipendenza dal Modello: La coerenza della risposta è fortemente influenzata dall'architettura e dalla linea di derivazione del modello. Le risposte generate dallo stesso LLM sono state costantemente più simili tra loro (similarità intra-LLM compresa tra 0.715 e 0.795) rispetto alle risposte generate da diversi LLM (similarità inter-LLM compresa tra 0.443 e 0.604). I modelli appartenenti alla stessa famiglia (ad esempio, varianti di GPT-5.4) hanno mostrato una maggiore similarità inter-modello rispetto ai modelli tra diverse generazioni (ad esempio, GPT-4o mini vs. GPT-5.4).
• Impatto della Cronologia della Chat: L'inclusione della cronologia conversazionale non ha aumentato universalmente la similarità delle risposte.
  • Nella condizione "No History", è stata riscontrata una forte correlazione positiva tra la similarità semantica dei messaggi focali e la similarità delle risposte generate, indicando che le risposte erano ancorate all'input immediato.
  • Nella condizione "With History", questa correlazione si è indebolita, suggerendo che la cronologia della chat ha introdotto informazioni contestuali che hanno reso le risposte meno dipendenti dal solo messaggio focale.
  • Statisticamente, la condizione "With History" ha generalmente aumentato la variabilità (deviazione standard) delle risposte per il modello di riferimento (GPT-4o mini). Mentre i termini di interazione per GPT-5.4 e GPT-5.4 mini erano positivi e significativi (indicando che erano meno negativamente influenzati dalla cronologia rispetto al modello di riferimento), GPT-5.4 mini ha mostrato un coefficiente di effetto principale negativo (-0.0014, p=0.924) e un'interazione positiva significativa (0.0505, p=0.017), suggerendo che la sua risposta all'inclusione della cronologia differisce dal modello di riferimento ma non implica uniformemente una maggiore similarità media in tutte le condizioni.
• Allineamento con l'Umano: Le risposte generate dagli LLM sono state costantemente meno simili alle risposte umane rispetto a quanto lo fossero tra loro all'interno dello stesso modello. Sebbene l'inclusione della cronologia della chat abbia leggermente migliorato l'allineamento con le risposte umane, il divario è rimasto significativo.
• Variabilità tra Cronologie (Cross-History Variability): La similarità semantica tra le risposte generate con la cronologia rispetto a quelle generate senza cronologia è stata moderata (mediana ~0.40–0.45), indicando che l'aggiunta di contesto altera significativamente il contenuto semantico dell'output.
• Variazione per Modello: GPT-5.4 ha mostrato una varianza nella similarità a coppie significativamente superiore rispetto al modello di riferimento (GPT-4o mini), mentre GPT-5.4 nano ha mostrato una varianza significativamente inferiore.

Significatività e Rivendicazioni
L'articolo conclude che le strategie di prompting e il contesto conversazionale da soli sono insufficienti per garantire risposte semanticamente coerenti quando l'LLM sottostante cambia. Le conclusioni evidenziano che la scelta del modello è una variabile critica nella progettazione della valutazione.

L'autore sostiene che, man mano che gli LLM continuano a evolversi attraverso aggiornamenti e nuovi rilasci, mantenere condizioni di valutazione stabili diventa una sfida infrastrutturale piuttosto che un semplice problema di prompt engineering. Per preservare la validità e l'equità delle valutazioni basate sulla conversazione, i sistemi richiedono meccanismi aggiuntivi — come regole simboliche, template di risposta o livelli di validazione — per monitorare, testare e controllare il comportamento delle risposte attraverso le transizioni dei modelli. Queste strategie sono essenziali per prevenire la varianza irrilevante rispetto al costrutto e garantire che le condizioni di valutazione rimangano comparabili nel tempo.