Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

Riepilogo Tecnico: Colmare il Divario: Esplorare Perché la Sorpresa dei Modelli Linguistici Supera la Sorpresa del Cloze

Enunciato del Problema
La prevedibilità di una parola nel contesto è una metrica fondamentale per comprendere la comprensione linguistica e lo sforzo di elaborazione. Tradizionalmente, ciò è stato quantificato utilizzando il compito cloze, in cui i partecipanti umani completano frasi incomplete. Più recentemente, le probabilità dei Modelli Linguistici (LM) (in particolare la sorpresa, definita come log-probabilità negativa) sono emerse come alternativa. Sebbene studi recenti indichino che la sorpresa dei LM superi generalmente quella del cloze come predittore dei tempi di lettura (RT), sostituire semplicemente il compito cloze con i LM basandosi su metriche di adattamento è scientificamente prematuro. Predittori diversi possono portare a conclusioni divergenti riguardo ai meccanismi cognitivi della previsione (ad esempio, se gli effetti sono facilitatori o costosi). Il problema centrale affrontato è identificare perché le probabilità dei LM forniscono un adattamento migliore ai dati umani: è perché i LM catturano genuini meccanismi di previsione simili a quelli umani, o perché possiedono vantaggi tecnici (ad esempio, risoluzione più elevata, granularità semantica) che il compito cloze non ha?

Metodologia
Gli autori hanno condotto uno studio sperimentale in tre parti utilizzando quattro dataset inglesi di tempi di lettura (BK21 SPR, Provo ET, UCL SPR/ET) con norme di risposta cloze disponibili.

1. Esperimento 1: Confronto di Base e Ottimizzazione

   • Obiettivo: Ristabilire la superiorità della sorpresa dei LM rispetto alla sorpresa del cloze e determinare la trasformazione matematica ottimale per le probabilità del cloze.
   • Metodo: Gli autori hanno adattato modelli di regressione a effetti misti lineari (LME) per predire i tempi di lettura parola per parola. Hanno confrontato modelli utilizzando:
     • Sorpresa LM: Calcolata utilizzando GPT-2 (piccolo).
     • Sorpresa Cloze: Derivata dalle risposte umane, soggetta a varie tecniche di smoothing (smoothing add-one con $V$ variabile) e trasformazioni funzionali (probabilità grezza, sorpresa grezza e trasformazioni di potenza della sorpresa).
   • Analisi: I modelli sono stati valutati utilizzando la verosimiglianza logaritmica con convalida incrociata a 10 fold. Gli autori hanno testato se la sorpresa dei LM assorba il potere predittivo della sorpresa del cloze e viceversa.

2. Esperimento 2: Manipolazioni Guidate da Ipotesi

   • Obiettivo: Isolare i fattori specifici che contribuiscono alla superiorità dei LM manipolando le probabilità di GPT-2 per corrispondere alle limitazioni del compito cloze.
   • Ipotesi 1 (Risoluzione): I LM soffrono meno della bassa risoluzione (dati sparsi) rispetto ai compiti cloze.
     • Manipolazione: Le probabilità di GPT-2 sono state ricampionate per corrispondere al numero esatto di campioni ($N$) disponibili nelle norme cloze per ogni contesto, abbassando efficacemente la risoluzione del LM a quella dei dati umani.
   • Ipotesi 2 (Semantica): I LM distinguono tra parole semanticamente simili (ad esempio, divano vs. sofa), mentre le previsioni umane potrebbero raggrupparle.
     • Manipolazione: Il vocabolario di GPT-2 è stato raggruppato utilizzando k-means sugli embedding dei token. La probabilità di una parola è stata sostituita dalla somma delle probabilità di tutte le parole nel suo cluster semantico, costringendo parole semanticamente simili a condividere la stessa massa di probabilità.
   • Ipotesi 3 (Frequenza): I LM assegnano probabilità a continuazioni a bassa frequenza che gli umani raramente producono.
     • Manipolazione: Il vocabolario di GPT-2 è stato limitato ai soli token ad alta frequenza; le probabilità per i token a bassa frequenza sono state azzerate e la distribuzione è stata rineormalizzata.

3. Esperimento 3: Combinazione di Probabilità Cloze e LM

   • Obiettivo: Esplorare se l'integrazione di informazioni di similarità nei dati cloze (Sorpresa Aggiustata per Similarità o SA) possa colmare il divario di prestazioni.
   • Metodo: Gli autori hanno calcolato la sorpresa SA sia per le risposte cloze che per i campioni di GPT-2. Questa metrica pesa la probabilità delle completamenti alternativi in base alla loro distanza semantica dalla parola osservata. Ciò è stato confrontato con la sorpresa cloze standard "conteggio-e-dividi".

Risultati Chiave

• Esperimento 1: La sorpresa dei LM (GPT-2) ha superato costantemente la sorpresa del cloze nella maggior parte delle misure di tempi di lettura (4 su 6), assorbendo il potere predittivo dei dati cloze. La trasformazione ottimale per i dati cloze è risultata essere la sorpresa al quadrato ($S(w_t)^2$) con un fattore di smoothing di $V=200$, sfidando l'assunzione di linearità negli effetti del cloze.
• Esperimento 2: Tutte e tre le ipotesi sono state supportate. Quando le probabilità di GPT-2 sono state manipulate per corrispondere alle limitazioni del compito cloze:
  • Risoluzione: Ridurre la risoluzione di GPT-2 per corrispondere alle dimensioni del campione cloze ha diminuito significativamente il suo adattamento predittivo.
  • Semantica: Raggruppare parole semanticamente simili (rimuovendo distinzioni fini) ha diminuito significativamente l'adattamento.
  • Frequenza: Limitare le probabilità alle parole ad alta frequenza ha diminuito significativamente l'adattamento.
  • Conclusione: Il vantaggio della sorpresa dei LM deriva dalla sua capacità di fornire stime ad alta risoluzione, distinguere tra parole semanticamente simili e modellare accuratamente le continuazioni a bassa frequenza.
• Esperimento 3: La sorpresa Aggiustata per Similarità (SA), sia derivata da risposte cloze che da campioni di GPT-2, ha performato male rispetto alle misure di sorpresa standard. Ciò suggerisce che semplicemente pesare le alternative in base alla distanza semantica non risolve il divario e che il metodo "conteggio-e-dividi" rimane una linea di base ragionevole per i dati cloze.

Significato e Affermazioni
Il paper sostiene che la prestazione superiore della sorpresa dei LM non è necessariamente una prova che i LM modellino perfettamente i meccanismi umani di previsione. Piuttosto, il vantaggio deriva dal fatto che i LM possiedono capacità tecniche (alta risoluzione, granularità semantica e copertura di elementi a bassa frequenza) che il tradizionale compito cloze non ha a causa della sua natura offline, basata sulla produzione, e delle dimensioni limitate del campione.

Gli autori affermano che:

1. Gli studi cloze necessitano di una risoluzione più elevata: Raccogliere semplicemente più risposte umane (oltre al tipico ~40-90 per frase) potrebbe migliorare il potere predittivo dei dati cloze, potenzialmente restringendo il divario con i LM.
2. La sensibilità della previsione umana è una questione aperta: Resta da determinare se i lettori umani facciano effettivamente distinzioni fini tra parole semanticamente simili o a bassa frequenza come fanno i LM. Esperimenti futuri dovrebbero testare se le aspettative umane siano sensibili a queste distinzioni.
3. Cautela metodologica: I ricercatori non dovrebbero sostituire il compito cloze con i LM basandosi esclusivamente su metriche di adattamento. Comprendere la fonte della differenza di adattamento è cruciale per trarre conclusioni scientifiche valide sul ruolo della previsione nella comprensione linguistica. Gli autori sostengono lo sviluppo di compiti alternativi (ad esempio, cloze a tempo o compiti labirinto) che catturino meglio le intuizioni probabilistiche in tempo reale piuttosto che la produzione offline.