To model human linguistic prediction, make LLMs less superhuman

Sintesi Tecnica: "Per modellare la previsione linguistica umana, rendi i LLM meno sovrumani"

Enunciato del Problema
I Large Language Models (LLM) sono stati storicamente utilizzati come modelli computazionali della previsione linguistica umana, operando sulla premessa che la loro capacità di prevedere le parole successive rifletta i processi cognitivi umani. Tuttavia, è emerso un paradosso: man mano che l'accuratezza nella previsione della parola successiva dei LLM mainstream è migliorata, la loro capacità di spiegare il comportamento di lettura umano (in particolare i tempi di lettura e i dati dell'eye-tracking) è diminuita. L'articolo sostiene che questa divergenza si verifica perché i LLM attuali possiedono capacità predittive "sovrumane" guidate da capacità di memoria che superano di gran lunga quelle dei lettori umani. Nello specifico, i LLM esibiscono una memoria a lungo termine superiore (conservando vasti conoscenze fattuali ed esempi di addestramento) e una memoria a breve termine quasi perfetta (ricordando fedelmente le parole da contesti distanti senza decadimento temporale), portando a previsioni che la media degli esseri umani non può fare.

Metodologia e Analisi
L'articolo sintetizza la letteratura empirica esistente e rianalizza la relazione tra le prestazioni del modello e l'allineamento ai dati umani.

• Sintesi della Letteratura: Gli autori esaminano la traiettoria degli studi che utilizzano i LLM per stimare la prevedibilità delle parole. Mettono a confronto i primi risultati (dove una migliore accuratezza predittiva correlava con un migliore allineamento ai tempi di lettura umani) con i risultati recenti (post-2022) ottenuti utilizzando potenti modelli basati su Transformer addestrati su dataset massicci.
• Rivalutazione dei Dati: Gli autori esaminano i risultati provenienti da corpora standard, inclusi il Natural Stories Corpus (lettura a ritmo auto-determinato) e il Dundee Corpus (eye-tracking). Osservano che, mentre i primi miglioramenti nell'accuratezza del modello hanno potenziato l'allineamento, ulteriori guadagni nell'accuratezza predittiva — guidati dall'aumento della scala del modello e dei dati di addestramento — hanno portato a una crescente disallineamento con i tempi di lettura umani.
• Analisi Meccanicistica: L'articolo seziona le differenze architetturali e di addestramento tra esseri umani e LLM:
  • Memoria a Lungo Termine: I LLM sono addestrati su ordini di grandezza di dati maggiori (ad esempio, 15 trilioni di parole per Llama 3 contro circa 100 milioni per un bambino di 12 anni) e conservano conoscenze fattuali (ad esempio, i luoghi di nascita di celebrità) ed espressioni multi-parola che gli esseri umani non possiedono o hanno dimenticato.
  • Memoria a Breve Termine: A differenza della memoria di lavoro umana, che decade nel tempo ed è soggetta a interferenze, le architetture Transformer mantengono un archivio "senza decadimento" delle parole precedenti tramite meccanismi di attenzione. Questo permette ai LLM di ricordare perfettamente entità menzionate migliaia di parole prima, una capacità che porta a una previsione quasi perfetta di testi ripetuti dove gli esseri umani mostrano difficoltà di elaborazione.

Contributi Chiave

1. Identificazione della "Sovrumaneità" come Ostacolo: L'articolo postula che il principale ostacolo all'uso dei LLM come modelli cognitivi non sia la mancanza di capacità, ma la loro capacità eccessiva. La loro memoria "sovrumana" permette loro di risolvere compiti di previsione che sono intrinsecamente difficili per gli esseri umani a causa di lacune conoscitive o decadimento della memoria.
2. Diagnosi delle Discrepanze di Memoria: Gli autori attribuiscono esplicitamente il disallineamento a due specifici fallimenti della memoria:
   • Disallineamento di Familiarità: I LLM possiedono conoscenze fattuali ed esposizione a testi specifici (ad esempio, la Dichiarazione di Indipendenza) che il lettore umano medio non possiede.
   • Disallineamento di Richiamo: I LLM mancano del decadimento temporale e degli effetti di interferenza intrinseci alla memoria a breve termine umana, permettendo loro di risolvere ambiguità sintattiche e richiamare entità ripetute con accuratezza perfetta, mentre gli esseri umani faticano.
3. Proposta per una Modellazione Umano-Simile: L'articolo sostiene un cambiamento negli obiettivi di modellazione, passando dalla massimizzazione dell'accuratezza predittiva alla massimizzazione della "somiglianza umana". Ciò comporta lo sviluppo di LLM con vincoli di memoria su scala umana.

Risultati ed Evidenze

• Trend di Divergenza: L'analisi dei modelli di regressione che adattano le probabilità dei LLM ai tempi di lettura umani mostra una relazione non monotona. Gli aumenti iniziali nell'accuratezza del modello migliorano l'adattamento, ma oltre una certa soglia, ulteriori guadagni di accuratezza degradano l'adattamento.
• Studi di Manipolazione della Memoria: L'articolo cita prove che limitare l'accesso dei LLM al contesto migliora l'allineamento. Ad esempio, sminuire il peso delle parole ad alta frequenza in frasi profondamente incorporate o restringere la finestra di attenzione alle parole recenti riduce il disallineamento tra le probabilità del modello e i tempi di lettura umani.
• Effetti dei Dati di Addestramento: I modelli addestrati su dataset più piccoli e curati (ad esempio, la BabyLM Challenge) o su domini specializzati mostrano un migliore allineamento con il comportamento di lettura umano rispetto a quelli addestrati su corpora generali massicci, suggerendo che limitare l'esposizione ai dati previene l'acquisizione di competenze "sovrumane".

Significato e Direzioni Future
L'articolo conclude che affinché i LLM possano servire come modelli validi della comprensione del linguaggio umano, devono essere "resi meno sovrumani". Gli autori delineano diverse direzioni per raggiungere questo obiettivo:

• Cura dei Dati di Addestramento: Limitare i dati di addestramento a quantità su scala umana (ad esempio, ~100 milioni di parole) per prevenire la memorizzazione di fatti oscuri e ridurre lo sviluppo di meccanismi di memoria a breve termine perfetti.
• Cambiamenti Architetturali: Esplorare architetture di reti neurali ricorrenti che forzano la compressione degli input e implementano un decadimento simile a quello umano, o modificare i meccanismi di attenzione dei Transformer per introdurre colli di bottiglia e funzioni di decadimento.
• Obiettivi di Addestramento: Spostarsi da obiettivi che premiano previsioni "lessicalmente nitide" (assegnare alta probabilità alla singola parola corretta) a obiettivi che incoraggiano previsioni "diffuse" (assegnare massa di probabilità a parole semanticamente simili), riflettendo meglio l'incertezza umana.
• Interventi Post-hoc: Utilizzare tecniche di modifica del modello per "dimenticare" conoscenze fattuali specifiche che gli esseri umani tipicamente non possiedono.
• Nuovi Paradigmi Sperimentali: Gli autori chiedono esperimenti umani mirati per valutare i progressi. Questi esperimenti dovrebbero manipolare sistematicamente la conoscenza a lungo termine (tramite questionari) e i carichi di memoria a breve termine (tramite richiamo di liste e testo intermedio) per stabilire un nesso causale tra vincoli di memoria e comportamento di lettura.

L'articolo sottolinea che colmare il divario tra LLM ed esseri umani richiede non solo modelli migliori, ma modelli vincolati dalle limitazioni umane in termini di memoria e conoscenza.