A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

1. Enunciato del Problema

Mentre i Modelli Linguistici su Larga Scala (LM) hanno dimostrato comportamenti simili a quelli umani quando le loro risorse cognitive sono limitate (ad esempio, nella previsione dei tempi di lettura), non è ancora chiaro se tali vincoli alterino le loro strategie di comprensione delle frasi. Nello specifico, i LM, come gli esseri umani, tendono a spostarsi verso un ragionamento razionale (prioritizzando la plausibilità semantica rispetto alla struttura grammaticale rigorosa) quando sottoposti a un alto carico cognitivo?

I metodi esistenti per vincolare i LM (ad esempio, accorciando la lunghezza dell'input o riducendo i parametri del modello) soffrono di limitazioni metodologiche:

• Spesso non riescono a replicare l'equilibrio dinamico tra memorizzazione e elaborazione che caratterizza la memoria di lavoro umana.
• Confrontano tipicamente diverse configurazioni di modelli piuttosto che osservare come un singolo modello adatti la propria strategia in condizioni variabili.

2. Metodologia

2.1 Il Paradigma a Doppio Compito

Gli autori propongono un nuovo paradigma sperimentale ispirato ai compiti di Operation Span della psicolinguistica umana. In questa configurazione, i LM devono eseguire simultaneamente due compiti:

1. Comprensione della frase: Rispondere a domande Sì/No su una frase.
2. Calcolo aritmetico: Risolvere problemi aritmetici intercalati all'interno della frase.

Il formato di input intercala parole e problemi matematici (ad esempio, "Il 2 cocktail + mescolato 3 = ..."). I modelli vengono testati in tre condizioni:

• Compito Singolo: Leggere una frase e rispondere a una domanda (nessuna matematica).
• Compito Singolo Rumoroso: Leggere una frase con matematica incorporata ma ignorare la matematica e rispondere alla domanda.
• Doppio Compito: Leggere la frase, risolvere i problemi matematici e poi rispondere alla domanda di comprensione.

2.2 Dataset e Stimoli

• Fonte: Un sottoinsieme del dataset GELP (Asami e Sugawara, 2024).
• Variabili:
  • Plausibilità: Le frasi sono Plausibili (ad esempio, "Il barista ha mescolato il cocktail") o Implausibili (ad esempio, "Il cocktail ha mescolato il barista").
  • Costruzione: Sono state testate sei strutture sintattiche (Transitiva, Passiva, Dativa, Soggetto Esperiente, Oggetto Esperiente, Benefattiva).
  • Aritmetica: Dieci tipi di problemi di addizione che variano per lunghezza delle cifre (1, 3, 5, 10, 30 cifre) e numero di addendi (2 o 3).
• Dati Totali: 2.560 coppie frase-domanda.

2.3 Modelli e Partecipanti Umani

• LM Valutati: GPT-4o, o3-mini, o4-mini, GPT-4.1, DeepSeek-V3, Llama-3.3 e Gemma-3.
  • Criteri di Selezione: I modelli sono stati filtrati per garantire un'accuratezza >70% sulle frasi implausibili nel Compito Singolo e un'accuratezza >80% sull'aritmetica a 1 cifra nel Doppio Compito.
• Esperimento Umano: 33 parlanti nativi inglesi reclutati tramite Prolific. Hanno eseguito gli stessi compiti (limitati all'aritmetica a 1 cifra a causa della difficoltà), fornendo una linea di base per gli effetti del carico cognitivo umano.

2.4 Metriche di Valutazione

Lo studio utilizza un approccio differenza-differenze per misurare l'"effetto di plausibilità" (il divario di accuratezza tra frasi plausibili e implausibili).

• Ipotesi: Se un modello adotta un ragionamento razionale sotto carico, il divario di accuratezza tra frasi plausibili e implausibili dovrebbe ampliarsi nel Doppio Compito rispetto ai compiti Singolo/Rumorosi. Questo perché il modello fallirà più spesso sulle frasi implausibili (interpretandole erroneamente come plausibili) mantenendo al contempo un'alta accuratezza su quelle plausibili.

3. Risultati Chiave

3.1 Spostamento verso il Ragionamento Razionale

• GPT-4o, o3-mini e o4-mini hanno mostrato uno spostamento significativo verso il ragionamento razionale nella condizione di Doppio Compito.
  • Questi modelli hanno mostrato un divario di accuratezza maggiore tra frasi plausibili e implausibili nel Doppio Compito rispetto ai compiti Singolo/Rumorosi.
  • Nello specifico, la loro accuratezza sulle frasi implausibili è diminuita significativamente nel Doppio Compito, mentre l'accuratezza sulle frasi plausibili è rimasta alta. Ciò indica che hanno iniziato a interpretare le frasi implausibili basandosi sulla conoscenza del mondo (ad esempio, trattando "Il cocktail ha mescolato il barista" come "Il barista ha mescolato il cocktail") piuttosto che sulla struttura sintattica.
• Altri Modelli (GPT-4.1, DeepSeek-V3, Llama-3.3, Gemma-3): Hanno mostrato una ridotta accuratezza sia nei compiti Rumorosi che nel Doppio Compito, ma non hanno mostrato un aumento distinto nel divario di plausibilità, suggerendo che si sono affidati a modalità di fallimento diverse o non hanno cambiato strategia con la stessa intensità.

3.2 Pattern Specifici di Errore

• Vulnerabilità Sintattica: I modelli più inclini a errori di ragionamento razionale (GPT-4o, o3-mini, o4-mini) hanno avuto maggiori difficoltà con le costruzioni Passive, Dative e Benefattive.
  • Motivazione: Quando le parole funzionali (ad esempio, "da", "a", "per") vengono ignorate a causa del carico cognitivo, le parole di contenuto rimanenti formano spesso una sequenza semanticamente plausibile (ad esempio, "barista mescola cocktail"). I modelli si affidano all'ordine superficiale delle parole e alla conoscenza del mondo piuttosto che alle parole funzionali.
• Bias di Acquiescenza: Gli errori sono stati più frequenti quando la risposta corretta era "No". I modelli tendevano a rispondere "Sì" (acquiescenza), riflettendo il bias umano di dire "sì" sotto carico cognitivo.
• Scalabilità del Carico Cognitivo: I tassi di errore sono aumentati con la complessità dell'aritmetica (ad esempio, problemi a 30 cifre), confermando che l'effetto è guidato dall'esaurimento delle risorse.

3.3 Confronto con gli Esseri Umani

I partecipanti umani hanno mostrato lo stesso pattern: un'accuratezza complessiva inferiore e un divario di plausibilità significativamente maggiore nel Doppio Compito (differenza di 0,064) rispetto ai compiti Singolo (0,025) e Rumoroso (0,035). Ciò valida che il comportamento dei LM rispecchia i limiti cognitivi umani.

4. Contributi Chiave

1. Nuovo Paradigma: Introduzione di un Paradigma a Doppio Compito che vincola efficacemente l'equilibrio tra memorizzazione ed elaborazione nei LM, mimando la memoria di lavoro umana con maggiore precisione rispetto ai precedenti vincoli basati sulla lunghezza o sui parametri.
2. Evidenza di Ragionamento Razionale: Dimostrazione che specifici LM avanzati (GPT-4o, o3-mini, o4-mini) si spostano verso un ragionamento razionale (prioritizzando la plausibilità rispetto alla sintassi) quando le risorse cognitive sono sollecitate, un comportamento precedentemente osservato principalmente negli esseri umani.
3. Identificazione del Meccanismo: Identificazione che sotto carico, i modelli si affidano a sequenze superficiali di parole e conoscenza del mondo trascurando le parole funzionali, in particolare in strutture sintattiche complesse come passive e dativi.
4. Estensione Teorica: Estensione della comprensione della comprensione del linguaggio simile a quella umana dai "costi di lettura" (velocità di elaborazione) alle "strategie di lettura" (logica di interpretazione), sostenendo la visione che l'allocazione delle risorse è fondamentale per una comprensione simile a quella umana.

5. Significato e Implicazioni

• Modellazione Cognitiva: Lo studio fornisce prove solide che i LM non sono semplici abbinatori statistici di pattern, ma utilizzano meccanismi analoghi alla memoria di lavoro umana. Quando queste risorse sono sollecitate, esibiscono le stesse strategie di elaborazione "abbastanza buone" degli esseri umani.
• Sicurezza e Affidabilità: I risultati suggeriscono che sotto un alto carico cognitivo (ad esempio, ragionamento complesso multi-step), i LM possono degradare le loro capacità di elaborazione sintattica, portando a allucinazioni in cui forzano interpretazioni semanticamente plausibili ma fattualmente errate.
• Ricerca Futura: Il paradigma offre uno strumento robusto per indagare i meccanismi interni dei LM (ad esempio, i meccanismi di attenzione come memoria di lavoro) e per condurre confronti più rigorosi tra umani e LM.

Conclusione

Il paper conclude che il carico cognitivo indotto dal compito, piuttosto che la semplice lunghezza dell'input, è un fattore critico nel vincolare i LM. Costringendo i modelli a bilanciare la memorizzazione (risolvere la matematica) con l'elaborazione (comprendere le frasi), lo studio rivela che i LM avanzati adottano strategie di ragionamento razionale simili a quelle umane, priorizzando la plausibilità semantica quando le loro risorse cognitive sono insufficienti per mantenere un'analisi sintattica rigorosa.