Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Sintesi Tecnica: Evidenza Causale per la Preemption Statistica negli LLM

Enunciato del Problema
Il lavoro affronta il "Paradosso di Baker", un enigma fondamentale nell'acquisizione linguistica: come gli apprendenti acquisiscono la conoscenza di ciò che è inaccettabile (evidenza negativa) senza mai ricevere l'indicazione esplicita che certe frasi sono errate. Nel contesto della Grammatica Costruttiva, due ipotesi concorrenti tentano di spiegare questo "ritiro dalla generalizzazione eccessiva":

1. Preemption Statistica: Gli apprendenti acquisiscono conoscenze negative monitorando la frequenza di forme concorrenti specifiche e convenzionali (ad esempio, sentire frequentemente "donated the books to the library" preempe la forma non attestata "*donated the library the books").
2. Incrustazione (Entrenchment): Gli apprendenti resistono a costruzioni nuove semplicemente perché il verbo è incontrato frequentemente in qualsiasi costruzione, riducendo la disponibilità a utilizzarlo in nuovi frame.

Mentre gli studi comportamentali hanno dibattuto questi meccanismi, il lavoro ipotizza che i Modelli Linguistici di Grande Dimensione (LLM), addestrati puramente su statistiche distribuzionali senza istruzione grammaticale esplicita, offrano un ambiente controllato per verificare se l'apprendimento distribuzionale da solo sia sufficiente ad acquisire questa conoscenza negativa.

Metodologia
Gli autori hanno condotto quattro esperimenti che coprono 120 coppie verbo-costruzione in inglese su tre tipi di alternanza: dativa, causativa e locativa. Hanno valutato 14 modelli appartenenti a quattro famiglie (GPT-2, Pythia, LLaMA-2, OLMo) con dimensioni comprese tra 124M e 70B parametri.

• Ipotesi di Collegamento: Lo studio utilizza la sorpresa (surprisal) a livello di parola ($S(w_t) = -\log_2 P(w_t | w_{<t})$) come proxy per l'accettabilità umana. La metrica chiave è la differenza di sorpresa ($\Delta S$) tra una forma "non convenzionale" (preemptata) e una forma "convenzionale".
• Esperimento 1 (Correlazionale): Ha verificato se i pattern di $\Delta S$ degli LLM correlano con i giudizi di accettabilità umani provenienti da tre dataset indipendenti (DAIS, Robenalt & Goldberg, Tachihara & Goldberg).
• Esperimento 2 (Dissociazione): Ha utilizzato un disegno +Competing/−Competing (adattato da Winkler et al., 2015) per dissociare la preemption dall'incrustazione. I verbi sono stati abbinati per frequenza complessiva ma differivano per l'esistenza di una specifica forma convenzionale concorrente. Lo studio ha impiegato correlazioni parziali non circolari rispetto ai dati umani per garantire che i risultati non fossero artefatti di statistiche corpus condivise.
• Esperimento 3 (Scaling): Ha analizzato la sensibilità alla preemption attraverso le dimensioni dei modelli (da 160M a 12B parametri in Pythia) per determinare se l'effetto scala secondo una legge di potenza.
• Esperimento 4 (Intervento Causale): Ha condotto un fine-tuning controllato su GPT-2 124M con frequenze manipolate. Sono stati testati tre condizioni:
  • Amplificata: Aumento della frequenza della forma convenzionale.
  • Attenuata: Uguaglianza delle frequenze di entrambe le forme.
  • Inversa: Aumento della frequenza della forma non convenzionale (un controllo per escludere una semplice sensibilità alla frequenza).
  • L'esperimento è stato replicato su cinque semi casuali.

Risultati Chiave

1. Allineamento Umano-LLM: I pattern di sorpresa degli LLM correlano fortemente con i giudizi di accettabilità umani ($r = 0.79$ per LLaMA-2 7B rispetto al benchmark DAIS), validati su tre dataset comportamentali indipendenti.
2. Preemption vs Incrustazione: Gli effetti osservati sono guidati dalla frequenza della forma concorrente, non dalla frequenza complessiva del verbo. Nel disegno +Competing/−Competing, i verbi con una forma convenzionale concorrente hanno mostrato un $\Delta S$ significativamente più alto rispetto ai verbi abbinati per frequenza senza tale concorrente. Le correlazioni parziali hanno confermato che la preemption spiega la varianza nei dati umani ($r_{partial} = 0.58$) mentre l'incrustazione no.
3. Scaling: La sensibilità alla preemption scala secondo una legge di potenza con la dimensione del modello ($r(N) = a \cdot N^b + c$), con un esponente $b \approx 0.092$, indicando rendimenti decrescenti ma nessuna transizione di fase improvvisa.
4. Evidenza Causale: Gli interventi di fine-tuning hanno causalmente spostato il comportamento di preemption. Aumentare la frequenza della forma convenzionale ha rafforzato la preemption ($\Delta \Delta S = +0.73$), mentre aumentare la frequenza della forma non convenzionale ha avuto un effetto significativamente più debole ($\Delta \Delta S = -0.29$). Questa asimmetria supporta la teoria secondo cui la preemption opera attraverso la forza inibitoria delle alternative consolidate, piuttosto che una semplice sensibilità alla frequenza.

Significato e Affermazioni
Il lavoro afferma di fornire il primo studio computazionale a dissociare direttamente la preemption statistica dall'incrustazione all'interno di un singolo disegno convergente utilizzando gli LLM. I suoi contributi principali sono:

• Validazione Meccanicistica: Dimostra che i modelli linguistici neurali acquisiscono conoscenze linguistiche negative attraverso la competizione distribuzionale, supportando il meccanismo centrale della Grammatica Costruttiva.
• Prova Causale: Attraverso il fine-tuning controllato e i controlli in direzione inversa, offre evidenza causale che la manipolazione delle frequenze delle forme concorrenti sposta il comportamento del modello nella direzione prevista dalla teoria della preemption.
• Rigor Metodologico: Affronta le preoccupazioni di circolarità nel lavoro precedente utilizzando correlazioni parziali non circolari rispetto ai dati umani e impiegando un controllo in direzione inversa per escludere spiegazioni tautologiche basate sulla sensibilità alla frequenza.
• Generalizzabilità: I risultati valgono per molteplici tipi di costruzioni (dativa, causativa, locativa) e architetture di modelli.

Gli autori posizionano il loro lavoro come un complemento agli studi causali esistenti (ad esempio, Yao et al., 2025; Misra e Mahowald, 2024), notando che, sebbene non rivendichino priorità unica per l'evidenza "causale", la loro specifica combinazione di dissociazione preemption-incrustazione, validazione non circolare e controlli di asimmetria in direzione inversa fornisce una linea di evidenza robusta e convergente. Lo studio conclude che per l'inglese, il Paradosso di Baker ha una risposta nell'apprendimento distribuzionale: i modelli sviluppano una sensibilità alla preemption plasmata dalla frequenza dei concorrenti convenzionali, rispecchiando l'acquisizione umana.