Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Questo studio dimostra che i modelli linguistici neurali apprendono le eccezioni alla passivizzazione in inglese sia attraverso la frequenza d'uso (intrenchment) che attraverso la semantica (coinvolgimento), confermando la validità della manipolazione dei dati di addestramento come metodo per indagare i meccanismi di acquisizione linguistica.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza conoscenze tecniche di linguistica o intelligenza artificiale.

🧠 Il Mistero della "Regola con le Eccezioni"

Immagina che la grammatica inglese sia come un gioco di costruzioni (tipo LEGO). C'è una regola generale molto potente: "Se hai un blocco che fa un'azione (un verbo), puoi sempre girarlo al contrario per dire chi ha subito l'azione".

• Esempio: "Il gatto ha mangiato il topo" → "Il topo è stato mangiato dal gatto". Funziona quasi sempre!

Ma ci sono dei blocchi difettosi (i verbi "strani") che non funzionano se li giri al contrario.

• Esempio: "La riunione è durata un'ora" (OK) → "Un'ora è stata durata dalla riunione" (NO! Suona terribile).

La domanda che si fanno gli scienziati è: Come fa un bambino (o un computer) a capire che certi blocchi non si possono girare, se nessuno gli dice mai "Ehi, questo non farlo"? Non ricevono mai una lista di "divieti". Devono capirlo da soli guardando le frasi che sentono.

🤖 L'Esperimento: I Robot come Bambini

Gli autori dello studio (Cara e Tal) hanno usato dei modelli linguistici neurali (intelligenze artificiali simili a quelle che usi su WhatsApp o per scrivere email) come se fossero dei bambini robot.

Hanno fatto tre cose principali:

1. Il Test di Realtà (Esperimento 1)

Hanno prima chiesto a persone vere: "Quanto è accettabile dire 'X è stato fatto da Y'?" per molti verbi diversi.
Poi hanno fatto fare lo stesso test al loro "bambino robot", addestrandolo con 100 milioni di parole (una quantità di testo simile a quella che un bambino umano legge e ascolta fino all'adolescenza).

• Risultato: Il robot ha imparato benissimo! Ha giudicato le frasi quasi esattamente come gli umani. Capiva che "durata" non si può girare, ma "mangiato" sì. Questo significa che le risposte sono nascoste nel testo che leggiamo, non servono regole magiche nascoste nel cervello.

2. La Scatola Nera: Cosa ha imparato il robot? (Esperimenti 2 e 3)

Ora la domanda è: come ha fatto il robot a imparare queste regole? Ha usato due "indizi" principali?

• Indizio A: La Frequenza (L'Abitudine)

  • Metafora: Immagina di vedere un amico che ti saluta sempre con la mano destra. Se un giorno lo vedi usare la mano sinistra solo una volta, pensi che sia strano. Se lo vedi usare la mano sinistra mai, pensi che non sappia farlo.
  • Cosa hanno fatto: Hanno preso un verbo che di solito si usa molto al presente ("attivo") e raramente al passato ("passivo"). Hanno "pulito" il libro di addestramento del robot, togliendo quasi tutte le volte in cui quel verbo appariva al passato.
  • Risultato: Il robot ha iniziato a pensare che quel verbo non potesse essere usato al passato. La frequenza conta: più un verbo è "abituato" a stare in una posizione, meno il robot lo vuole spostare.

• Indizio B: Il Significato (Chi viene "colpito"?)

  • Metafora: Immagina di spingere una porta. La porta si muove, viene "colpita" dalla tua forza. Ma se dici "Il muro ha visto il sole", il muro non viene "colpito" o cambiato dal sole.
  • Cosa hanno fatto: Hanno preso un verbo strano (come "durare") e lo hanno messo in frasi dove il soggetto subiva un'azione forte (come "mangiare" o "rompere"). Hanno ingannato il robot facendogli credere che quel verbo strano agisse su qualcosa che veniva modificato.
  • Risultato: Il robot ha iniziato a pensare che quel verbo strano fosse più accettabile al passato. Il significato conta: se il verbo sembra "colpire" qualcuno, il robot è più propenso a girarlo.

3. Il Test Definitivo: Il Verbo Fantasma (Esperimento 3)

Per essere sicuri, hanno inventato un verbo che non esiste (un "verbo fantasma") e lo hanno inserito nel libro di addestramento.

• Lo hanno usato solo al presente, mai al passato.
• Lo hanno usato in contesti "forti" (dove qualcosa viene colpito) e in contesti "deboli" (dove nulla cambia).
• Hanno variato quante volte appariva (pochi o molti).

La scoperta finale:

1. Più il verbo fantasma appariva spesso al presente (senza mai al passato), più il robot pensava che non si potesse usare al passato. (L'abitudine vince).
2. Se il verbo appariva in contesti "forti" (dove qualcosa viene colpito), il robot lo accettava un po' di più al passato rispetto a contesti "deboli".
3. Importante: Questi due fattori (frequenza e significato) funzionano insieme ma separatamente. Non si influenzano a vicenda in modo complicato; sono come due pesi su una bilancia che si sommano.

💡 Cosa ci insegna tutto questo?

1. Non serve un "genio" innato: I bambini (e i robot) non hanno bisogno di una lista di divieti scritta nel DNA. Possono imparare le regole strane guardando semplicemente quanto spesso sentono certe cose e come funzionano nel mondo reale.
2. L'IA è uno specchio: Usare i computer per studiare come imparano i bambini è come usare un laboratorio controllato. Con i bambini umani non puoi dire: "Oggi non ti farò sentire la parola 'durare' al passato per 10 anni". Con un computer, puoi farlo in un pomeriggio.
3. La lingua è statistica: Il nostro cervello (e quello dei robot) è una macchina statistica incredibile. Capisce che "La riunione è durata" è normale e "Un'ora è durata" è strano non perché ha letto un manuale, ma perché nella sua "esperienza" (i dati), la prima combinazione è apparsa milioni di volte e la seconda mai.

In sintesi: imparare le eccezioni della lingua è come imparare a ballare. Se vedi che tutti ballano un certo passo, lo fai. Se vedi che per un certo tipo di musica nessuno fa quel passo, anche se non ti dicono "non farlo", capisci da solo che non va bene. E lo capisci guardando la musica (il significato) e contando i passi (la frequenza).

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Manipulating language models' training data to study syntactic constraint learning: the case of English passivization" di Leong e Linzen, presentato in italiano.

1. Il Problema di Ricerca

Il lavoro affronta una questione fondamentale nell'acquisizione del linguaggio: come apprendono i parlanti le eccezioni a regole grammaticali altrimenti produttive?
In inglese, la passivizzazione è una regola generale molto produttiva (es. "The cat chased the mouse" $\rightarrow$ "The mouse was chased by the cat"). Tuttavia, esistono eccezioni sistematiche per certi verbi (es. "The meeting lasted one hour" è accettabile, ma "*One hour was lasted by the meeting" è agrammaticale).
Il paradosso (noto come "Paradosso di Baker") risiede nel fatto che i bambini non ricevono prove negative dirette (non viene loro detto esplicitamente cosa è sbagliato). Devono quindi dedurre queste restrizioni da prove indirette presenti nell'input linguistico.
Lo studio si concentra su due ipotesi principali riguardo alla fonte di queste prove:

1. Ipotesi dell'Incastro (Entrenchment): L'asimmetria di frequenza tra la forma attiva e quella passiva. Se un verbo appare spesso in attivo ma mai (o raramente) in passivo, il parlante ne deduce che la forma passiva è agrammaticale.
2. Ipotesi dell'Affettività (Affectedness): La semantica lessicale del verbo. Un verbo è passivizzabile solo se il suo argomento tema subisce un cambiamento di stato, posizione o esistenza causato dall'agente. Verbi che non implicano tale affettività (es. "costare", "durare") non dovrebbero essere passivizzati.

Il problema centrale è che nell'input naturale, frequenza e semantica sono altamente correlate, rendendo difficile isolare causalmente quale fattore guidi l'apprendimento.

2. Metodologia

Gli autori utilizzano modelli linguistici neurali (Transformer, specificamente GPT-2 small) come teorie computazionali dell'acquisizione del linguaggio. Il vantaggio chiave di questo approccio è il controllo totale sull'input fornito al "learner" (il modello), permettendo esperimenti controfattuali impossibili con esseri umani.

Lo studio si articola in tre esperimenti principali:

• Esperimento 1: Validazione del Modello e Correlazione Umana.

  • Obiettivo: Verificare se un modello addestrato su un corpus di dimensioni umane (100 milioni di parole) può replicare i giudizi di accettabilità umani.
  • Procedura: Raccolta di giudizi di accettabilità da parlanti nativi su 140 coppie di frasi (attive/passive) contenenti verbi noti come eccezionali e verbi di controllo. Confronto con le probabilità assegnate dal modello (calcolate come "passive drop", ovvero la differenza di log-probabilità tra forma attiva e passiva).
  • Controllo: Confronto anche con un modello trigramma (basato solo sulla frequenza superficiale) per valutare la necessità di rappresentazioni semantiche profonde.

• Esperimento 2: Interventi Causali sul Corpus.

  • Obiettivo: Isolare l'effetto causale di frequenza e semantica.
  • Esperimento 2A (Incastro): Manipolazione del corpus per alterare il rapporto Attivo/Passivo (A/P) di verbi altamente passivizzabili (mutanti), rendendolo simile a quello di verbi non passivizzabili (target). Se l'ipotesi dell'incastro è vera, i verbi mutanti dovrebbero diventare meno passivizzabili.
  • Esperimento 2B (Affettività): Manipolazione del corpus sostituendo verbi non passivizzabili in contesti attivi che originariamente contenevano verbi altamente passivizzabili (agenti-pazienti). Questo altera la distribuzione semantica degli argomenti del verbo, aumentandone l'"affettività" percepita dal modello.

• Esperimento 3: Verbo Nuovo (Novel Verb).

  • Obiettivo: Testare l'interazione tra le due ipotesi in un ambiente controllato senza confondimenti di distribuzioni sintattiche preesistenti.
  • Procedura: Introduzione di un verbo fittizio nel corpus che appare solo in frasi attive. Si varia sistematicamente: (1) la frequenza di occorrenza (da 0 a 2000 volte) e (2) il contesto semantico (alto vs. basso affettività). Si misura come questi fattori influenzano il giudizio di passivizzabilità del modello.

3. Risultati Chiave

• Correlazione Uomo-Macchina (Exp. 1): I modelli Transformer mostrano una correlazione molto alta ($r = 0.91$) con i giudizi umani riguardo alla passivizzabilità dei verbi, superando significativamente i modelli basati solo sulla frequenza (trigrammi, $r = 0.68$). Questo suggerisce che l'input linguistico naturale contiene prove sufficienti per apprendere queste eccezioni.
• Ruolo dell'Incastro (Exp. 2A): Aumentare il rapporto Attivo/Passivo di un verbo nel corpus ha causato un aumento significativo del "passive drop" (il modello lo giudica meno passivizzabile). Tuttavia, l'effetto non è stato sufficiente a rendere i verbi mutanti completamente agrammaticali come i target originali, indicando che la frequenza da sola non spiega tutto.
• Ruolo dell'Affettività (Exp. 2B): Modificare il contesto semantico di un verbo (rendendolo più simile a un verbo agente-paziente) ha ridotto il suo "passive drop", rendendolo più passivizzabile. L'effetto è stato significativo ma moderato e ha mostrato una dipendenza dall'identità del verbo specifico.
• Interazione e Indipendenza (Exp. 3):
  • L'aumento della frequenza (incastro) in assenza di forme passive ha reso il verbo nuovo progressivamente meno passivizzabile.
  • L'addestramento in contesti ad alta affettività ha reso il verbo più passivizzabile rispetto a contesti a bassa affettività.
  • Nessuna interazione significativa: I due fattori (frequenza e affettività) contribuiscono in modo indipendente e additivo alla passivizzabilità. Non c'è evidenza che uno moduli l'effetto dell'altro.

4. Contributi Principali

1. Metodologia di Intervento sui Dati: Il paper dimostra l'utilità di manipolare i dati di addestramento dei modelli linguistici per testare ipotesi causali sull'apprendimento linguistico, superando i limiti degli studi osservazionali sugli esseri umani.
2. Evidenza Computazionale per Prove Indirette: Fornisce una prova di esistenza che un modello statistico, esposto a quantità di dati simili a quelle umane, può apprendere eccezioni grammaticali complesse basandosi su prove indirette (frequenza e semantica contestuale).
3. Decomposizione dei Fattori: Smentisce l'idea che un solo fattore guidi l'apprendimento delle eccezioni. Dimostra che sia l'incastro statistico che la semantica dell'affettività contribuiscono indipendentemente ai giudizi di accettabilità.
4. Benchmark di Gradiente: Sottolinea che i giudizi umani non sono binari (accettabile/non accettabile) ma graduali, e che i modelli neurali catturano efficacemente questa sfumatura, a differenza di modelli più semplici.

5. Significato e Implicazioni

• Per la Linguistica Cognitiva: Lo studio supporta gli approcci basati sull'uso (usage-based) dell'acquisizione del linguaggio, suggerendo che le statistiche di co-occorrenza e la semantica contestuale sono sufficienti per spiegare l'apprendimento di eccezioni senza bisogno di vincoli innati specifici.
• Limiti e Differenze Uomo-Macchina: Sebbene i modelli imitino i giudizi umani, gli autori avvertono che i meccanismi sottostanti potrebbero differire. I modelli mancano di input sensorimotorio e di interazione sociale, elementi cruciali per l'apprendimento umano dell'affettività. Inoltre, i modelli potrebbero essere meno efficienti nei dati rispetto agli umani.
• Futuri Sviluppi: La metodologia proposta apre la strada a studi su altre restrizioni sintattiche e sull'acquisizione cross-linguistica, utilizzando modelli per esplorare ipotesi che non possono essere testate eticamente o praticamente su bambini.

In sintesi, il paper utilizza i modelli linguistici come "laboratori controllati" per dimostrare che la passivizzabilità in inglese è appresa attraverso una combinazione indipendente di evidenze statistiche (frequenza attiva/passiva) e semantiche (affettività del tema), offrendo una nuova prospettiva metodologica sullo studio dell'acquisizione del linguaggio.