Large Language Models as Proxies for Theories of Human Linguistic Cognition

Sintesi Tecnica: I Large Language Models come Proxy per le Teorie della Cognizione Linguistica Umana

Definizione del Problema
Il saggio affronta il ruolo dei Large Language Models (LLM) nello studio della Cognizione Linguistica Umana (HLC). Esso critica la "Teoria degli LLM" (ad esempio, Piantadosi 2023), la quale postula che gli attuali LLM siano essi stessi le migliori teorie della HLC, sostenendo che questa visione non tenga conto delle distinzioni fondamentali nella cognizione umana, come competenza vs. prestazione, grammaticalità vs. verosimiglianza, e i salti induttivi specifici riguardanti la struttura gerarchica.

Invece, il saggio investiga la "Visione Proxy". Questa ipotesi suggerisce che, sebbene gli attuali LLM non siano buone teorie della HLC in sé, essi possano fungere da proxy per una terza teoria, ancora non dichiarata ($H_3$). $H_3$ è concepita come una teoria che sia relativamente neutrale dal punto di vista linguistico (priva dei forti bias innati della linguistica generativa, $H_1$), ma capace di spiegare l'acquisizione linguistica umana e i pattern tipologici. Il problema centrale è che $H_3$ è attualmente non specificata, rendendo difficile la sua valutazione empirica. Gli autori si chiedono se gli attuali LLM possano funzionare come strumenti metodologici per testare se una $H_3$ linguisticamente neutra potrebbe acquisire con successo la conoscenza linguistica da corpora realistici o spiegare le asimmetrie tipologiche translinguistiche.

Metodologia
Gli autori valutano la Visione Proxy attraverso due framework sperimentali primari, utilizzando una suite di otto LLM che variano da modelli piccoli addestrati su parlato rivolto ai bambini (CHILDES, BabyLM) a modelli massicci addestrati su miliardi di token (BERT, GPT-2, LLaMA-3.2).

1. Allineamento con lo Stimolo (Acquisizione di Salti Induttivi):

   • Task: Gli autori testano se gli LLM possono acquisire specifiche generalizzazioni linguistiche che si argomenta siano difficili da derivare per apprendenti linguisticamente neutri a partire dalla "povertà dello stimolo" (APS).
   • Fenomeni: Tre specifici fenomeni sintattici sono stati testati:
     • Movimento Across-the-Board (ATB).
     • Gap Parassiti (PG).
     • Effetti That-trace (TTE).
   • Metrica: Utilizzando una metodologia di "coppie minime", i modelli sono stati presentati con coppie di frasi grammaticali e ungrammaticali. Il successo è stato definito in modo permissivo: il modello assegna una probabilità maggiore alla continuazione grammaticale rispetto a quella ungrammaticale in una regione critica di token.
   • Logica: Se gli LLM (come proxy per $H_3$) falliscono nel preferire l'opzione grammaticale anche dopo l'addestramento su corpora sviluppatisticamente realistici o massicci, ciò suggerisce che una $H_3$ linguisticamente neutra fallirebbe ugualmente nell'acquisire tali pattern, rafforzando l'argomento APS a favore di bias innati ($H_1$).

2. Evidenza Cross-Linguistica (Asimmetrie Tipologiche):

   • Task: Gli autori esaminano se gli LLM imparano le lingue "attestate" più facilmente rispetto alle lingue "non attestate" (perturbate). Se una $H_3$ linguisticamente neutra può spiegare perché certi tipi di lingue sono non attestati, dovrebbe essere più difficile per il proxy LLM apprendere le varianti non attestate.
   • Configurazione: Basandosi su Kallini et al. (2024), gli autori hanno addestrato un Transformer su corpora di inglese, italiano, russo ed ebraico, nonché sulle loro versioni perturbate.
   • Perturbazioni:
     • Partial-reverse (Inversione parziale: Reversione di segmenti di frase da un indice casuale.
     • Full-reverse (Inversione totale): Reversione di intere frasi.
     • Switch-indices (Scambio di indici): Scambio di token a specifici indici (0 e 2).
     • Token-hop (Salto di token): Inserimento di marcatori a distanze lineari fisse dai verbi (richiede il conteggio lineare).
   • Metrica: Perplessità di validazione durante l'addestramento. Una perplessità inferiore indica una facilità di apprendimento maggiore.

Risultati Chiave

• Acquisizione di Generalizzazioni Sintattiche:

  • Gli LLM generalmente non hanno mostrato una preferenza per le frasi grammaticali rispetto a quelle ungrammaticali nelle coppie minime per ATB, PG e TTE.
  • Con l'eccezione del massiccio modello LLaMA (addestrato su dati equivalenti a centinaia di migliaia di anni di esposizione umana), tutti i modelli hanno preferito schiacciantemente le opzioni ungrammaticali.
  • Questo fallimento suggerisce che, se gli LLmi sono proxy per $H_3$, allora $H_3$ probabilmente fallirebbe nell'acquisire queste complesse dipendenze gerarchiche da input realistici, fallendo nel minare gli argomenti APS per i bias linguistici innati.

• Asimmetrie Tipologiche:

  • I risultati non hanno supportato costantemente l'idea che le lingue attestate siano più facili da apprendere rispetto alle perturbazioni non attestate.
  • Mentre le perturbazioni partial-reverse sono state più difficili da apprendere rispetto ai baseline (supportando la Visione Proxy per questo specifico caso), altre perturbazioni hanno prodotto risultati contraddittori.
  • Per full-reverse, switch-indices e token-hop, i modelli hanno spesso trovato le versioni ungrammaticali (perturbate) più facili da apprendere rispetto ai baseline attestati, o non hanno trovato differenze significative.
  • Nello specifico, la perturbazione "token-hop" (che viola le generalizzazioni gerarchiche a favore del conteggio lineare) è stata talvolta appresa più facilmente rispetto al baseline attestato.

Contributi Chiave

• Chiarificazione Metodologica: Il saggio articola la "Visione Proxy" come una posizione distinta dalla "Teoria degli LLM", chiarendo che gli LLM potrebbero teoricamente servire come strumenti per valutare teorie neutrali senza essere esse stesse tali teorie.
• Valutazione Empirica: Fornisce un test empirico preliminare della Visione Proxy, andando oltre la speculazione teorica verso esperimenti concreti su acquisizione e tipologia.
• Evidenza Negativa: Lo studio dimostra che, nelle attuali condizioni e con gli attuali modelli, gli LLM non forniscono prove che una teoria linguisticamente neutra possa rendere conto di chiave fenomeni linguistici o pattern tipologici.

Significatività e Rivendicazioni
Il saggio conclude che, allo stato attuale, gli attuali LLM non supportano la Visione Proxy. L'incapacità dei modelli di approssimare salti induttivi simili a quelli umani (anche con dati massicci) e la loro apprendimento inconsistente dei pattern tipologici suggeriscono che essi siano scarsi proxy per una teoria riuscita della HLC linguisticamente neutra.

Gli autori sottolineano che la Visione Proxy rimane "troppo vaga" per essere direttamente utile nella scienza empirica perché la teoria target ($H_3$) non è esplicitamente definita. Il saggio funge da "appello" affinché i sostenitori della Visione Proxy forniscano dettagli espliciti della teoria target e dimostrino come la performance degli LLM supporti specificamente tale teoria rispetto alle alternative generative. Gli autori mantengono una posizione modesta, osservando che i loro risultati negativi sono specifici per i modelli e i fenomeni testati, e che futuri lavori con modelli diversi o teorie più esplicite potrebbero produrre conclusioni differenti. Tuttavia, sulla base delle evidenze attuali, gli LLM non suggeriscono la necessità di cambiare l'attuale teoria linguistica.