Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

1. Il Problema e il Contesto

Il lavoro si inserisce nel dibattito linguistico e cognitivo sulla natura dei bias di apprendimento innati negli esseri umani. La "ipotesi generativa" (o generativa) suggerisce che l'insieme delle lingue umane attestate sia un sottoinsieme ristretto di tutte le lingue potenzialmente osservabili, plasmato da forti vincoli biologici e cognitivi che rendono certe strutture linguistiche "impossibili" per il cervello umano (es. violazioni della struttura gerarchica).

Con l'avvento dei Large Language Models (LLM), è nata la domanda: gli LLM sono sensibili alla distinzione tra lingue possibili e impossibili?
Studi precedenti, in particolare Kallini et al. (2024), avevano sostenuto una risposta affermativa. Utilizzando curve di apprendimento (perplexity) su GPT-2, avevano mostrato che il modello imparava più facilmente l'inglese naturale rispetto a varianti artificiali "impossibili" (perturbate), suggerendo che gli LLM, pur privi di bias linguistici espliciti, catturino le asimmetrie tipologiche umane.

L'obiettivo di questo paper è mettere alla prova e confutare queste conclusioni precedenti, estendendo la metodologia a un set più ampio di lingue e perturbazioni, per verificare se gli LLM condividano realmente i bias di apprendimento che definiscono la tipologia linguistica umana.

2. Metodologia

Gli autori adottano e ampliano la metodologia di Kallini et al. (2024), focalizzandosi su due prospettive: intralinguistica (confronto lingua vs. sua variante impossibile) e interlinguistica (confronto tra l'insieme delle lingue naturali e quello delle lingue impossibili).

A. Dataset e Lingue

• Lingue: Oltre all'inglese (usato negli studi precedenti), sono state incluse 8 nuove lingue: Danese, Finlandese, Francese, Tedesco, Greco, Ebraico, Italiano e Russo.
• Corpora: Dataset basati su dump di Wikipedia recenti, puliti e tokenizzati.
• Tokenizzazione: È stato utilizzato un tokenizzatore uniforme basato sugli spazi bianchi (vocabolario di 50.257 token) per tutte le lingue, al fine di eliminare variabili confondenti legate a tokenizzatori specifici per lingua.

B. Perturbazioni "Impossibili"

Sono state applicate funzioni di perturbazione che violano principi linguistici fondamentali (come la struttura gerarchica o l'ordine delle parole naturale). Le perturbazioni includono:

• SHUFFLE: Rimescolamento globale o locale dei token.
• REVERSE: Inversione completa o parziale della frase.
• SWITCH: Scambio di token specifici (es. indici 0 e 2).
• HOP: Inserimento di un marcatore speciale dopo ogni verbo, richiedendo una generalizzazione lineare (contare i token).

C. Addestramento del Modello

• Modello: GPT-2 (configurazione standard: 12 layer, 12 attention heads, embedding 768-dimensionali).
• Training: Addestramento da zero su corpus tokenizzati.
• Metriche:
  • Curves di apprendimento: Perplexity su un set di validazione registrato ogni 100 batch.
  • Mean Error (ME): Differenza media tra la curva della lingua naturale e quella perturbata.
  • Area Under the Curve (AUC) e Perplexity Minima: Utilizzati per analizzare la varianza tra lingue diverse (interlinguistica) e tra varianti della stessa lingua (intralinguistica).

3. Risultati Chiave

Prospettiva Intralinguistica

• Concordanza delle curve: In quasi tutti i casi, le curve di apprendimento delle lingue naturali e delle loro controparti "impossibili" coincidono quasi perfettamente.
• Preferenza per l'impossibile: Contrariamente a quanto riportato da Kallini et al., in molti casi (es. varianti REVERSE full e SWITCH), il modello GPT-2 mostra una preferenza per le varianti impossibili, imparandole più facilmente (curva di perplexity più bassa) rispetto alla lingua naturale.
• Significatività statistica: Su 54 casi di test, solo 28 mostrano la direzione attesa (lingua naturale più facile). Un test binomiale a due code restituisce un p-value di 0.892, indicando che non vi è alcuna deviazione significativa rispetto al caso casuale. Il modello non distingue sistematicamente tra possibile e impossibile.

Prospettiva Interlinguistica

• Mancanza di separazione: Analizzando la varianza delle metriche (AUC e perplexity minima), si osserva che le lingue naturali e le loro varianti perturbate si raggruppano insieme per lingua di origine.
• Varianza: La varianza tra lingue diverse (es. Russo vs. Francese) è molto più alta della varianza all'interno della stessa lingua (es. Russo Naturale vs. Russo Perturbato).
• Conclusione: Se gli LLM fossero sensibili ai bias umani, le varianti impossibili dovrebbero essere sistematicamente più difficili da apprendere, creando una separazione netta tra il cluster delle lingue naturali e quello delle lingue impossibili. I dati mostrano invece che le lingue naturali e le loro controparti artificiali "patternano" insieme, rendendo impossibile separare i due insiemi basandosi sulla facilità di apprendimento.

4. Contributi Principali

1. Confutazione empirica: Dimostrano che i risultati positivi di Kallini et al. (2024) non sono generalizzabili e che, in un set più ampio di lingue e perturbazioni, GPT-2 fallisce nel distinguere le lingue possibili da quelle impossibili.
2. Estensione cross-linguistica: Forniscono la prima analisi sistematica su 9 lingue diverse, superando i limiti degli studi precedenti focalizzati solo sull'inglese.
3. Raffinamento metodologico: Introducono un controllo rigoroso sulla tokenizzazione (tokenizzatore uniforme) e sulle metriche di varianza per isolare l'effetto dei bias di apprendimento da altre variabili.
4. Implicazioni per la modellazione cognitiva: Suggeriscono che gli LLM attuali non condividono i bias di apprendimento innati che modellano la tipologia linguistica umana, mettendo in discussione la loro validità come modelli cognitivi diretti per la linguistica generativa.

5. Significato e Conclusione

Il paper conclude che la "facilità di apprendimento" (misurata attraverso le curve di perplexity) non è un proxy affidabile per la sensibilità degli LLM ai vincoli linguistici umani.

• Impatto sulla teoria linguistica: I risultati supportano l'idea che le asimmetrie tipologiche (perché certe lingue esistono e altre no) siano guidate da bias di apprendimento innati specifici degli esseri umani, che gli LLM (basati su architetture Transformer e training su dati statistici) non possiedono.
• Impatto sugli LLM: Sebbene gli LLM siano potenti strumenti NLP, la loro incapacità di distinguere tra strutture linguistiche possibili e impossibili suggerisce che non catturano la natura profonda della cognizione linguistica umana. La distinzione tra "possibile" e "impossibile" sembra essere un tratto biologico umano, non una proprietà emergente della semplice modellazione statistica su larga scala.

In sintesi, gli autori dimostrano che, contrariamente alle aspettative di alcuni studi recenti, gli LLM imparano "innaturalmente", trattando le lingue perturbate in modo equivalente (o talvolta preferendole) rispetto alle lingue naturali, fallendo nel replicare i vincoli che definiscono la tipologia linguistica umana.