Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

Probleemstelling

Het paper onderzoekt een fundamentele vraag binnen de linguïstiek en de cognitieve modellering: zijn Large Language Models (LLMs) gevoelig voor het onderscheid tussen menselijk mogelijke (natuurlijke) talen en menselijk onmogelijke talen?

Volgens de "generatieve hypothese" (Chomsky) zijn menselijke taalbiases biologisch ingebouwd en bepalen ze welke taalkundige patronen mogelijk zijn en welke niet. Als LLMs, die als cognitieve modellen voor menselijke taalverwerving worden gebruikt, dit onderscheid niet kunnen maken, ondermijnt dit hun validiteit als modellen voor menselijke cognitie. Eerdere studies (zoals Kallini et al., 2024) beweerden dat LLMs (specifiek GPT-2) wel degelijk een voorkeur tonen voor natuurlijke talen ten opzichte van kunstmatig verstoorde ("onmogelijke") varianten. Dit paper daagt deze conclusie uit door te testen of dit resultaat generaliseert over meer talen en verstoringen.

Methodologie

De auteurs bouwen voort op de methode van Kallini et al. (2024), maar breiden deze aanzienlijk uit:

1. Datasets en Talen:

   • In plaats van alleen Engels, worden acht extra talen getest: Deens, Fins, Frans, Duits, Grieks, Hebreeuws, Italiaans en Russisch.
   • De datasets zijn afgeleid van recente Wikipedia-dumps, uniform verwerkt met een whitespace-tokenizer (vocabulairegrootte: 50.257) om variatie door tokenisatie te elimineren.

2. Onmogelijke Perturbaties:
   Voor elke taal worden kunstmatige, "onmogelijke" varianten gegenereerd door specifieke syntactische en structurele regels te schenden. De gebruikte perturbaties (zie Tabel 1 in het paper) zijn:

   • SHUFFLE: Globale en lokale herschikking van tokens (breekt constituentstructuur).
   • REVERSE: Volledige of partiële omkering van zinnen (schendt hiërarchische structuren en binding).
   • SWITCH: Het verwisselen van specifieke tokens (bijv. index 0 en 2).
   • HOP: Het invoegen van een marker drie tokens na een werkwoord (vereist lineaire telling in plaats van hiërarchische structuur).

3. Model Training:

   • Een GPT-2-model (12 lagen, 12 attention heads) wordt van scratch getraind op deze datasets.
   • Het trainingsregime is uniform voor alle experimenten (batch size 512, learning rate $5 \times 10^{-4}$, 3000 batches).
   • De prestaties worden gemeten via perplexiteit op een validatieset tijdens het trainen.

4. Analyse Perspectieven:
   De auteurs evalueren twee perspectieven:

   • Intralinguïstisch: Vergelijkt de leercurve van een natuurlijke taal direct met die van zijn onmogelijke variant. Een negatieve fout (natuurlijke taal heeft lagere perplexiteit) zou wijzen op gevoeligheid voor onmogelijkheid.
   • Interlinguïstisch: Vergelijkt de totale variatie in leercurves tussen alle natuurlijke talen versus de variatie tussen natuurlijke en onmogelijke varianten binnen één taal. Als LLMs de typologie correct modelleren, zou de variatie tussen natuurlijke en onmogelijke varianten (binnen-taal) groter moeten zijn dan de variatie tussen verschillende natuurlijke talen (tussen-taal).

Kernresultaten

De resultaten staan in schril contrast met eerdere bevindingen:

1. Geen Systematisch Onderscheid (Intralinguïstisch):

   • In de overgrote meerderheid van de gevallen leert GPT-2 de natuurlijke taal en zijn onmogelijke variant even makkelijk.
   • In veel gevallen (bijv. bij REVERSE full en SWITCH) leert het model de onmogelijke variant zelfs beter dan de natuurlijke taal (de leercurve van de onmogelijke variant ligt lager).
   • Een binomiale test toont aan dat er geen statistisch significant onderscheid is tussen de verwachte richting (natuurlijk < onmogelijk) en toeval ($p = 0.892$).

2. Geen Scheiding van Sets (Interlinguïstisch):

   • De analyse van minimale perplexiteit en het oppervlak onder de curve (AUC) toont aan dat natuurlijke talen en hun onmogelijke varianten clusteren per taal, niet per type (natuurlijk vs. onmogelijk).
   • Bijvoorbeeld: Alle varianten van het Russisch (zowel natuurlijk als onmogelijk) zijn moeilijker te leren dan alle varianten van het Italiaans. De "onmogelijkheid" van de data heeft geen meetbaar effect op de leerbaarheid in vergelijking met de inherent moeilijkheid van de specifieke taal.
   • De variatie binnen een taal (tussen natuurlijke en onmogelijke varianten) is significant kleiner dan de variatie tussen verschillende talen. Dit betekent dat het model geen stabiele grens trekt tussen het mogelijke en het onmogelijke.

Belangrijkste Bijdragen

• Herziening van Eerdere Claims: Het paper weerlegt de eerdere bevindingen van Kallini et al. (2024) en Yang et al. (2025) dat GPT-2 gevoelig is voor taal-onmogelijkheid. De auteurs tonen aan dat deze eerdere resultaten niet generaliseren naar een bredere set talen en perturbaties.
• Uitgebreide Experimentele Opzet: Door acht extra talen en diverse linguïstische perturbaties toe te voegen, wordt aangetoond dat de "gemak van leren" (gemeten via perplexiteit) geen robuuste proxy is voor het onderscheid tussen natuurlijke en onnatuurlijke talen in LLMs.
• Methodologische Transparantie: Het paper benadrukt het belang van uniforme datasetcreatie (dezelfde tokenizer voor alle talen) om te voorkomen dat verschillen in tokenisatie de resultaten vertekenen.

Significantie en Conclusie

De conclusie van het paper is dat GPT-2 geen systematisch onderscheid maakt tussen menselijk mogelijke en onmogelijke talen.

• Implicatie voor Cognitieve Modellering: Omdat het onderscheid tussen mogelijk en onmogelijk wordt gezien als een gevolg van menselijke, aangeboren leerbiases, suggereert dit dat LLMs deze specifieke biases niet delen. Hierdoor zijn ze beperkt als modellen voor menselijke taalverwerving.
• Implicatie voor de Generatieve Hypothese: De resultaten bieden geen bewijs tegen de generatieve hypothese; integendeel, ze suggereren dat de typologische asymmetrieën in menselijke talen niet puur kunnen worden verklaard door statistische leermechanismen zoals die in Transformer-modellen werken.
• Toekomstperspectief: De auteurs waarschuwen dat "gemak van leren" via leercurves mogelijk een onvoldoende maatstaf is voor taaltypologie. Ze pleiten voor onderzoek dat leerprocessen plaatst in een model van culturele evolutie, waar kleine asymmetrieën over generaties kunnen worden versterkt.

Samenvattend: Biasloze taalmodellen leren "onnatuurlijk" door onmogelijke talen even goed (of zelfs beter) te leren dan natuurlijke talen, wat hun capaciteit om menselijke taalbiases te simuleren in twijfel trekt.