Large Language Models as Proxies for Theories of Human Linguistic Cognition

Technische Samenvatting: Large Language Models als Proxies voor Theorieën over de Menselijke Linguïstische Cognitie

Probleemstelling
Het artikel behandelt de rol van Large Language Models (LLM's) in het onderzoek naar de Menselijke Linguïstische Cognitie (HLC). Het bekritiseert de "LLM-theorie" (bijv. Piantadosi 2023), die stelt dat huidige LLM's op zichzelf de beste theorieën over HLC zijn, en voert aan dat dit standpunt nalaat fundamentele onderscheiden in de menselijke cognitie te verklaren, zoals competentie versus prestatie, grammaticaliteit versus waarschijnlijkheid, en specifieke inductieve sprongen met betrekking tot hiërarchische structuur.

In plaats daarvan onderzoekt het artikel de "Proxy View" (de proxy-visie). Deze hypothese suggereert dat, hoewel huidige LLM's niet goede theorieën van HLC zelf zijn, ze wel kunnen dienen als proxies voor een derde, nog niet onthulde theorie ($H_3$). $H_3$ wordt voorgesteld als een theorie die relatief linguïstisch neutraal is (vrij van de sterke aangeboren biases van de generatieve taalkunde, $H_1$), maar die in staat is om menselijke taalverwerving en typologische patronen te verklaren. Het centrale probleem is dat $H_3$ momenteel niet gespecificeerd is, wat empirische evaluatie bemoeilijkt. De auteurs vragen zich af of huidige LLM's kunnen fungeren als methodologische instrumenten om te testen of een linguïstisch-neutrale $H_3$ succesvol linguïstische kennis kan verwerven uit realistische corpora of cross-linguïstische typologische asymmetrieën kan verklaren.

Methodologie
De auteurs evalueren de Proxy View via twee primaire experimentele kaders, waarbij gebruik wordt gemaakt van een suite van acht LLM's, variërend van kleine modellen getraind op kindgerichte spraak (CHILDES, BabyLM) tot massieve modellen getraind op miljarden tokens (BERT, GPT-2, LLaMA-3.2).

1. Afstemming met de Stimulus (Verwerving van Inductieve Sprongen):

   • Taak: De auteurs testen of LLM's specifieke linguïstische generalisaties kunnen verwerven die volgens de argumenten moeilijk af te leiden zijn voor linguïstisch-neutrale leerlingen uit de "armoede van de stimulus" (APS).
   • Fenomenen: Drie specifieke syntactische fenomenen werden getest:
     • Across-the-Board (ATB) beweging.
     • Parasitic Gaps (PG).
     • That-trace effecten (TTE).
   • Metriek: Met behulp van een "minimal pair"-methodologie werden de modellen gepresenteerd met grammaticale en ongrammaticale zinnenparen. Succes werd ruim gedefinieerd: het model kent een hogere waarschijnlijkheid toe aan de grammaticale voortzetting dan aan de ongrammaticale bij een kritieke token-regio.
   • Logica: Als LLM's (als proxies voor $H_3$) er niet in slagen de grammaticale optie te verkiezen, zelfs na training op ontwikkelingsrealistische of massieve corpora, suggereert dit dat een linguïstisch-neutrale $H_3$ ook zou falen in het verwerven van deze patronen, wat het APS-argument voor aangeboren biases ($H_1$) versterkt.

2. Cross-Linguïstisch Bewijs (Typologische Asymmetrieën):

   • Taak: De auteurs onderzoeken of LLM's "geattesteerde" talen gemakkelijker leren dan "ongeattesteerde" (geperturbueerde) talen. Als een linguïstisch-neutrale $H_3$ kan verklaren waarom bepaalde taaltypen ongeattestieerd zijn, zou het moeilijker moeten zijn voor de proxy-LLM om de ongeattesteerde varianten te leren.
   • Opzet: Voortbouwend op Kallini et al. (2024), trainden de auteurs een Transformer op corpora van Engels, Italiaans, Russisch en Hebreeuws, evenals op geperturbeerde versies van deze corpora.
   • Perturbaties:
     • Partial-reverse: Het omkeren van zinssegmenten vanaf een willekeurige index.
     • Full-reverse: Het omkeren van volledige zinnen.
     • Switch-indices: Het wisselen van tokens op specifieke indices (0 en 2).
     • Token-hop: Het invoegen van markers op vaste lineaire afstanden van werkwoorden (vereist lineair tellen).
   • Metriek: Validatie-perplexiteit tijdens de training. Een lagere perplexiteit duidt op gemakkelijker leren.

Belangrijkste Resultaten

• Verwerving van Syntactische Generalisaties:

  • De LLM's slaagden er over het algemeen niet in om een voorkeur te tonen voor grammaticale boven ongrammaticale zinnen in de minimal pairs voor ATB, PG en TTE.
  • Met uitzondering van het massieve LLaMA-model (getraind op data equivalent aan honderdduizenden jaren aan menselijke blootstelling), gaven alle modellen overwegend de voorkeur aan de ongrammaticale opties.
  • Dit falen suggereert dat als LLM's proxies zijn voor $H_3$, $H_3$ waarschijnlijk zou falen in het verwerven van deze complexe hiërarchische afhankelijkheden uit realistische input, waardoor het de APS-argumenten voor aangeboren linguïstische biases niet ondermijnt.

• Typologische Asymmetrieën:

  • De resultaten ondersteunden niet consistent het idee dat geattesteerde talen gemakkelijker te leren zijn dan ongeattesteerde perturbaties.
  • Hoewel partial-reverse perturbaties moeilijker te leren waren dan de baselines (wat de Proxy View voor dit specifieke geval ondersteunt), leverden andere perturbaties tegenstrijdige resultaten op.
  • Voor full-reverse, switch-indices en token-hop vonden de modellen de ongeattesteerde (geperturbueerde) versies vaak gemakkelijker te leren dan de geattesteerde baselines, of was er geen significant verschil.
  • Specifiek werd de "token-hop" perturbatie (die hiërarchische generalisaties schendt ten gunste van lineair tellen) soms gemakkelijker geleerd dan de geattesteerde baseline.

Belangrijkste Bijdragen

• Methodologische Verheldering: Het artikel articuleert de "Proxy View" als een onderscheidende positie van de "LLM-theorie", waarbij wordt verduidelijkt dat LLM's theoretisch als instrumenten kunnen dienen om neutrale theorieën te evalueren zonder die theorieën zelf te zijn.
• Empirische Evaluatie: Het biedt een voorlopige empirische test van de Proxy View, waarbij de stap wordt gezet van theoretische speculatie naar concrete experimenten over verwerving en typologie.
• Negatief Bewijs: De studie toont aan dat, onder de huidige omstandigheden en met de huidige modellen, LLM's geen bewijs leveren dat een linguïstisch-neutrale theorie rekening kan houden met belangrijke linguïstische verschijnselen of typologische patronen.

Betekenis en Claims
Het artikel concludeert dat de huidige LLM's op dit moment de Proxy View niet ondersteunen. Het onvermogen van de modellen om mensachtige inductieve sprongen te benaderen (zelfs met massale data) en hun inconsistente leerprestaties bij typologische patronen suggereren dat zij slechte proxies zijn voor een succesvolle linguïstisch-neutrale theorie.

De auteurs benadrukken dat de Proxy View "te vaag" blijft om direct nuttig te zijn in de empirische wetenschap, omdat de doeltheorie ($H_3$) niet expliciet is gedefinieerd. Het artikel dient als een "pleidooi" aan voorstanders van de Proxy View om expliciete details van de doeltheorie te verstrekken en aan te tonen hoe de prestaties van de LLM specifiek deze theorie ondersteunen boven generatieve alternatieven. De auteurs nemen een bescheiden standpunt in door te merken dat hun negatieve resultaten specifiek zijn voor de geteste modellen en fenomenen, en dat toekomstig werk met andere modellen of meer expliciete theorieën tot andere conclusies kan leiden. Echter, op basis van de huidige bewijslast bieden LLM's geen aanleiding om de bestaande linguïstische theorie te wijzigen.