A conclusive remark on linguistic theorizing and language modeling

Titel: Een afsluitende opmerking over linguïstisch theoriseren en taalmodelleren

Auteur: Cristiano Chesi (NeTS-IUSS Pavia, Italië)
Context: Een reactie op een speciaal nummer van het Italian Journal of Linguistics (2025) over de discussie rondom Large Language Models (LLMs) en generatieve linguïstiek.

---

1. Het Kernprobleem

Het artikel adresseert de toenemende spanning tussen de traditionele generatieve linguïstiek (met name het Minimalisme) en de opkomst van data-gedreven Large Language Models (LLMs). De centrale discussie draait om drie gebieden:

• De rol van theorie versus data: Wordt linguïstische vooruitgang gedreven door theoretisch inzicht of door het "trawlen" van grote datasets met computermethoden?
• De status van LLMs: Vertegenwoordigen LLMs een weerlegging van het generatieve paradigma, of ondersteunen ze juist bepaalde intuïties?
• Incommensurabiliteit: Er bestaat een fundamenteel misverstand tussen de methodologieën en terminologieën van computertalwetenschap en linguïstische theorievorming, wat leidt tot cirkelredeneringen en onopgeloste debatten.

Chesi stelt dat er een verwarring bestaat over de stelling dat "LLMs theorieën uitdrukken". Critici verwarren vaak het model (de architectuur) met de theorie zelf. Chesi betoogt dat net zoals de Language Acquisition Device (LAD) niet gelijkstaat aan de volwassen grammatica, de neurale netwerkarchitectuur niet gelijkstaat aan de taalcompetentie, maar wel een implementatie kan zijn van inductieve biases die theoretische intuïties ondersteunen.

2. Methodologie en Theoretisch Kader

Chesi hanteert een methodologische aanpak die drie perspectieven integreert:

• Analytische Vergelijking: Hij analyseert de reacties van diverse collega's (zoals Rizzi, Ginsburg, Ramchand, Graf, etc.) om drie hoofdargumenten te synthetiseren:
  1. Lack of Explanation (LoE): LLMs voorspellen maar verklaren niet.
  2. Lack of Formalization (LoF): Theoretische intuïties moeten niet direct volledig formeel zijn om waardevol te zijn.
  3. Divergent Goals: Generatieve linguïstiek heeft een cognitief doel, terwijl LLMs gericht zijn op commerciële downstream-taken.
• Formele Analyse van Theoriegrootte: Hij gebruikt het concept van Minimum Description Length (MDL) om de "grootte" en efficiëntie van grammatica's te kwantificeren. Hij toont aan dat een theorie die redundante patronen comprimeert (zoals een gemeenschappelijk prefix), theoretisch superieur is, zelfs als de rule-set qua aantal lijkt te variëren.
• Experimentele Validatie: Chesi verwijst naar eigen experimenten (o.a. de BabyLM Challenge 2024) waarbij hij neurale netwerken aanpaste om specifieke linguïstische operaties (zoals Merge) te implementeren via aangepaste "gates" in het computergraf.

3. Belangrijkste Bijdragen en Argumenten

A. Verduidelijking van "Uitleg" en "Begrijpelijkheid"

Chesi betoogt dat het gebrek aan "begrijpelijkheid" in LLMs vaak voortkomt uit een verkeerd niveau van analyse.

• Computational vs. Algorithmic Level: Terwijl generatieve linguïstiek eenvoud zoekt op het niveau van abstracte structuur-opbouw (computational level, bijv. Merge), zoeken connectionisten naar eenvoud op het niveau van neurale eenheden (algorithmic level).
• Theoriegrootte en MDL: Hij weerlegt het idee dat theoriegrootte irrelevant is. Met behulp van MDL laat hij zien dat een grammatica die structurele opties (zoals adjuncts) efficiënt comprimeert, een betere "beschrijvende adequaatheid" heeft dan een grammatica die dit niet doet, zelfs als beide evenveel regels lijken te hebben.

B. Integratie van Linguïstische Intuïties in Architectuur

Een cruciale bijdrage is het voorstel om linguïstische principes expliciet te integreren in de architectuur van taalmodellen, in plaats van ze alleen als output te analyseren.

• Implementatie van Merge: Chesi demonstreert hoe de linguïstische operatie Merge kan worden geïmplementeerd als een specifieke wiskundige "gate" in een neurale netwerkbasis.
• Vectoriële Representaties: Woorden worden niet als ondoorzichtige vectoren behandeld, maar als vectoren met specifieke componenten voor categorische status, overeenkomstige kenmerken (person/number) en selectie-eigenschappen.
• Resultaat van Experimenten: In de BabyLM Challenge toonde hij aan dat het aanpassen van de gating-mechanismen (bijv. concatenatie gevolgd door een sigmoid-transformatie) leidde tot een model dat consistent grammaticale versus ongrammaticale zinnen onderscheidde (>80% nauwkeurigheid op specifieke paren), zelfs met beperkte data. Dit bewijst dat technische aanpassingen kunnen dienen als "linking hypotheses" tussen theorie en model.

C. Kritiek op "Dataïsme" en Benchmarkificatie

Chesi waarschuwt voor het gevaar van "dataïsme" (het blind volgen van data) en "benchmarkificatie" (het focussen op benchmarks zoals BLiMP).

• Data Dust: Niet alle afwijkende data is relevant; sommige zijn "stof onder het tapijt" dat tijdelijk moet worden genegeerd om theoretische coherentie te behouden, totdat het een systematisch patroon vormt.
• Benchmarks: Hoewel benchmarks nuttig zijn, mogen ze niet de theorievorming dicteren. Generatieve linguïstiek moet een gemeenschappelijke set van kritische contrasten ("Hilbert's lijst voor syntaxis") hanteren om theorieën te toetsen, in plaats van te vertrouwen op grote corpora die vaak irrelevante details bevatten.

D. Cognitieve Stance vs. Downstream Taken

Het artikel benadrukt dat generatieve linguïstiek een cognitieve stance hanteert (het modelleren van het menselijk taalvermogen), terwijl LLMs vaak zijn ontworpen voor efficiëntie in taken zoals vertaling.

• Efficiëntie: Het menselijk brein (20 Watt) is veel efficiënter in het leren van taal uit beperkte data dan megawatt-verbruikende clusters.
• Symbiose: De toekomst ligt in samenwerking: linguïsten moeten hun intuïties vertalen naar inductieve biases in modellen, en computertalwetenschappers moeten helpen bij de technische implementatie.

4. Resultaten en Conclusies

• LLMs weerleggen het generatieve paradigma niet: Integendeel, de succesvolle prestaties van LLMs ondersteunen bepaalde generatieve intuïties, mits de architectuur en het trainingsregime correct worden geanalyseerd.
• Theoretische Reorientatie: Generatieve linguïstiek moet niet stoppen met inductief theoriseren, maar moet wel de tools en methoden van computationele en experimentele velden adopteren.
• Open Source en Collaboratie: De oplossing voor de "incommensurabiliteit" ligt in open-source initiatieven en multidisciplinaire teams die linguïstische theorieën vertalen naar algoritmische voorstellen.

5. Significatie

Dit artikel is significant omdat het een brug slaat tussen twee vaak gescheiden werelden: de formele, theorie-gedreven generatieve linguïstiek en de data-gedreven machine learning.

• Het biedt een pragmatische weg vooruit door te pleiten voor een "reconciliatory perspective" waarbij men disagreement ziet als teken van vitaliteit in plaats van een fundamenteel probleem.
• Het introduceert een technisch kader (via MDL en aangepaste neurale gates) om linguïstische theorieën kwantificeerbaar en testbaar te maken binnen computermodellen.
• Het waarschuwt voor het gevaar van theoretische fragmentatie en pleit voor een gemeenschappelijke evaluatiebasis die zowel theoretische elegantie als empirische dekking respecteert.

Kortom, Chesi concludeert dat dit niet het einde van de generatieve linguïstiek is, maar een noodzakelijke en constructieve theoretische heroriëntatie richting een meer geïntegreerde, wetenschappelijk onderbouwde discipline.