Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs
Dit artikel introduceert IASC, een modulair en agentisch systeem dat LLMs inzet voor het creëren van geconstrueerde talen (ConLangs) om hun metalinguïstische kennis van taalkundige concepten te testen, waarbij experimenten aantonen dat modellen beter presteren bij typologisch veelvoorkomende dan bij zeldzame morfologische patronen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Taalbouwer: Hoe AI een nieuwe taal uit het niets creëert (en wat dat ons leert)
Stel je voor dat je een architect bent, maar in plaats van huizen of bruggen, bouw je taal. Je wilt een taal maken die nog nooit bestond, met zijn eigen regels, woorden en klanken. Dit noemen taalkundigen een "ConLang" (een kunstmatige taal), zoals het Elfs in De Heer der Ringen of Klingon uit Star Trek.
In dit onderzoek hebben twee wetenschappers, Chihiro en Richard, een slimme robot (een Large Language Model of LLM) ingezet als hun bouwvakker. Ze noemen hun systeem IASC. Het doel was tweeledig:
- Een leuk en makkelijk systeem maken om zelf een taal te bouwen.
- Uitvinden: Hoeveel weet die robot eigenlijk over hoe taal werkt?
Hier is hoe het werkt, vertaald in alledaagse termen.
1. De Robot als "Meester-Bouwvakker"
Stel je voor dat je een robot vraagt: "Bouw een taal die klinkt als Welsh, maar werkt als Turks, en schrijf het met het Cyrillische alfabet."
Een gewone chatbot zou waarschijnlijk in de war raken en een rommelig mengsel produceren. Maar IASC is slim ontworpen als een fabriek met verschillende afdelingen:
- De Klank-afdeling: Bedenkt welke letters en klanken er zijn (bijv. veel 'r'-klanken).
- De Grammatica-afdeling: Bedenkt de regels. Moet het woord voor het werkwoord staan? Hoe maak je een meervoud?
- De Woordenboeks-afdeling: Vult de taal met woorden.
- De Schrijfwijze-afdeling: Zorgt dat de woorden eruitzien als letters op papier.
De robot doet dit stap voor stap. Als hij een fout maakt, kijkt hij naar zijn eigen werk, krijgt hij een "stip op zijn vingers" (automatische feedback) en probeert hij het opnieuw. Dit noemen ze agentic: de robot denkt na en corrigeert zichzelf.
2. De Echte Test: De "Taal-Quiz"
De echte vraag was niet: "Kan deze robot een taal maken?", maar: "Begrijpt deze robot de logica van taal?"
Om dit te testen, gaven ze de robot een moeilijke opdracht. Ze zeiden: "Neem deze Engelse zin en herschrijf hem alsof je in een taal spreekt waar het werkwoord aan het einde staat, en waar 'wij' (als we jou meenemen) anders klinkt dan 'wij' (als we jou niet meenemen)."
Dit is voor mensen lastig, maar voor een computer nog lastiger. Het vereist niet alleen het onthouden van woorden, maar het begrijpen van abstracte regels. Het is alsof je een robot vraagt om een auto te bouwen die niet op benzine, maar op wind rijdt, terwijl je alleen maar instructies geeft over hoe de wielen moeten werken.
3. Wat bleek eruit? (De resultaten)
De onderzoekers ontdekten drie interessante dingen:
Het is makkelijker voor de robot om "normale" taal te doen.
Als je vraagt om een taal met een woordvolgorde die veel voorkomt (zoals in het Nederlands of Engels), lukt het de robot goed. Maar als je vraagt om een taal met een heel rare woordvolgorde (zoals: Voorwerp - Persoon - Werkwoord), dan raakt de robot in de war. Het is alsof de robot gewend is om rechts te rijden; als je hem vraagt links te rijden, moet hij heel hard nadenken en maakt hij meer fouten.- Analogie: Het is makkelijker voor een robot om een huis te bouwen dat op een standaard plattegrond lijkt, dan een huis dat op zijn kop staat.
Grotere robots zijn slimmer, maar niet perfect.
De nieuwste, grootste modellen (zoals GPT-5 en Gemini 2.5 Pro) deden het veel beter dan de kleinere versies. Ze konden de rare regels beter onthouden en toepassen. Maar zelfs de slimste robots hadden moeite met de aller-moeilijkste taak: een taal die een mix is van heel veel rare regels.De robot is slecht in "lezen tussen de regels".
De robot vond het lastig om woorden terug te brengen naar hun basisvorm (bijv. "gingen" terug naar "gaan"). Dit noemen we lemmatisatie. Voor een robot is het alsof hij een boek moet samenvatten, maar hij blijft hangen in de details van de zinnen in plaats van het verhaal te begrijpen.
4. Waarom is dit belangrijk?
Dit onderzoek is niet zomaar een spelletje. Het laat zien dat AI's (zoals ChatGPT) niet alleen een enorme database met feiten hebben opgeslagen. Ze hebben ook een soort intuïtie over hoe taal in elkaar zit.
- Ze weten dat een werkwoord ergens moet staan.
- Ze weten dat je een woord kunt veranderen om "meervoud" of "verleden tijd" aan te geven.
Maar ze zijn nog niet perfect. Ze zijn sterk in dingen die ze vaak hebben gezien in hun training (zoals Engelse zinnen), maar ze worstelen met dingen die zeldzaam of heel abstract zijn.
Conclusie: De Robot als Taalontwerper
Dit systeem (IASC) is een fantastisch hulpmiddel voor iedereen die een nieuwe taal wil bedenken voor een boek, een game of gewoon voor de lol. Je kunt de robot vragen: "Maak een taal voor aliens die op een planeet met drie zonnen leven," en hij bouwt die voor je.
Maar voor de wetenschappers is het vooral een spiegel. Het laat zien dat AI's steeds meer lijken op mensen in hun vermogen om regels te begrijpen, maar dat ze nog steeds worstelen met de meest creatieve en ongewone aspecten van taal. Het is alsof je een robot hebt die een perfect huis kan bouwen, maar als je hem vraagt om een kasteel op een wolk te ontwerpen, begint hij te twijfelen.
Kortom: De robot is een geweldige bouwvakker, maar hij heeft nog steeds een menselijke architect nodig om de meest bizarre en creatieve ideeën te realiseren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.