Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

Stel je voor dat je een universele vertaler voor de menselijke geest probeert te bouwen, niet alleen voor woorden, maar voor de diepe, onzichtbare regels die zinnen laten werken. Dit is de wereld van grammatica-engineering. Denk eraan als een architect die niet alleen een huis tekent, maar ook de eigenlijke code schrijft die een robot vertelt hoe hij het baksteen voor baksteen moet bouwen, om ervoor te zorgen dat het dak niet instort. Om dit te doen, gebruiken taalkundigen speciale kaarten die treebanks worden genoemd. Als een zin een gebouw is, dan is een treebank de blauwdruk die precies laat zien hoe elk woord met elk ander woord verbonden is, waarbij wordt vastgelegd wie wat aan wie deed. Maar hier komt het lastige deel bij: wanneer je deze blauwdrukken probeert te maken voor twee zeer verschillende talen — zoals één die stroomt als een rivier en een andere die springt als een kikker — heb je een meesterplan nodig dat de kernstructuur hetzelfde houdt terwijl de oppervlaktedetails kunnen verschillen. Dit is de uitdaging van parallelle grammatica: ervoor zorgen dat de "ziel" van de zin identiek is over talen heen, zelfs als de "kleding" die het draagt totaal anders is.

En dan, de nieuwe speler op het veld: Large Language Models (LLM's). Dit zijn de superintelligente AI-chatbots die bijna alles op het internet hebben gelezen. Ze zijn geweldig in het raden van het volgende woord in een zin, maar begrijpen ze werkelijk de diepe architecturale regels van de grammatica? Kunnen ze menselijke architecten helpen om deze blauwdrukken sneller te bouwen, of zijn ze slechts slimme gokkers die per ongeluk een huis kunnen bouwen met een deur in het plafond? Dit artikel vraagt precies die vraag, waarbij gebruik wordt gemaakt van twee zeer verschillende talen: Kantonees (een taal uit Zuid-China met zeer weinig woorduitgangen) en Iers (een Keltische taal met veel woorduitgangen en een andere woordvolgorde). De onderzoekers wilden zien of een AI tussen deze twee kon vertalen en de juiste grammaticale blauwdrukken voor hen kon tekenen, optredend als een behulpzame assistent voor menselijke experts.

Het Experiment: AI als Grammatica-leerling

De onderzoekers zetten een proefrit uit met een specifiek AI-model (OpenAI's gpt-oss-120b) en gaven het een stapel van 50 zinnen. Deze zinnen waren als een "rijbewijsexamen" voor grammatica, variërend van eenvoudige beweringen tot complexe zinnen met relatieve bijzinnen en lastige werkwoordstructuren. Ze vroegen de AI om twee hoofdtaken uit te voeren:

1. Vertalen: Een zin van het Kantonees naar het Iers vertalen, of andersom.
2. De Blauwdruk Tekenen: Een formele grammaticale kaart maken (een f-structuur genoemd) die de diepe relaties tussen woorden laat zien, waarbij de oppervlaktevolgorde wordt genegeerd.

Ze probeerden dit op verschillende manieren: door de AI in het Engels te vragen, in de doeltaal te vragen, en door de AI te vragen om zowel de vertaling als het tekenen tegelijkertijd te doen.

De Resultaten: Een Gemengde Zak van Briljantie en Verwarring

De bevindingen waren een beetje alsof je naar een getalenteerde maar verwarde leerling kijkt. De AI liet soms zien het grote plaatje te kunnen zien, maar struikelde vaak over de details.

Vertalingsproblemen
Wat betreft het vertalen, had de AI grote moeite. Het was als een student die de woordenschat kent, maar constant de dialecten door elkaar haalt.

• De "Mandarijn" Verwarring: Wanneer de AI werd gevraagd om Kantonees te spreken, verviel hij vaak in Mandarijn. Bijvoorbeeld, de AI gebruikte het woord hǎo bàng (geweldig) in plaats van het correcte Kantonees hóu lèk. Het is alsof je iemand vraagt om met een Schotse accent te spreken, en diegene per ongeluk Amerikaanse straattaal gebruikt.
• De "Verzonnen" Woorden: Bij het vertalen naar het Iers maakte de AI niet alleen fouten; hij bedacht woorden. Het woord voor "tractor" (tarracóir) werd soms veranderd in "zeil", "overvaller", "konijn" of zelfs "dief". Het leek erop dat de AI gokte op basis van hoe het woord klonk of in welke context het stond, in plaats van de werkelijke betekenis te kennen.
• Het Succespercentage: De cijfers waren sober. Wanneer de AI werd gevraagd om van het Iers naar het Kantonees te vertalen, waren slechts ongeveer 22% tot 24% van de vertalingen zowel accuraat in betekenis als natuurlijk klinkend. Voor Kantonees naar Ierse vertalingen lag het percentage nog lager, waarbij slechts 6% tot 8% van de vertalingen de juiste snaar raakte. Opvallend genoeg hielp het veranderen van de taal van de instructies (de "prompt") helemaal niet; de AI presteerde even slecht of men hem nu in het Engels of in de doeltaal vroeg.

Het Tekenen van de Blauwdruk
Bij het tekenen van de grammaticale blauwdrukken (de f-structuren) deed de AI het iets beter, maar heeft hij nog een lange weg te gaan.

• Engels was Makkelijk: Bij Engelse zinnen kreeg de AI het ongeveer 46% van de tijd goed (beoordeeld als "Uitstekend" of "Goed").
• Kantonees was Oké: Voor Kantonees slaagde hij er ongeveer 34% van de tijd in om een correcte structurele analyse te maken.
• Iers was Moeilijk: Voor het Iers daalde het succespercentage naar slechts 20%. De onderzoekers vermoeden dat dit komt doordat het Iers meer complexe woorduitgangen heeft en een andere zinsvolgorde (Werkwoord-Onderwerp-Object) die de AI minder bekend voorkwam.
• De Uitdaging van de "Gedeelde" Blauwdruk: De moeilijkste taak was de AI vragen om de gedeelde dieptestructuur tussen het Kantonees en het Iers te vinden. Hier faalde de AI grotendeels, waarbij 44% van de Kantonees-naar-Ierse pogingen en 38% van de Ierse-naar-Kantoneese pogingen als "Slecht" werden beoordeeld. De AI had moeite om de gemeenschappelijke regels te abstraheren terwijl de oppervlakteverschillen werden genegeerd.

Wat de AI Fout Deed (en Goed Deed)

De AI was niet geheel nutteloos. Het slaagde er in ongeveer 70% van de gevallen in om de basis "wie deed wat" relaties vast te leggen, zelfs als de details rommelig waren. Het suggereerde soms interessante alternatieve manieren om naar een zin te kijken, wat een idee kan aanwakkeren bij een menselijk taalkundige.

Echter, de fouten waren veelzeggend.

• Stereotypen: De AI nam aan dat "boeren" en "chauffeurs" altijd mannelijk waren, en gaf hen mannelijke geslachtstags, ook al vereist noch het Kantonees noch het Iers een geslacht voor deze woorden. De AI vertrouwde op zijn eigen "wereldkennis" in plaats van op de regels van de taal.
• Verwarrende Concepten: Het mengde vaak verschillende soorten zinsstructuren door een relatieve bijzin (zoals "de auto die ik kocht") te behandelen also kind een direct object, wat aantoonde dat het de theoretische verschillen niet volledig begreep.
• Hallucinaties: De AI verzon woorden en betekenissen, zoals het vertalen van "gebadd in de rivier" als "zichzelf in de rivier verdronken", waardoor het hele verhaal volledig veranderde.

De Kern van de Zaak

Het paper concludeert dat hoewel deze AI-modellen krachtige instrumenten zijn, ze niet klaar zijn om menselijke experts te vervangen bij het bouwen van complexe grammatica's. Ze kunnen een "eerste versie" of een hint van een idee bieden, maar men kan ze niet vertrouwen om de details goed te krijgen. De AI is als een zeer snelle, zeer zelfverzekerde student die veel boeken heeft gelezen, maar de kunst nog niet echt heeft geoefend om een stevig huis te bouwen.

De onderzoekers benadrukken dat menselijke expertise essentieel blijft. De output van de AI moet zorgvuldig gecontroleerd en geverifieerd worden door mensen die de talen echt begrijpen. De studie suggereert dat totdat AI-modellen getraind worden op veel specifiekere, hoogwaardige data voor deze "onderbediende" talen, ze eerder een curiositeit zullen blijven dan een betrouwbare partner in het serieuze werk van grammatica-engineering. De droom van een volledig geautomatiseerde grammatica-bouwer is nog ver weg, maar dit experiment heeft geholpen in kaart te brengen waar de huidige technologie precies over haar eigen veters struikelt.