Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

Dit onderzoek introduceert het eerste NLP-dataset voor het Mainz-dialect Meenzerisch en toont aan dat huidige grote taalmodellen, zelfs met few-shot learning en regelgebaseerde aanpakken, nog niet in staat zijn om betrouwbare vertalingen of generaties in dit dialect uit te voeren, wat urgente extra onderzoeksinspanningen vereist.

De kern

"Meenz blijft Meenz, maar AI spreekt die taal niet"

Stel je voor dat je een oude, geleerde oma hebt die een heel speciale taal spreekt. Ze noemt het "Meenzerisch", de dialecttaal van de Duitse stad Mainz. Voor de inwoners is dit meer dan alleen taal; het is de ziel van hun carnavalsfeesten, hun grappen en hun geschiedenis. Maar helaas, deze taal is op sterven na dood. Net als een zeldzame bloem die niet meer genoeg water krijgt, verdwijnt deze taal langzaam.

De onderzoekers van dit paper wilden weten: Kan een slimme computer (een 'Large Language Model' of LLM) deze taal begrijpen en spreken? Ze dachten misschien: "Nou, AI is toch slim? Die kent toch alles?"

Hier is wat ze ontdekten, vertaald in simpele taal:

1. De Digitale Woordenboeken (De Basis)

Voordat ze de AI konden testen, moesten ze eerst een "leesboek" maken voor de computer. Ze hadden een oud, fysiek woordenboek uit 1966. Dit was als een schat in een kelder.

• Het proces: Ze scandeerden het boek, lieten een computer de tekst uitlezen (OCR), en lieten een slimme AI de rommel eruit halen.
• Het resultaat: Ze maakten een lijst van 2.351 Meenzerische woorden met hun betekenis in het Standaard-Duits. Het is alsof ze een mapje hebben gemaakt met de "geheime codes" van Mainz.

2. De Grote Test: Kan de AI het?

Vervolgens gaven ze deze lijst aan verschillende super-slimme AI-modellen (zoals Llama, GPT en Qwen) en stelden twee vragen:

• Vraag 1 (Begrip): "Hier is een Meenzerisch woord. Wat betekent het?"

  • Vergelijking: Alsof je iemand vraagt: "Wat is een 'Aaweiderworschd'?" (Het antwoord is: een augurk).
  • Het resultaat: De AI's waren rampzalig. Ze hadden het goed in slechts 6% van de gevallen. De beste AI was net iets beter dan een raden met je ogen dicht. Terwijl ze in het Standaard-Duits of Engels wel 90% goed hadden, faalden ze volledig in dit dialect.

• Vraag 2 (Spreken): "Hier is een betekenis (bijvoorbeeld: 'honger'). Wat is het Meenzerische woord daarvoor?"

  • Vergelijking: Alsof je zegt: "Zeg maar 'honger' in het Meenzerisch."
  • Het resultaat: Nog erger! Slechts 1,5% van de antwoorden was goed. De AI's gaven vaak onzin of Standaard-Duits. Het was alsof je een pianist vraagt om een stukje te spelen op een piano die ze nog nooit eerder hebben gezien.

3. De Hulpjes (Kunnen we het verbeteren?)

De onderzoekers gaven niet op. Ze dachten: "Misschien helpt het als we de AI een paar voorbeelden geven?" of "Misschien kunnen we de regels van de taal uitleggen?"

• Voorbeelden geven (Few-Shot Learning): Ze gaven de AI een paar voorbeeldzinnen. Dit hielp een beetje, maar de score steeg nauwelijks boven de 10%. Het was alsof je iemand die geen Nederlands spreekt een paar zinnen laat zien en dan vraagt of hij nu een heel gesprek kan voeren.
• Regels uitleggen: Ze lieten een andere AI de regels van het dialect uitschrijven (bijvoorbeeld: "In Meenzerisch klinkt 'ch' vaak als 'sch'"). Ze gaven deze regels aan de test-AI. Ook dit hielp een klein beetje, maar niet genoeg om het probleem op te lossen.

De Conclusie: Waarom is dit belangrijk?

De boodschap van dit onderzoek is hard maar duidelijk: Huidige AI's zijn niet slim genoeg om deze kleine, lokale talen te begrijpen.

Het is alsof je een wereldberoemde chef-kok vraagt om een gerecht te koken met ingrediënten die hij nog nooit heeft gezien. Hij kan de basisrecepten (Standaard-Duits) perfect, maar de lokale specialiteit (Meenzerisch) is voor hem onbegrijpelijk.

Wat betekent dit voor de toekomst?

1. We moeten meer doen: Er is dringend meer onderzoek en meer digitale hulp nodig voor Duitse dialecten.
2. Taal is cultuur: Als AI deze talen niet kan begrijpen, kunnen mensen met dialecten niet makkelijk met moderne technologie communiceren. Dat voelt alsof je uitgesloten wordt van het digitale tijdperk.
3. Geen magie: AI is niet alwetend. Voor kleine, bedreigde talen hebben we menselijke hulp en speciale training nodig, niet alleen maar een krachtige computer.

Kortom: Meenz blijft Meenz, maar de computers zijn nog lang niet in staat om die taal te spreken. We moeten er hard aan werken voordat de laatste sprekers hun taal verliezen en de computer er niet bij kan.

Technische samenvatting

Titel: Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

Auteurs: Minh Duc Bui, Manuel Mager, Peter Herbert Kann, Katharina von der Wense.
Instellingen: Johannes Gutenberg Universiteit Mainz, Universiteit Marburg, University of Colorado Boulder.

---

1. Het Probleem

De dialecten in Duitsland, waaronder het Meenzerisch (het dialect van de stad Mainz), staan op het punt uit te sterven. Dit wordt veroorzaakt door discriminatie, standaardisering van het taalgebruik en een afname van moedertaalsprekers. Hoewel Natural Language Processing (NLP) potentieel heeft om taalbehoud te ondersteunen, is er tot nu toe geen onderzoek gedaan naar Meenzerisch.

De kernproblemen zijn:

• Gebrek aan data: Dialecten worden voornamelijk mondeling gebruikt, wat leidt tot een gebrek aan gestructureerde tekstdata.
• Prestatiekloof: Grote Taalmodellen (LLMs) presteren slecht op Duitse dialecten in vergelijking met Standaard-Duits.
• Onbekend gebied: Meenzerisch is volledig onontgonnen terrein voor de NLP-gemeenschap, ondanks zijn culturele belang (bijv. tijdens de Mainzer Vastelaovend).

2. Methodologie

A. Dataset Creatie: Het "Mainzer Wörterbuch"

De auteurs hebben de eerste digitale dataset voor Meenzerisch gecreëerd door een fysiek woordenboek (Schramm, 1966) te digitaliseren. Het proces bestond uit vijf stappen (zie Figuur 1 in het paper):

1. Scannen: De fysieke pagina's zijn gescand naar PDF's.
2. OCR: Tekstextractie via Optical Character Recognition.
3. Manuele Correctie: Handmatig corrigeren van OCR-fouten, met name ontbrekende regeleinden (zodat elke regel precies één woord en definitie bevat).
4. Woordextractie: Een regelgebaseerd Python-script haalde de dialectwoorden uit de regels.
5. Definitie-extractie: Een LLM (GPT-OSS 120B) werd gebruikt om de definitie uit de tekst te halen, waarbij extra informatie (zoals voorbeeldzinnen) werd verwijderd om de dataset schoon te houden.

Dataset Statistieken:

• Totaal: 2.351 geldige woord-definitie paren (dialectwoord -> definitie in Standaard-Duits).
• Verdeling: 250 training, 250 development, 1.851 test samples.
• Kwaliteit: Manuele verificatie toonde aan dat slechts 6% ernstige fouten bevatte.

B. Experimenten

De auteurs evalueerden diverse open-source LLMs (van 4B tot 120B parameters, inclusief Llama, Qwen, Gemma, GPT-OSS en Leo-HessianAI) op twee taken:

1. Experiment 1: Definitiegeneratie
   • Taak: Geef een dialectwoord en vraag het model om de betekenis in Standaard-Duits te genereren.
   • Evaluatie: "LLM-as-a-Judge" (met Llama-3.3 70B als rechter) vergeleek de gegenereerde definitie met de grondwaarheid.
2. Experiment 2: Woordgeneratie
   • Taak: Geef een definitie in Standaard-Duits en vraag het model om het bijbehorende Meenzerisch-woord te genereren.
   • Evaluatie: Directe string-vergelijking tussen het gegenereerde woord en het grondwaarheid-woord.

C. Extra Experimenten

Om te zien of prestaties verbeterd konden worden, werden twee technieken getest op het beste model (Llama-3.3 70B):

• Few-Shot Learning: Het toevoegen van voorbeelden in de prompt (random of op basis van edit-afstand).
• Automatische Regel-extractie: Het gebruik van DeepSeek-R1 om linguïstische transformatieregels te extraheren uit de trainingsdata en deze als context aan het model te geven.

3. Belangrijkste Resultaten

De resultaten tonen een alarmerend gebrek aan vermogen van huidige LLMs om Meenzerisch te begrijpen of te genereren:

• Definitiegeneratie (Experiment 1):
  • De gemiddelde nauwkeurigheid over alle modellen was slechts 4,24%.
  • Het beste model (Llama-3.3 70B) haalde 6,27%.
  • Ter vergelijking: Op Engelse woorden (een taak waar de modellen goed in zijn) lag de nauwkeurigheid rond de 86,89%.
• Woordgeneratie (Experiment 2):
  • De prestaties waren nog slechter, met een gemiddelde nauwkeurigheid van 0,56%.
  • Het beste model (GPT-OSS 120B) haalde slechts 1,51%.
• Invloed van Extra Technieken:
  • Few-Shot Learning: Verbeterde de definitiegeneratie licht (tot 9,24% met edit-afstand selectie), maar bleef onder de 10%.
  • Regel-extractie: Verbeterde definitiegeneratie naar 8,37%, maar had een negatief effect op woordgeneratie.

4. Bijdragen

Dit paper levert drie fundamentele bijdragen aan het veld:

1. Dataset: De eerste dataset die Meenzerisch-woorden koppelt aan definities in Standaard-Duits, afgeleid van een historisch woordenboek.
2. Benchmarks: De eerste studie die de begripscapaciteit van LLMs voor Meenzerisch evalueert, bewijzend dat huidige modellen deze woorden niet begrijpen.
3. Generatie-evaluatie: De eerste studie die de generatieve capaciteit van LLMs voor Meenzerisch test, bewijzend dat modellen niet in staat zijn correcte dialectwoorden te produceren op basis van definities.

5. Betekenis en Conclusie

De studie concludeert dat state-of-the-art LLMs volledig falen in het hanteren van het Meenzerisch-dialect, zelfs met de beste beschikbare modellen en technieken zoals few-shot learning.

• Dringende noodzaak: Er is een acuut tekort aan digitale bronnen en onderzoek voor Duitse dialecten. Zonder gerichte inspanningen zullen deze taalvarianten verder verdwijnen uit de digitale wereld.
• Implicaties: Het simpele verhogen van rekenkracht (compute) is geen oplossing; er moeten specifieke taalbronnen worden gecreëerd en in het trainingsproces worden opgenomen.
• Toekomstig werk: Er is meer onderzoek nodig, waaronder finetuning op dialectdata en het uitbreiden van datasets met andere dialect-standaard taalparen, om LLMs werkelijk inclusief te maken voor minderheidstalen.

Kortom: Hoewel "Meenz bleibt Meenz" (Mainz blijft Mainz) cultureel waar is, spreken de huidige AI-modellen de taal van Mainz niet, en zonder menselijke interventie zullen ze dit ook nooit doen.