Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

Diese Studie stellt erstmals einen NLP-fähigen Datensatz für das Mainzer Dialekt „Meenzerisch" vor und zeigt, dass aktuelle Large Language Models trotz verschiedener Optimierungsversuche kaum in der Lage sind, dieses Dialektwort oder dessen Definitionen korrekt zu verarbeiten, was den dringenden Bedarf an weiteren Ressourcen und Forschung für deutsche Dialekte unterstreicht.

Das Wesentliche

🗣️ Das große Missverständnis: Wenn KI auf Mainzerisch stottert

Stellt euch vor, ihr habt einen sehr klugen, gut ausgebildeten Roboter (eine sogenannte „Künstliche Intelligenz" oder KI), der Millionen von Büchern gelesen hat. Er kann fließend Deutsch, Englisch, Französisch und viele andere Sprachen. Aber wenn ihr ihn bittet, auf Mainzerisch zu sprechen – dem Dialekt, den die Leute in Mainz und Umgebung nutzen, besonders beim „Fassenacht" (Karneval) – dann gerät er ins Stolpern.

Das ist genau das, was diese Forscher herausgefunden haben. Der Titel des Papers sagt es schon: „Meenz bleibt Meenz, aber große Sprachmodelle sprechen nicht seinen Dialekt."

Hier ist die Geschichte dahinter, einfach erklärt:

1. Das Problem: Ein Dialekt, der fast verschwindet

Der Mainzer Dialekt (Meenzerisch) ist wie ein altes, kostbares Familienrezept. Es ist voller Charme, wird beim Karneval geschrien und ist ein Herzstück der lokalen Identität. Aber wie bei vielen alten Rezepten gibt es immer weniger Leute, die es noch perfekt beherrschen. Junge Generationen lernen eher das „hochdeutsche" Standarddeutsch.

Die Forscher wollten wissen: Kann uns die moderne KI helfen, diesen Dialekt zu retten? Können Computer verstehen, was ein „Bitzelwasser" ist, oder wie man auf Mainzerisch sagt, dass man hungrig ist?

2. Der Versuch: Ein digitales Wörterbuch als Brücke

Da es für den Mainzer Dialekt kaum digitale Daten gab (Computer brauchen Text, um zu lernen, und Dialekte werden meist nur gesprochen), haben die Forscher etwas Neues getan:

• Sie haben ein altes, physisches Wörterbuch aus dem Jahr 1966 gescannt.
• Sie haben es mit Hilfe von Computern in eine digitale Liste verwandelt.
• Das Ergebnis: Ein Datensatz mit 2.351 Mainzer Wörtern und ihrer Bedeutung auf Hochdeutsch.

Stellt euch das wie einen riesigen Übersetzer-Test vor.

3. Der Test: Zwei Aufgaben für die KI

Die Forscher gaben den besten KI-Modellen der Welt (die sogenannten „Large Language Models", wie Llama oder GPT) zwei Aufgaben:

• Aufgabe A (Verstehen): „Ich sage dir ein Mainzer Wort (z. B. Schwollescheer). Was bedeutet das auf Hochdeutsch?"
  • Ergebnis: Die KI war ratlos. Sie hatte nur eine 6 %ige Trefferquote. Das ist wie wenn man 100 Fragen stellt und die KI nur bei 6 davon richtig liegt.
• Aufgabe B (Erfinden): „Ich sage dir eine Bedeutung (z. B. 'Hunger'). Wie sagt man das auf Mainzerisch?"
  • Ergebnis: Noch schlimmer! Hier lag die Trefferquote bei nur 1,5 %. Die KI hat also fast gar keine Ahnung, wie man auf Mainzerisch „Hunger" sagt.

Zum Vergleich: Wenn man die KI auf Englisch testet, schafft sie das fast perfekt (über 90 %). Das zeigt: Die KI ist nicht dumm, sie hat einfach nur niemals gelernt, wie Mainzerisch klingt.

4. Der Versuch, ihr zu helfen: Mit kleinen Tricks

Die Forscher dachten sich: „Vielleicht hilft es, wenn wir der KI ein paar Beispiele zeigen oder ihr Regeln geben."

• Der „Schau-mal-die-Trick" (Few-Shot Learning): Sie gaben der KI ein paar Beispiele vor, wie man Wörter übersetzt.
  • Ergebnis: Es wurde etwas besser (von 6 % auf ca. 9 %), aber immer noch sehr schlecht.
• Der „Regel-Vertrag" (Rule Extraction): Sie ließen die KI erst selbst Regeln finden (z. B. „Im Mainzerischen wird aus 'ei' oft 'aa'") und gaben ihr diese Regeln als Hilfe.
  • Ergebnis: Auch das half nur ein kleines bisschen. Die KI konnte die Regeln nicht richtig anwenden.

5. Die bittere Lektion: Wir müssen mehr tun

Die Studie kommt zu einem klaren Fazit: Aktuelle KI-Modelle sind für Dialekte wie Mainzerisch noch völlig ungeeignet.

Warum?

• Fehlende Daten: KI lernt wie ein Kind, das viel liest und hört. Wenn es keine Bücher auf Mainzerisch gibt, lernt es die Sprache nicht.
• Verzerrung: Die KI ist auf „normales" Deutsch trainiert und ignoriert oder verwechselt Dialekte.

Die Botschaft:
Um Dialekte wie Meenzerisch in der digitalen Welt zu erhalten, reicht es nicht, einfach nur die beste KI zu kaufen. Wir brauchen mehr menschliche Arbeit:

1. Wir müssen mehr Texte und Aufnahmen auf Dialekt sammeln.
2. Wir müssen diese Daten in die KI-Modelle „füttern".
3. Wir müssen forschen, wie man KI so baut, dass sie auch die kleinen, lokalen Sprachen versteht.

Zusammenfassend:
Die KI ist wie ein sehr gebildeter Tourist, der zwar perfekt Deutsch spricht, aber wenn er nach Mainz kommt und jemanden auf Dialekt anspricht, versteht er nur Bahnhof. Um den Dialekt zu retten, müssen wir ihm erst ein Wörterbuch und einen Sprachkurs geben – und das geht nur mit unserer Hilfe.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert das kritische Problem des Aussterbens des Meenzerisch, eines rheinfränkischen Dialekts, der in Mainz und der Region Rheinhessen gesprochen wird. Trotz seiner kulturellen Bedeutung (insbesondere als Sprache des Mainzer Karnevals) ist der Dialekt stark gefährdet.
Das Hauptproblem liegt in der mangelnden digitalen Ressourcenlage: Bisher gab es keine spezifischen NLP-Ressourcen (Datasets, Modelle) für Meenzerisch. Dies führt dazu, dass Large Language Models (LLMs) den Dialekt nicht verstehen oder generieren können. Die Autoren stellen die Hypothese auf, dass aktuelle State-of-the-Art-Modelle bei der Verarbeitung von Dialekten, die nicht in ihren Trainingsdaten ausreichend vertreten sind, versagen, und untersuchen dies am Beispiel des bisher in der NLP-Forschung vernachlässigten Meenzerisch.

2. Methodik

A. Datensatz-Erstellung (Das „Mainz Dialect Dataset")

Da keine digitalen Daten verfügbar waren, erstellten die Autoren einen neuen Datensatz durch eine semi-automatische Pipeline aus dem physischen „Mainzer Wörterbuch" (Schramm, 1966):

1. Digitalisierung: Scannen des Buches und OCR (Optical Character Recognition).
2. Bereinigung: Manuelle Korrektur von OCR-Fehlern (insb. fehlende Zeilenumbrüche).
3. Extraktion:
   • Wörter: Regelbasiertes Python-Skript extrahiert die Dialektwörter.
   • Definitionen: Ein LLM (GPT-OSS 120B) extrahiert die Bedeutungen aus dem unstrukturierten Text und filtert Beispiele oder Zusatzinformationen heraus.
   • Normalisierung: Ein weiteres LLM (Llama-3.3 70B) bereinigt die Definitionen von OCR-Artefakten.
4. Qualitätssicherung: Manuelle Stichprobenprüfung ergab eine hohe Qualität (nur 6 % schwere Fehler).
5. Statistik: Der finale Datensatz enthält 2.351 valide Paare aus Meenzerisch-Wort und Standarddeutsch-Definition. Er ist in Trainings- (250), Entwicklungs- (250) und Testsets (1.851) aufgeteilt.

B. Experimente

Die Autoren führten zwei Hauptexperimente mit einer Vielzahl von Open-Source-LLMs durch (Größen: 4B bis 120B; Architekturen: Dense, MoE; Sprachen: Deutsch, Englisch, Multilingual):

1. Experiment 1 (Definition Generation): Das Modell erhält ein Meenzerisch-Wort und muss die Bedeutung auf Standarddeutsch generieren.
2. Experiment 2 (Wort-Generation): Das Modell erhält eine Definition auf Standarddeutsch und muss das korrekte Meenzerisch-Wort generieren.

Als Baseline wurden die Modelle auch auf einem englischen Wörterbuch-Datensatz getestet, um die generelle Fähigkeit zur Definitions- und Wortgenerierung zu validieren.

C. Zusatzexperimente (Verbesserungsversuche)

Um die niedrigen Leistungen zu verbessern, wurden zwei Techniken getestet (nur mit dem besten Modell, Llama-3.3 70B):

• Few-Shot Learning: Bereitstellung von Beispielen im Prompt (Random vs. Edit-Distance-basierte Auswahl).
• Automatische Regel-Extraktion: Ein Modell (DeepSeek-R1) extrahierte linguistische Transformationsregeln aus dem Trainingsset, die dann in den Prompt des Zielmodells eingespeist wurden.

3. Wichtige Beiträge

1. Erster Datensatz: Vorstellung des ersten digitalen Wörterbuchs für Meenzerisch mit 2.351 Wort-Bedeutungs-Paaren.
2. Erste Evaluation: Erste systematische Untersuchung der Fähigkeiten von LLMs, Meenzerisch zu verstehen (Definitionsgenerierung) und zu generieren (Wortgenerierung).
3. Benchmark-Ergebnisse: Nachweis, dass aktuelle State-of-the-Art-Modelle bei diesem Dialekt extrem schlecht abschneiden, selbst bei großen Modellen (bis zu 120B Parametern).

4. Ergebnisse

Die Ergebnisse zeigen ein drastisches Versagen der Modelle im Vergleich zu ihrer Leistung bei Standarddeutsch oder Englisch:

• Definition Generation (Wort → Bedeutung):
  • Durchschnittliche Genauigkeit aller Modelle: 4,24 %.
  • Bestes Modell (Llama-3.3 70B): 6,27 %.
  • Zum Vergleich (Englisch-Baseline): 86,89 %.
• Wort-Generation (Bedeutung → Wort):
  • Durchschnittliche Genauigkeit aller Modelle: 0,56 %.
  • Bestes Modell (GPT-OSS 120B): 1,51 %.
  • Zum Vergleich (Englisch-Baseline): 58,77 %.

Ergebnisse der Zusatzexperimente:

• Few-Shot Learning: Führt zu leichten Verbesserungen (Definitionen bis 9,24 %, Wörter bis 2,00 %), bleibt aber weit unter 10 %.
• Regel-Extraktion: Verbessert die Definitionsgenerierung signifikant auf 8,37 %, verschlechtert die Wortgenerierung jedoch leicht (nicht signifikant).

Fazit der Ergebnisse: Selbst die fortschrittlichsten Modelle können Meenzerisch-Wörter weder korrekt definieren noch aus Definitionen rekonstruieren. Die Leistung liegt nahe dem Zufallsniveau.

5. Bedeutung und Schlussfolgerung

Die Studie unterstreicht die dringende Notwendigkeit weiterer Forschung und Ressourcen für deutsche Dialekte.

• Kulturelle Relevanz: Ohne NLP-Unterstützung droht der Verlust von Dialekten wie Meenzerisch, was auch den Zugang zu digitalen Technologien für Sprecher einschränkt.
• Technische Lücke: Die Ergebnisse zeigen, dass reine Skalierung von Modellen (mehr Parameter) oder einfache Prompting-Techniken (Few-Shot, Regeln) nicht ausreichen, um Dialekte zu beherrschen.
• Zukünftige Richtungen: Es werden spezifische Datensätze, Feinabstimmung (Fine-Tuning) mit Dialektdaten und die Einbeziehung von Community-Mitgliedern (Co-Design) gefordert. Die Autoren warnen davor, dass die Lösung nicht nur in mehr Rechenleistung liegen darf, da dies unterrepräsentierte Kulturen unverhältnismäßig hohe Kosten auferlegen würde.

Zusammenfassend demonstriert das Paper, dass LLMs derzeit „Meenzerisch nicht sprechen" und dass die Entwicklung von Dialekt-fähigen KI-Systemen ein aktives, aber bisher vernachlässigtes Forschungsfeld darstellt.