Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

Stellen Sie sich vor, Sie versuchen, einen universellen Übersetzer für den menschlichen Geist zu bauen, nicht nur für Wörter, sondern für die tiefen, unsichtbaren Regeln, die Sätze funktionsfähig machen. Dies ist die Welt des Grammatik-Engineerings. Denken Sie daran wie ein Architekt, der nicht nur ein Haus zeichnet, sondern den eigentlichen Code schreibt, der einem Roboter sagt, wie er es Stein für Stein aufbauen soll, um sicherzustellen, dass das Dach nicht einstürzt. Um dies zu tun, verwenden Linguisten spezielle Karten, die Treebanks genannt werden. Wenn ein Satz ein Gebäude ist, dann ist eine Treebank der Bauplan, der genau zeigt, wie jedes Wort mit jedem anderen Wort verbunden ist und festhält, wer wem was angetan hat. Aber hier liegt der Knackpunkt: Wenn Sie versuchen, diese Baupläne für zwei sehr unterschiedliche Sprachen zu erstellen – wie eine, die wie ein Fluss fließt, und eine andere, die wie ein Frosch springt – benötigen Sie einen Masterplan, der den Kern der Struktur gleich hält, während er die oberflächlichen Details variieren lässt. Dies ist die Herausforderung der parallelen Grammatik: sicherzustellen, dass die „Seele“ des Satzes über Sprachen hinweg identisch bleibt, auch wenn die „Kleidung“, die sie trägt, völlig unterschiedlich ist.

Hier kommt der Newcomer auf den Markt: Large Language Models (LLMs). Das sind die superintelligenten KI-Chatbots, die fast alles im Internet gelesen haben. Sie sind großartig darin, das nächste Wort in einem Satz zu erraten, aber können sie tatsächlich die tiefen architektonischen Regeln der Grammatik verstehen? Können sie den menschlichen Architekten helfen, diese Baupläne schneller zu erstellen, oder sind sie nur schicke Ratemaschinen, die versehentlich ein Haus mit einer Tür in der Decke bauen könnten? Diese Arbeit stellt genau diese Frage und verwendet zwei sehr unterschiedliche Sprachen: Kantonesisch (eine Sprache aus Südchina mit sehr wenigen Wortendungen) und Irisch (eine keltische Sprache mit vielen Wortendungen und einer anderen Wortstellung). Die Forscher wollten sehen, ob eine KI zwischen diesen beiden Sprachen übersetzen und die korrekten grammatikalischen Baupläne für sie zeichnen kann, indem sie als hilfreiche Assistentin für menschliche Experten fungiert.

Das Experiment: KI als Grammatik-Lehrling

Die Forscher führten eine Testfahrt mit einem spezifischen KI-Modell (OpenAI's gpt-oss-120b) durch und gaben ihm einen Stapel von 50 Sätzen. Diese Sätze waren wie ein „Führerschein-Test“ für die Grammatik und deckten alles ab, von einfachen Aussagen bis hin zu komplexen Sätzen mit Relativsätzen und kniffligen Verbstrukturen. Sie baten die KI, zwei Hauptaufgaben zu erfüllen:

1. Übersetzen: Einen Satz von Kantonesisch ins Irische oder umgekehrt zu übertragen.
2. Den Bauplan zeichnen: Eine formale grammatikalische Karte (genannt f-Struktur) zu erstellen, die die tiefen Beziehungen zwischen den Wörtern zeigt, wobei die Oberflächenordnung ignoriert wird.

Sie probierten dies auf verschiedene Arten aus: indem sie die KI auf Englisch fragten, indem sie sie in der Zielsprache fragten und indem sie sie baten, sowohl die Übersetzung als auch das Zeichnen gleichzeitig durchzuführen.

Die Ergebnisse: Ein Gemisch aus Brillanz und Verwirrung

Die Ergebnisse waren ein wenig so, als würde man einem talentierten, aber verwirrten Lehrling beim Arbeiten zusehen. Die KI zeigte, dass sie manchmal das große Ganze sehen konnte, aber oft an den Details stolperte.

Die Übersetzungsprobleme
Bei der Übersetzung hatte die KI schwer zu kämpfen. Es war wie ein Schüler, der den Wortschatz kennt, aber ständig die Dialekte verwechselt.

• Das „Mandarin“-Durcheinander: Wenn sie gebeten wurde, Kantonesisch zu sprechen, rutschte die KI oft ins Mandarin ab. Zum Beispiel verwendete sie das Wort hǎo bàng (toll) anstelle des korrekten kantonesischen hóu lèk. Es ist, als würde man jemanden bitten, mit einem schottischen Akzent zu sprechen, und er benutzt stattdessen amerikanischen Slang.
• Die „erfundenen“ Wörter: Beim Übersetzen ins Irische machte die KI nicht nur Fehler; sie erfand Wörter. Das Wort für „Traktor“ (tarracóir) wurde manchmal zu „Plane“, „Räuber“, „Kaninchen“ oder sogar „Dieb“ verwandelt. Es schien, als würde sie basierend darauf raten, wie das Wort klingt oder in welchem Kontext es steht, anstatt die tatsächliche Bedeutung zu kennen.
• Die Erfolgsquote: Die Zahlen waren ernüchternd. Wenn die KI gebeten wurde, aus dem Irischen ins Kantonesische zu übersetzen, waren nur etwa 22 % bis 24 % der Übersetzungen sowohl in der Bedeutung korrekt als auch natürlich klingend. Von Kantonesisch ins Irische war es noch niedriger, wobei nur 6 % bis 8 % der Übersetzungen trafen. Interessanterweise half es überhaupt nicht, die Sprache der Anweisungen (den „Prompt“) zu ändern; die KI schnitt genauso schlecht ab, egal ob sie auf Englisch oder in der Zielsprache gefragt wurde.

Das Zeichnen des Bauplans
Beim Zeichnen der grammatikalischen Baupläne (der f-Strukturen) schnitt die KI etwas besser ab, hatte aber immer noch einen weiten Weg vor sich.

• Englisch war einfach: Bei englischen Sätzen bekam sie es etwa 46 % der Zeit richtig (bewertet als „Exzellent“ oder „Gut“).
• Kantonesisch war okay: Für Kantonesisch gelang ihr eine korrekte strukturelle Analyse etwa 34 % der Zeit.
• Irisch war schwer: Bei Irisch sank die Erfolgsquote auf nur 20 %. Die Forscher vermuten, dass dies daran liegt, dass Irisch komplexere Wortendungen und eine andere Satzstellung (Verb-Subjekt-Objekt) hat, mit der die KI weniger vertraut war.
• Die Herausforderung des „gemeinsamen“ Bauplans: Die schwierigste Aufgabe war es, die KI zu bitten, die gemeinsame Tiefenstruktur zwischen Kantonesisch und Irisch zu finden. Hier versagte die KI meistens; 44 % der Kantonesisch-zu-Irisch-Versuche und 38 % der Irisch-zu-Kantonesisch-Versuche wurden als „Schlecht“ bewertet. Sie hatte Schwierigkeiten, die gemeinsamen Regeln zu abstrahieren, während sie die Oberflächenunterschiede ignorierte.

Was die KI falsch (und richtig) machte

Die KI war nicht völlig nutzlos. Sie schaffte es in etwa 70 % der Fälle, die grundlegenden „Wer tat was“-Beziehungen zu erfassen, selbst wenn die Details chaotisch waren. Manchmal schlug sie interessante alternative Sichtweisen auf einen Satz vor, die einem menschlichen Linguisten eine Idee liefern könnten.

Die Fehler waren jedoch aufschlussreich.

• Stereotypen: Die KI nahm an, dass „Bauern“ und „Fahrer“ immer männlich seien, und wies ihnen männliche Geschlechtsmerkmale zu, obwohl weder das Kantonesische noch das Irische für diese Wörter ein grammatikalisches Geschlecht erfordern. Sie verließ sich auf ihr eigenes „Weltwissen“ statt auf die Regeln der Sprache.
• Verwechslung von Konzepten: Sie verwechselte oft verschiedene Arten von Satzstrukturen, indem sie beispielsweise einen Relativsatz (wie „das Auto, das ich gekauft habe“) so behandelte, als wäre er ein direktes Objekt, was zeigte, dass sie die theoretischen Unterschiede nicht vollumfänglich begriff.
• Halluzinationen: Die KI erfand Wörter und Bedeutungen, wie etwa die Übersetzung von „im Fluss gebadet“ als „sich im Fluss ertränkt“, was die Geschichte komplett veränderte.

Das Fazbeit (Fazit)

Das Paper kommt zu dem Schluss, dass diese KI-Modelle zwar mächtige Werkzeuge sind, aber noch nicht bereit sind, menschliche Experten zu ersetzen, die komplexe Grammatiken erstellen. Sie können einen „ersten Entwurf“ oder einen Hinweis auf eine Idee liefern, aber man kann ihnen nicht vertrauen, die Details richtig zu gestalten. Die KI ist wie eine sehr schnelle, sehr selbstbewusste Schülerin, die viel gelesen hat, aber das Handwerk noch nicht genug geübt hat, um ein stabiles Haus zu bauen.

Die Forscher betonen, dass menschliche Expertise weiterhin unerlässlich ist. Die Ausgaben der KI müssen von Menschen, die die Sprachen wirklich verstehen, sorgfältig geprüft und verifiziert werden. Die Studie legt nahe, dass diese KI-Modelle, bis sie mit viel spezifischeren, hochwertigen Daten für diese „ressourcenarmen“ Sprachen trainiert werden, eher eine Kuriosität als ein zuverlässiger Partner in der ernsthaften Arbeit des Grammatik-Engineerings bleiben werden. Der Traum von einem vollautomatisierten Grammatik-Builder ist noch in weiter Ferne, aber dieses Experiment hat geholfen, genau zu kartografieren, wo die aktuelle Technologie über ihre eigenen Schnürsenkel stolpert.