Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing

Die Studie zeigt, dass mehrsprachige Large Language Models zwar Kognaten und Nicht-Kognaten erkennen können, jedoch erhebliche Schwierigkeiten haben, interlinguale Homographen korrekt zu disambiguieren, da sie sich zu stark auf orthografische Ähnlichkeiten statt auf semantisches Verständnis verlassen.

Das Wesentliche

🧠 Wenn KI-Modelle zweisprachig werden: Ein Ausflug in die Welt der "falschen Freunde"

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Millionen von Büchern in verschiedenen Sprachen gelesen hat. Er kann fließend Englisch, Spanisch, Französisch und Deutsch sprechen. Aber die Forscher dieser Studie haben herausgefunden: Dieser Roboter ist zwar ein guter Buchhalter von Wörtern, aber ein etwas verwirrter Übersetzer, wenn es um die Bedeutung geht.

Die Studie untersucht, wie diese KI-Modelle (Large Language Models oder LLMs) mit einem speziellen Phänomen umgehen: Wörtern, die in zwei Sprachen gleich aussehen, aber unterschiedliche Bedeutungen haben.

1. Die drei Arten von Wörtern (Das Menü)

Um das Problem zu verstehen, müssen wir drei Arten von Wörtern kennen, die wie verschiedene Gerichte auf einem Menü sind:

• Die "Zwillinge" (Kognaten): Das sind Wörter wie Haus (Deutsch) und House (Englisch) oder Blind (beide Sprachen). Sie sehen ähnlich aus und bedeuten das Gleiche.
  • Die Metapher: Das sind wie Zwillingsbrüder, die sich nicht nur ähnlich sehen, sondern auch denselben Charakter haben. Für die KI ist es ein Kinderspiel, sie zu erkennen.
• Die "Fremden" (Nicht-Kognaten): Das sind Wörter wie Tisch (Deutsch) und Table (Englisch). Sie bedeuten das Gleiche, sehen aber völlig unterschiedlich aus.
  • Die Metapher: Das sind wie Kameraden in Uniform, die sich nicht ähnlich sehen, aber denselben Job machen. Die KI muss hier hart arbeiten, um zu wissen, dass sie zusammengehören.
• Die "Täuscher" (Interlinguale Homographen): Das ist das Problemkind. Wörter wie Gift im Englischen (ein Geschenk) und im Deutschen (Gift/Poison). Oder Embarazada im Spanischen (schwanger) vs. Embarrassed im Englischen (verlegen). Sie sehen fast identisch aus, meinen aber völlig unterschiedliche Dinge.
  • Die Metapher: Das sind wie Schwindler in Tarnkappen. Sie tragen das gleiche Kostüm wie ein Freund, sind aber eigentlich Feinde.

2. Das Experiment: Der Test im Labor

Die Forscher haben verschiedene KI-Modelle (wie LLaMA, Mistral, BLOOM) getestet. Sie stellten ihnen diese Wörter vor, einmal allein und einmal in einem ganzen Satz.

Ergebnis 1: Der "Schwindler"-Effekt
Wenn die KI ein Wort wie Gift allein sah, rutschte ihr oft der falsche Hut auf.

• Sie sah das Wort "Gift".
• Da es im Englischen "Geschenk" bedeutet, dachte die KI: "Aha, Geschenk!"
• Aber wenn das Wort im deutschen Kontext stand, war es eigentlich "Gift" (Todesgift).
• Das Ergebnis: Die KI verwechselte die Bedeutungen oft schlimmer als ein reiner Zufallstreffer. Sie verließ sich zu sehr auf das Aussehen des Wortes (die Buchstaben) und ignorierte die Bedeutung. Es ist, als würde jemand nur nach dem T-Shirt urteilen, wer eine Person ist, und dabei völlig vergessen, dass die Person unter dem T-Shirt ein ganz anderer Mensch sein könnte.

Ergebnis 2: Die "Zwillinge" sind beliebt
Bei den "Zwillingen" (Kognaten) waren die KIs super schnell und genau. Da sich Form und Bedeutung decken, funktionierte das wie ein gut geöltes Getriebe.

Ergebnis 3: Der Kontext hilft (aber nur teilweise)
Wenn die KI einen ganzen Satz bekam, konnte sie manchmal den Schwindler entlarven.

• Beispiel: "Das Gift tötete den Hund." (Hier muss es Gift sein).
• Die KI konnte hier oft das richtige deutsche Wort verstehen, weil der Satz (der Kontext) wie ein Sicherheitsgurt wirkte, der sie auf den richtigen Pfad zwang.
• ABER: Wenn der Satz auf Englisch war und das deutsche Wort Gift enthielt, dachte die KI oft immer noch an "Geschenk", weil sie zu sehr auf die englische Sprache fixiert war. Sie hatte Schwierigkeiten, sich in eine fremde Sprache (außer Englisch) hineinzuversetzen.

3. Die große Erkenntnis: Der Roboter hat keine "Welt-Verbindung"

Warum macht die KI das?
Die Forscher sagen: Diese Modelle haben Wörter wie Karten in einem riesigen Archiv gelernt. Sie wissen, welche Buchstaben oft zusammenkommen. Aber sie haben keine echte Verbindung zur realen Welt.

• Ein Mensch weiß, dass Gift im Deutschen etwas ist, das einen umbringt, weil er es vielleicht gesehen oder gelesen hat.
• Die KI weiß nur: "Das Wort 'Gift' kommt oft in Sätzen vor, die mit 'Geschenk' zu tun haben."

Es ist, als würde ein Koch ein Rezept auswendig lernen, ohne jemals gekocht zu haben. Er kennt die Zutaten (die Buchstaben), aber er weiß nicht wirklich, wie sie schmecken (die Bedeutung).

4. Fazit: Was lernen wir daraus?

Die Studie zeigt uns, dass unsere KI-Modelle zwar beeindruckend sind, aber noch nicht so schlau wie ein zweisprachiger Mensch.

• Sie sind gut im Erkennen von Mustern: Wenn Wörter ähnlich aussehen, denken sie, sie bedeuten das Gleiche.
• Sie sind schlecht im Verstehen von Nuancen: Wenn Wörter täuschen (wie die "Schwindler"), verlieren sie den Faden, besonders wenn es nicht um Englisch geht.
• Die Zukunft: Damit KI wirklich zweisprachig wie ein Mensch wird, muss sie lernen, nicht nur die Buchstaben zu zählen, sondern die Bedeutung hinter den Wörtern zu verstehen. Sie muss lernen, dass ein Wort wie Gift je nach Land ein Geschenk oder ein Mordwerkzeug sein kann.

Kurz gesagt: Unsere KI ist wie ein Tourist, der eine Sprach-App auf dem Handy hat. Er kann Sätze nachsprechen, aber wenn er auf die falsche Taste drückt (wegen eines ähnlichen Wortes), landet er im falschen Restaurant – und bestellt versehentlich Gift statt ein Geschenk.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit untersucht die Fähigkeit multilingualer Large Language Models (LLMs), die komplexe Interaktion zwischen Orthografie (Schreibform) und Semantik (Bedeutung) bei der Verarbeitung bilingualer Wörter zu bewältigen. Während menschliche zweisprachige Sprecher über einen integrierten mentalen Lexikon verfügen, in dem Wörter unterschiedlicher Sprachen gleichzeitig aktiviert werden können, ist unklar, wie LLMs mit spezifischen linguistischen Phänomenen umgehen:

• Kognate: Wörter mit ähnlicher Orthografie und gleicher Bedeutung in zwei Sprachen (z. B. blind im Englischen und Deutschen).
• Interlinguale Homographen: Wörter mit ähnlicher Orthografie, aber unterschiedlicher Bedeutung in zwei Sprachen (z. B. gift im Englischen = „Geschenk", im Deutschen = „Gift").
• Nicht-Kognate: Wörter mit gleicher Bedeutung, aber unterschiedlicher Orthografie.

Das zentrale Problem ist, ob LLMs diese Wörter basierend auf ihrer semantischen Bedeutung oder primär auf ihrer orthografischen Ähnlichkeit verarbeiten und ob sie in der Lage sind, Bedeutungen in kontextuellen Sätzen korrekt zu disambiguieren.

2. Methodik

Die Autoren entwickelten drei neue experimentelle Aufgaben, inspiriert von psycholinguistischen Studien (insbesondere dem Bilingual Interactive Activation Plus (BIA+) Modell), um fünf öffentliche multilinguale LLMs zu testen: BLOOMZ, LLaMA-2, LLaMA-3, LLaMA-3.1 und Mistral. Die Tests umfassten die Sprachpaare Englisch-Spanisch, Englisch-Französisch und Englisch-Deutsch.

• Datensatz: Es wurden 420 Wortpaare pro Sprachpaar erstellt (Kognate, Nicht-Kognate, Homographen), verifiziert durch linguistische Experten und Wörterbücher.
• Token-Overlap-Analyse: Quantifizierung der sub-wortlichen Token-Überschneidungen zwischen Wortpaaren, um zu messen, wie ähnlich die Modelle die Wörter auf Sub-Token-Ebene sehen.
• Experiment 1: Wortpaar-Disambiguierung: Das Modell musste entscheiden, ob ein Wortpaar die gleiche Bedeutung hat (True/False). Dies wurde isoliert und ohne Kontext getestet.
• Experiment 2: Semantische Urteilsbildung: Das Modell musste die korrekte Bedeutung eines Wortes aus zwei Optionen auswählen (eine korrekte, eine inkorrekte). Dies testete die Fähigkeit, semantische Informationen abzurufen, unabhängig von orthografischen Hinweisen.
• Experiment 3: Semantische Restriktion in Sätzen: Das Modell wurde mit inkongruenten Sätzen konfrontiert (z. B. ein englischer Satz mit einem spanischen Homographen). Es musste die Sprache des Wortes, die Bedeutung im Kontext und die Sinnhaftigkeit des Satzes bewerten. Hier wurden Sätze mit hoher und niedriger semantischer Restriktion verwendet.
• Auswertung: Die Ergebnisse wurden durch menschliche Evaluatoren (für Experiment 3) und statistische Tests (t-Tests gegen Zufallsbaselines, Entropie-Analysen) validiert.

3. Wichtige Beiträge

• Entkopplung von Orthografie und Semantik: Die Studie liefert den ersten umfassenden Beweis, dass multilinguale LLMs bei der Verarbeitung von Homographen stark auf orthografische Ähnlichkeiten angewiesen sind und dabei die semantische Bedeutung vernachlässigen.
• Fehlende Grounding: Die Ergebnisse deuten darauf hin, dass LLMs keine echte „Wort-zu-Welt"-Verbindung (Grounding) haben. Die Fähigkeit, orthografische Muster zu erkennen, korreliert nicht mit dem Verständnis der Wortbedeutung.
• Asymmetrie in der Sprachverarbeitung: Es wurde eine signifikante Asymmetrie entdeckt: Modelle verhalten sich bei englischen Homographen anders als bei nicht-englischen. Bei englischen Wörtern neigen sie dazu, die Bedeutung des Wortes zu ignorieren, selbst wenn der Kontext (in einer anderen Sprache) eine andere Bedeutung nahelegt.
• Neue Evaluationsframeworks: Die Autoren stellen einen neuen Datensatz und Evaluationsprotokolle bereit, die psycholinguistische Konzepte (wie den Cognate Facilitation Effect und Interlingual Homograph Interference) auf LLMs übertragen.

4. Ergebnisse

• Disambiguierung (Experiment 1):
  • Modelle zeigten eine hohe Genauigkeit bei der Unterscheidung von Kognaten (oft >90%) und Nicht-Kognaten.
  • Bei interlingualen Homographen versagten die meisten Modelle (außer BLOOMZ, das jedoch eine starke Verzerrung zeigte). Die Genauigkeit lag oft unter dem Zufallsniveau (z. B. ~25-30% bei LLaMA-3.1), was darauf hindeutet, dass die Modelle die orthografische Ähnlichkeit als Indikator für gleiche Bedeutung fehlinterpretieren.
  • Vollständig identische orthografische Paare wurden schlechter verarbeitet als teilweise identische, was auf eine Störung durch hohe Nachbarschaftsdichte hindeutet.
• Semantische Urteilsbildung (Experiment 2):
  • Die Modelle hatten Schwierigkeiten, die korrekte Bedeutung von Wörtern abzurufen (Durchschnittsgenauigkeit oft <65%).
  • Keine Korrelation: Es gab keine signifikante Korrelation zwischen der Leistung in der Disambiguierungsaufgabe und der semantischen Urteilsbildung. Modelle, die gut orthografische Ähnlichkeiten erkannten, konnten die Bedeutungen nicht besser abrufen. Dies widerlegt die Annahme, dass orthografische Ähnlichkeit (Kognaten-Effekt) auch die semantische Verarbeitung erleichtert.
• Kontextuelle Verarbeitung (Experiment 3):
  • Modelle konnten bei nicht-englischen Homographen in englischen Sätzen den Kontext nutzen, um die Bedeutung zu korrigieren („Correction Type 2").
  • Bei englischen Homographen in nicht-englischen Sätzen scheiterten die Modelle jedoch häufig. Sie ignorierten den semantischen Kontext der umgebenden Sprache und blieben bei der wörtlichen Bedeutung des englischen Wortes hängen.
  • Dies zeigt, dass LLMs keine einheitliche Strategie für die Behandlung von mehrsprachigen Ambiguitäten haben und stark vom Englischen als „Pivot-Sprache" abhängig sind.

5. Bedeutung und Fazit

Die Studie zeigt, dass aktuelle multilinguale LLMs zwar in der Lage sind, orthografische Muster zu erkennen und Kognaten zu identifizieren, ihnen jedoch das tiefe semantische Verständnis fehlt, das für die korrekte Disambiguierung von Homographen notwendig ist.

• Theoretische Implikation: Im Gegensatz zum menschlichen BIA+-Modell, bei dem orthografische und semantische Informationen integriert verarbeitet werden, scheinen LLMs diese Ebenen zu trennen. Sie nutzen orthografische Signale für die Worterkennung, aber nicht für das semantische Verständnis.
• Praktische Konsequenz: Für den Einsatz von LLMs in mehrsprachigen Umgebungen besteht ein Risiko von Fehlinterpretationen, insbesondere bei Wörtern, die in einer Sprache eine andere Bedeutung haben als in der anderen (False Friends).
• Zukunftsausblick: Um robustere mehrsprachige KI-Systeme zu entwickeln, müssen zukünftige Modelle so trainiert werden, dass sie semantische Grounding und kontextsensitive Disambiguierung über Sprachgrenzen hinweg verbessern, anstatt sich nur auf statistische orthografische Korrelationen zu verlassen.