💬 NLP

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

Die Studie analysiert die Darstellung von Code-Mixed-Texten in multilingualen Encodern, zeigt auf, dass diese oft lose mit den Ausgangssprachen verbunden sind, und stellt ein neues dreisprachiges Ausrichtungsverfahren vor, das durch die gleichzeitige Verankerung in den Konstituentensprachen die Leistung bei nachgelagerten Aufgaben verbessert.

Ursprüngliche Autoren: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Veröffentlicht 2026-03-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🌍 Die Reise durch die Sprach-Welt: Wenn Sprachen sich mischen

Stell dir vor, du hast einen sehr klugen Roboter, der viele Sprachen lernt (wie Englisch und Hindi). Dieser Roboter ist super darin, englische Sätze zu verstehen und auch Hindi-Sätze. Er hat eine Art „Gedächtnisraum", in dem er alle Wörter und Sätze ablegt.

Das Problem:
In vielen Teilen der Welt, wie in Indien, sprechen Menschen oft zwei Sprachen gleichzeitig in einem Satz. Man nennt das „Code-Mixing".

Beispiel: „Batman, ich weiß, war humble." (Englisch + Hindi).
Oder: „Batman mujhe pta hai, humble tha." (Hindi-Wörter, aber in englischer Schrift).

Die Forscher haben herausgefunden, dass der Roboter mit diesen Misch-Sätzen große Probleme hat.

Der Roboter ist verwirrt: Wenn er einen normalen englischen Satz und einen normalen Hindi-Satz sieht, weiß er genau, dass sie zusammengehören. Aber wenn er einen Misch-Satz sieht, landet dieser in einer Art „Niemandsland" im Gedächtnisraum. Er ist weder richtig bei den Engländern noch richtig bei den Hindi-Sprechern. Er schwebt irgendwo dazwischen, ohne festen Halt.
Die Lösung (bisher): Die Forscher haben dem Roboter extra viele dieser Misch-Sätze zum Lernen gegeben. Das hat geholfen, den Misch-Satz besser zu verstehen. Aber es gab einen Haken: Durch das viele Lernen der Misch-Sätze vergaß der Roboter fast, wie gut Englisch und Hindi eigentlich zusammenpassen. Er wurde gut im Mischen, aber schlecht im Verbinden der beiden Ursprungssprachen.

🧩 Die Entdeckung: Eine einseitige Freundschaft

Die Forscher haben dann genauer hingeschaut (mit einer Art „Röntgenblick" für das Gehirn des Roboters) und zwei spannende Dinge entdeckt:

Englisch ist der Chef: Der Roboter versteht den Misch-Satz fast so, als wäre er nur Englisch. Die englischen Wörter tragen die Hauptlast.
Hindi ist der stille Helfer: Die Hindi-Wörter (besonders wenn sie in ihrer eigenen Schrift, dem Devanagari, geschrieben sind) geben dem Roboter wichtige Zusatzinformationen. Sie helfen ihm, sich sicherer zu fühlen und Fehler zu vermeiden. Ohne Hindi ist der Roboter unsicherer.

Die Analogie:
Stell dir vor, der Misch-Satz ist ein Haus.

Das Englische ist das Fundament und die Wände. Ohne das steht das Haus nicht.
Das Hindi ist das Dach und die Inneneinrichtung. Es macht das Haus komplett und schützt es vor dem Regen (Unsicherheit).
Der Roboter hat bisher nur auf die Wände geschaut und das Dach ignoriert.

🛠️ Die neue Erfindung: Der „Dreiecks-Vertrag"

Die Forscher wollten einen Weg finden, wie der Roboter alle drei Freunde (Englisch, Hindi und die Mischung) gleichzeitig gut behandelt, ohne dass einer benachteiligt wird.

Sie haben eine neue Trainingsmethode entwickelt, die sie „Trilingual Post-Training Alignment" nennen. Das klingt kompliziert, ist aber eigentlich ein einfacher Vertrag:

„Hey Roboter, wenn du einen Satz in Englisch, einen in Hindi und einen in der Mischung hast, dann stelle sicher, dass alle drei in deinem Gedächtnis genau nebeneinander liegen. Sie sollen sich wie beste Freunde anfühlen, die sich die Hände reichen."

Das Ergebnis:

Der Roboter lernt, dass der Misch-Satz nicht in einem Niemandsland ist, sondern fest mit Englisch und Hindi verbunden ist.
Die Verbindung zwischen Englisch und Hindi wird wieder stärker, ohne dass die Fähigkeit, Misch-Sätze zu verstehen, verloren geht.
Der Test: Als sie den Roboter auf echte Aufgaben wie „Gefühl erkennen" (Sentiment Analysis) oder „Hassrede finden" (Hate Speech Detection) prüften, war er mit dieser neuen Methode viel besser und fairer als vorher. Er machte weniger Fehler, egal ob der Satz auf Englisch, Hindi oder gemischt war.

🚀 Fazit in einem Satz

Die Forscher haben gezeigt, dass man KI-Modelle nicht nur auf das Mischen von Sprachen trainieren darf, sondern dass man sie explizit daran erinnern muss, dass die Mischung aus zwei Sprachen besteht – und zwar aus beiden gleichzeitig. Nur so wird die KI wirklich multilingual und versteht die Welt so, wie Menschen sie sprechen.

1. Problemstellung

Multilinguale Encoder-Modelle (wie mBERT und XLM-R) werden häufig für die Analyse von Code-Mixed-Texten (Texten, die Wörter aus mehreren Sprachen mischen, z. B. Hinglish) eingesetzt. Es ist jedoch wenig bekannt, wie diese Modelle Code-Mixed-Eingaben intern repräsentieren und ob diese Repräsentationen eine sinnvolle Verbindung zu den zugrunde liegenden Einzelsprachen (hier Englisch und Hindi) aufweisen.

Bisherige Studien konzentrierten sich meist auf die Ausrichtung (Alignment) monolingualer Sätze. Es bleibt unklar, wie Code-Mixed-Eingaben im gemeinsamen Embedding-Raum positioniert sind und wie sie sich zu ihren monolingualen Gegenstücken verhalten. Ein zentrales Problem ist, dass Modelle oft eine asymmetrische Verarbeitung aufweisen, bei der Code-Mixed-Texte eher als Erweiterung einer dominanten Sprache (meist Englisch) behandelt werden, anstatt als eigenständige, hybride Entität, die beide Sprachen integriert.

2. Methodik

Datensatz-Erstellung:
Die Autoren konstruierten einen einheitlichen dreisprachigen (trilingualen) Korpus, der parallele Sätze in drei Formen enthält:

Englisch (EN)
Hindi in Devanagari-Schrift (HI)
Hindi-Englisch Code-Mixed (CM), meist in römischer Schrift (Hinglish).
Dieser Korpus wurde durch das Zusammenführen bestehender Ressourcen (CM-En Parallel, PHINC, LinCE) und das Generieren fehlender Übersetzungen (via Google Translate und Verifizierung mit IndicTrans2) erstellt. Das finale Dataset umfasst 21.139 Sätze-Tripel.

Analyse-Methoden:
Um die Repräsentationsdynamik zu untersuchen, wurden folgende interpretierbare Techniken eingesetzt:

Centered Kernel Alignment (CKA): Zur Messung der Ähnlichkeit zwischen Repräsentationsräumen über verschiedene Transformer-Schichten hinweg.
Token-Level Saliency (Relative Importance): Um zu bestimmen, wie stark sich das Modell auf englische vs. hindi-sprachige Tokens bei der Verarbeitung von Code-Mixed-Texten verlässt.
Entropie-basierte Unsicherheitsreduktion: Um zu quantifizieren, wie sehr monolinguale Signale (EN oder HI) die Unsicherheit der CM-Repräsentationen erklären.
Retrieval-Accuracy: Ein Protokoll zur Bewertung der strukturellen Konsistenz, bei dem parallele Sätze basierend auf Dot-Product-Similarität abgerufen werden.

Vorgeschlagene Lösung: Trilinguale Post-Training-Ausrichtung
Basierend auf den Erkenntnissen führten die Autoren ein neues Post-Training-Verfahren ein. Sie definierten eine Ausrichtungs-Loss-Funktion ( $L_{align}$ ), die semantisch äquivalente Sätze in Englisch, Hindi und Code-Mixed dazu bringt, sich im gemeinsamen Embedding-Raum näher zu kommen. Die Gesamt-Loss-Funktion kombiniert die ursprüngliche Pre-Training-Zielsetzung (MLM/NSP) mit diesem neuen Alignment-Loss:
$L = L_{base} + \lambda \cdot L_{align}$
Dabei wird $L_{align}$ als durchschnittlicher kosinus-Distanz-Verlust zwischen allen drei Sprachpaaren (EN-HI, EN-CM, HI-CM) berechnet.

Zusätzlich wurde eine neue Metrik eingeführt, der Cross-Lingual Alignment Score (CLAS), der die durchschnittliche bidirektionale Retrieval-Genauigkeit, die Richtungsasymmetrie und die Varianz zwischen den Sprachpaaren kombiniert, um ein ausgewogenes Alignment zu messen.

3. Wichtige Ergebnisse

Repräsentationsdynamik:

Schwache Verankerung: Standard-Multilingual-Modelle zeigen eine gute Ausrichtung zwischen reinem Englisch und reinem Hindi, aber Code-Mixed-Repräsentationen bleiben lose mit beiden Sprachen verbunden und besetzen einen peripheren Bereich im Repräsentationsraum.
Trade-off bei Anpassung: Eine fortgesetzte Vorausbildung (Continued Pre-training) auf Code-Mixed-Daten verbessert die Ausrichtung zwischen Englisch und Code-Mixed (EN-CM), verschlechtert jedoch signifikant die Ausrichtung zwischen Englisch und Hindi (EN-HI).
Asymmetrie und Skript-Einfluss: Modelle verarbeiten Code-Mixed-Texte primär durch einen englisch-dominierten semantischen Raum. Hindi in Devanagari-Schrift liefert jedoch komplementäre Signale, die die repräsentative Unsicherheit reduzieren. Die Verwendung der Devanagari-Schrift in Trainingsdaten verbessert die HI-CM-Ausrichtung erheblich im Vergleich zur rein römischen Schreibweise.
Geometrie: Nach der Anpassung an Code-Mixed-Daten kollabieren EN- und CM-Repräsentationen oft in einen gemeinsamen Bereich, während Hindi distanziert bleibt. Ein effektives Alignment entsteht, wenn CM als Brücke zwischen EN und HI fungiert.

Wirksamkeit der Post-Training-Ausrichtung:

Die Einführung des trilingualen Alignment-Objektivs führt zu einem signifikanten Anstieg des CLAS (z. B. von 14,20 auf 50,97 bei mBERT).
Es gelingt, die durch Code-Mixed-Anpassung verursachte Verschlechterung der EN-HI-Ausrichtung zu korrigieren, ohne die EN-CM-Ausrichtung zu opfern.
Die Methode erzeugt einen ausgewogeneren Repräsentationsraum, in dem alle drei Sprachvarianten näher beieinander liegen.

Downstream-Aufgaben:

Die verbesserte Ausrichtung führt zu messbaren Gewinnen bei Sentiment-Analyse und Hate-Speech-Erkennung für Code-Mixed-Texte.
Besonders wichtig ist die Erhöhung der Konsistenz: Modelle zeigen stabilere Vorhersagen, unabhängig davon, ob der Testtext in Code-Mixed, Englisch oder Hindi vorliegt.

4. Hauptbeiträge

Ressource: Erstellung eines umfassenden, parallelen trilingualen Korpus (EN, HI, CM) für systematische Analysen.
Analyse: Umfassende mechanistische Interpretierbarkeit, die zeigt, dass Code-Mixed-Repräsentationen in Standardmodellen oft „weder hier noch dort" (Neither Here Nor There) verankert sind und eine starke englische Dominanz aufweisen.
Methode: Entwicklung einer einfachen, aber effektiven trilingualen Post-Training-Ausrichtungsstrategie, die Code-Mixed-Repräsentationen gleichzeitig an beide Konstituentensprachen anbindet.
Metrik: Einführung des Cross-Lingual Alignment Score (CLAS) zur quantitativen Bewertung des Gleichgewichts in der multilingualen Ausrichtung.
Validierung: Nachweis, dass eine fundierte Verankerung von Code-Mixed-Repräsentationen in ihren Konstituentensprachen die Leistung und Robustheit in downstream-Aufgaben verbessert.

5. Bedeutung und Ausblick

Das Paper liefert tiefgreifende Einblicke in die Funktionsweise multilingualer Modelle bei der Verarbeitung von Code-Mixed-Texten, einem in vielen mehrsprachigen Gesellschaften alltäglichen Phänomen. Es widerlegt die Annahme, dass Code-Mixed-Texte einfach als „verderbte" Versionen einer Sprache behandelt werden können, und zeigt stattdessen, dass sie eine eigene, aber verletzliche Position im Repräsentationsraum einnehmen.

Die vorgeschlagene trilinguale Ausrichtungsstrategie bietet einen praktischen Weg, um multilinguale Modelle robuster zu machen, ohne auf massive neue Datensätze angewiesen zu sein. Dies ist besonders für Anwendungen in sozialen Medien und für niedrig-resourcierte Sprachpaare relevant. Die Arbeit legt nahe, dass zukünftige Modelle für Code-Mixing explizit die Interaktion aller beteiligten Sprachen während des Trainings berücksichtigen müssen, um ein wirklich kohärentes Verständnis zu erreichen.

Limitationen: Die Studie konzentriert sich auf Hindi-Englisch. Die Ergebnisse müssen auf andere Sprachpaare verallgemeinert werden. Zudem wurden für den Korpus maschinelle Übersetzungen verwendet, was subtile Nuancen beeinträchtigen könnte. Die Methode wurde bisher nur auf Encoder-Modelle (BERT-Familie) angewendet, nicht auf große Decoder-basierte LLMs.