💬 NLP

Disentangling Language Roles in Multilingual LLM Task Execution

Dieser Beitrag stellt MTM-Bench vor, eine kontrollierte Benchmark mit einem vollständig gekreuzten Design aus Instruktions-, Inhalts- und Antwortsprache, um zu zeigen, dass Leistungsabfall in mehrsprachigen LLMs primär durch die spezifische Rolle einer Sprache – insbesondere die Antwortsprache – getrieben wird und nicht einfach durch die Anzahl der Sprachinkonsistenzen.

Ursprüngliche Autoren: Qishi Zhan, Minxuan Hu, Seoyeon Jang, Lei Zhao, Ziheng Chen, Man Liang, Xinyue Xiang, Jiaxin Liu, Guansu Wang, Liang He

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qishi Zhan, Minxuan Hu, Seoyeon Jang, Lei Zhao, Ziheng Chen, Man Liang, Xinyue Xiang, Jiaxin Liu, Guansu Wang, Liang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Übersetzer für eine sehr spezifische, knifflige Aufgabe ein. Es geht bei dieser Aufgabe nicht nur darum, drei Sprachen zu beherrschen, sondern darum zu wissen, welche Sprache für welchen Teil des Gesprächs zu verwenden ist.

Normalerweise testen wir KI mit Fragen wie: „Kann diese KI Spanisch sprechen?" oder „Versteht sie Französisch?" Doch in der realen Welt ist die Situation oft chaotischer. Ein Chef könnte Anweisungen auf Spanisch geben, ein Dokument auf Englisch übergeben und die abschließende Zusammenfassung auf Chinesisch verlangen.

Dieser Artikel mit dem Titel „Disentangling Language Roles in Multilingual LLM Task Execution" (Entflechtung von Sprachrollen bei der Aufgabenausführung multilingualer LLMs) stellt eine neue Art vor, KI zu testen, die als MTM-Bench bezeichnet wird. Denken Sie daran als einen „Triplet-Test", der diese drei Rollen isoliert, um genau zu sehen, wo die KI ins Stolpern gerät.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das „Drei-Rollen"-Puzzle

Die Forscher erstellten einen Benchmark mit 2.430 verschiedenen Szenarien unter Verwendung von Englisch, Spanisch und Chinesisch. Jedes Szenario ist eine einzigartige Kombination aus:

Die Anweisung: Was der Chef sagt (z. B. „Fassen Sie dies zusammen").
Der Inhalt: Das zu lesende Material (z. B. ein E-Mail-Verlauf).
Die Antwort: Die Sprache, in der die Antwort verfasst werden muss.

Sie testeten 20 verschiedene KI-Modelle (wie die neuesten Versionen von Claude, GPT und andere) auf jede mögliche Mischung dieser drei Sprachen.

2. Die große Entdeckung: Der „Ausgabe-Slot" ist die Engstelle

Das überraschendste Ergebnis ist, dass wo die Sprache verwendet wird, wichtiger ist als wie viele Sprachen gemischt werden.

Die Analogie: Stellen Sie sich einen Koch (die KI) vor, der hervorragend Rezepte auf Englisch und Französisch lesen kann. Wenn Sie ihn bitten, ein Gericht zu kochen, aber ihm befehlen, die Anweisungen in einer Sprache zu sprechen, die er nicht gut beherrscht, könnte er den Löffel fallen lassen.
Das Ergebnis: Die Leistung der KI sank erheblich, wenn die Antwort-Sprache (die Sprache, in der sie die Antwort sprechen/schreiben musste) von den anderen unterschied.
- Wenn die KI auf Englisch antworten musste, leistete sie Großartiges.
- Wenn sie auf Spanisch oder Chinesisch antworten musste, erlitt ihre Leistung einen starken Einbruch.
- Interessanterweise spielte es weniger eine Rolle, ob die Anweisungen oder das Lesematerial in einer anderen Sprache waren. Die KI konnte die Verwirrung auf der „Eingabe"-Seite viel besser bewältigen als auf der „Ausgabe"-Seite.

3. Der Mythos der „Fehlanpassungs-Anzahl"

Eine gängige Annahme lautet: „Je mehr Sprachen Sie durcheinanderbringen, desto schwieriger ist die Aufgabe."

Die Behauptung des Artikels: Das ist nicht wahr.
Die Analogie: Denken Sie daran wie das Tragen von nicht zusammenpassenden Socken.
- Szenario A: Sie tragen einen roten Socken am linken Fuß und einen blauen Socken am rechten Fuß (Eine Fehlanpassung).
- Szenario B: Sie tragen einen roten Socken, einen blauen Socken und einen grünen Hut (Drei Fehlanpassungen).
- Die Forscher stellten fest, dass die KI bei Szenario A (wo nur die Ausgabe-Sprache falsch war) genauso sehr ins Stolpern geriet wie bei Szenario B (wo alles durcheinander war).
- Fazit: Sobald die KI die Sprache wechseln muss, um die Antwort zu geben, macht das Hinzufügen weiterer gemischter Sprachen in den Anweisungen oder im Inhalt die Aufgabe nicht signifikant schwieriger. Der „Wechsel" selbst ist der schwierige Teil.

4. Unterschiedliche Aufgaben, unterschiedliche Fehler

Der Artikel zeigte auch, dass KI auf unterschiedliche Weise versagt, je nach Art der Aufgabe:

Aufgabentyp A (Verstehen von Ironie): Die KI verstand die Bedeutung perfekt, scheiterte aber daran, die Antwort in der korrekten Sprache zu schreiben.
Aufgabentyp B (Finden spezifischer Fakten): Die KI fand das richtige Faktum, scheiterte aber daran, strenge Formatierungsregeln einzuhalten (z. B. „Nur die Zahl angeben, keine Sätze").
Aufgabentyp C (Aktualisieren von Informationen): Die KI bekam die Sprache richtig hin, verpasste aber die eigentliche Aktualisierung in der Geschichte.

5. Warum das wichtig ist

Frühere Tests gaben der KI oft eine einzige Punktzahl, wie „80 % Genauigkeit". Dieser Artikel argumentiert, dass eine einzige Punktzahl die Wahrheit verschleiert. Eine KI könnte ein Genie beim Verstehen von Bedeutungen sein, aber schrecklich darin, die richtige Sprache zu sprechen, oder umgekehrt.

Durch die Trennung dieser Rollen stellten die Forscher fest, dass die Sprache, in der die KI sprechen soll, der einzelne größte Faktor dafür ist, ob sie Erfolg hat oder scheitert.

Zusammenfassung

Der Artikel sagt uns nicht, wie man die KI korrigiert oder wie man sie in Krankenhäusern oder Schulen einsetzt. Stattdessen wirkt er wie ein Diagnosewerkzeug eines Mechanikers. Er sagt uns: „Schauen Sie nicht nur auf die Gesamtpunktzahl. Wenn Ihre KI versagt, prüfen Sie, ob sie speziell mit der Sprache, die sie ausgeben muss, kämpft, denn dort stottert der Motor."

Die Studie kommt zu dem Schluss, dass wir, um multilinguale KI wirklich zu verstehen, aufhören müssen, Sprache als einen einzigen Klumpen zu behandeln, und beginnen müssen, die spezifische Rolle zu betrachten, die jede Sprache im Gespräch spielt.

Technischer Überblick: Entwirrung der Sprachrollen bei der Aufgabenausführung mehrsprachiger LLMs

1. Problemstellung

Mehrsprachige Large Language Models (LLMs) werden zunehmend in Workflows eingesetzt, bei denen die Sprache der Anweisung, die Sprache des Quellinhalts und die erforderliche Antwortsprache nicht übereinstimmen. Während bestehende Benchmarks die Sprachabdeckung und die Evaluierung der Anweisungsfolge erweitert haben, behandeln sie Sprache typischerweise als monolithische Variable oder scheitern daran, die spezifischen Rollen von Anweisung, Inhalt und Antwort innerhalb eines einzigen Evaluierungsdesigns zu isolieren. Folglich bleibt im Falle eines Modellversagens unklar, ob der Fehler aus einem Missverständnis der Aufgabe, einer fehlerhaften Inhaltsverarbeitung, einer fehlerhaften Realisierung in der Zielsprache, einer Nichteinhaltung von Einschränkungen oder aus Interaktionen zwischen diesen Faktoren resultiert. Dieser Beitrag adressiert den Bedarf an einem kontrollierten diagnostischen Rahmenwerk zur Evaluierung der mehrsprachigen Aufgabenausführung als strukturierte Interaktion zwischen drei distincten Sprachrollen: $(L_{instr}, L_{content}, L_{resp})$ .

2. Methodik: MTM-Bench

Die Autoren stellen MTM-Bench (Multilingual Triplet Mismatch Benchmark) vor, einen kontrollierten Benchmark, der entwickelt wurde, um diese Rollen zu entwirren.

Benchmark-Konstruktion

Design: Der Benchmark verwendet ein vollständig gekreuztes Design unter Verwendung von Englisch (EN), Spanisch (ES) und Chinesisch (ZH). Er enumeriert alle $3^3 = 27$ möglichen Sprachtriplets.
Aufgabenfamilien: Der Benchmark besteht aus 2.430 Instanzen pro Modell über drei distincte Aufgabenfamilien hinweg, die jeweils eine spezifische Ausführungsherausforderung adressieren:
1. Semantische Umkehrung (Familie A): Aufgaben, die vom Modell verlangen, eine zugrundeliegende Haltung (z. B. Ironie, Sarkasmus) zu identifizieren, die der Oberflächenformulierung widerspricht.
2. Extraktion des Endzustands (Familie B): Aufgaben, die kurze administrative Texte mit Aktualisierungen beinhalten und die Extraktion des finalen gültigen Werts (z. B. ein neu terminierter Zeitpunkt oder eine Kontaktinformation) unter strikter Einhaltung von Ausgabeformaten erfordern.
3. Sprachreinheit mit Aktualisierungsrealisierung (Familie C): Aufgaben, die vom Modell verlangen, eine Zustandsaktualisierung (z. B. eine Raumänderung) in der Zielsprache zu beschreiben, wobei die strukturelle Rahmung strikt lokalisiert wird, während spezifische genehmigte Eigennamen (z. B. „Zoom", „Teams") erlaubt sind.
Kontrollierte Variablen: Basisitems werden umgeschrieben statt übersetzt, um semantische Stabilität über alle 27 Triplet-Varianten hinweg sicherzustellen. Metadaten, Namen und Antwortformate werden dort festgehalten, wo sie die Aufgabe definieren, während lexikalisches Material entsprechend der spezifischen Sprachslot lokalisiert wird.

Evaluierungsprotokoll

Die Evaluierung verwendet dekomponierte Metriken, um verschiedene Fehlermodi zu trennen:

Semantische Korrektheit (SC): Misst, ob die Ausgabe die Zielbedeutung erfasst (z. B. korrekte Polarität für Umkehrung, korrekter Endwert für Extraktion).
Sprachliche Korrektheit (LC): Eine binäre Bewertung, ob die Antwort die erforderliche Antwortsprache ( $L_{resp}$ ) einhält, wobei Numerale und genehmigte Eigennamen als sprachneutral behandelt werden.
Einschränkungskorrektheit (CC): Überprüft explizite Ausgabe-Einschränkungen (z. B. „nur Ausgabe", „einzelner Satz").
Kontaminationsrate (CTR): Ein kontinuierliches Maß für Material in Nicht-Zielsprache in der Ausgabe.
Gemeinsamer Erfolg (JS): Die aggregierte Metrik, definiert als $JS = SC \times LC \times CC$ , wobei alle drei Anforderungen als gemeinsam notwendig behandelt werden.

Die Bewertung wird durch eine gezielte menschliche Auditierung von Grenzfällen und routinemäßigen Ausgaben validiert, mit einer Override-Rate auf Komponentenebene von 18,2 % für gezielte Fälle, was darauf hindeutet, dass die automatische Pipeline die meisten routinemäßigen Fälle konsistent handhabt.

3. Hauptbeiträge

Neudefinition der mehrsprachigen Ausführung: Der Beitrag definiert mehrsprachige Aufgabenausführung als ein auf Triplets basierendes Evaluierungsproblem neu, bei dem Anweisungs-, Inhalts- und Antwortsprache unabhängig voneinander variiert werden, anstatt sie als eine einzige undifferenzierte Variable zu behandeln.
Vollständig gekreuzter Benchmark: Er bietet einen kontrollierten Benchmark, der 27 Sprachtriplets und drei Aufgabenfamilien abdeckt und mit einem dekomponierten Protokoll bewertet wird, das semantische Korrektheit, Spracheinhaltung und Erfüllung von Einschränkungen isoliert.
Rollen-spezifische Diagnostik: Das vollständig gekreuzte Design ermöglicht marginale Vergleiche, die aggregierte Benchmarks nicht isolieren können, und zeigt auf, dass die Degradation durch die Rolle organisiert ist, die eine Sprache einnimmt, und nicht lediglich durch die Anzahl der Inkonsistenzen.

4. Ergebnisse

Die Autoren evaluierten 20 Frontier- und Open-Weight-LLMs (einschließlich der Familien Claude, GPT, Gemini, DeepSeek, Qwen und LLaMA) auf dem vollständigen Benchmark.

Gesamtleistung

Gemeinsamer Erfolg: Reichte über die Modelle hinweg von 0,537 bis 0,840 (Mittelwert 0,745).
Komponentenmetriken: Einzelne Metriken waren höher (Mittelwert LC: 0,905, SC: 0,893, CC: 0,880), was darauf hindeutet, dass die gleichzeitige Erfüllung aller drei Anforderungen erheblich schwieriger ist als ihre isolierte Erfüllung.
Modellvarianz: Die Gesamtrangfolge reduzierte sich nicht auf eine einzelne Komponentenmetrik; Modelle, die in der semantischen Korrektheit hervorragten, scheiterten manchmal bei der Erfüllung von Einschränkungen, und umgekehrt.

Schlüsselerkenntnisse zu Sprachrollen

Dominanz der Antwortsprache: Die Antwortsprache ist die dominante Achse der Variation. Der gemeinsame Erfolg sank signifikant, wenn die Antwortsprache Spanisch ( $\Delta = -0,108$ ) oder Chinesisch ( $\Delta = -0,113$ ) war, im Vergleich zu Englisch. Im Gegensatz dazu hatten Variationen in der Anweisungs- oder Inhaltsprache vernachlässigbare Effekte ( $\Delta < 0,03$ ).
Anzahl der Inkonsistenzen vs. Rollenposition: Der Beitrag hinterfragt die Hypothese, dass die Anzahl der Inkonsistenzen ein monotoner Prädiktor für die Schwierigkeit ist. Eine „nur-Antwort"-Inkonsistenz (eine Inkonsistenz) und eine „vollständige Inkonsistenz" (drei Inkonsistenzen) ergaben ähnliche Leistungsniveaus (0,694 vs. 0,705). Dies legt nahe, dass, sobald die Antwortsprache vom vorhergehenden Kontext abweicht, zusätzliche Inkonsistenzen in Anweisung oder Inhalt wenig Erklärungskraft für die Schwierigkeit hinzufügen.
Aufgabenspezifische Engpässe:
- Semantische Umkehrung: Hohe semantische Korrektheit, aber begrenzt durch die Realisierung in der Antwortsprache, insbesondere für chinesische Antworten.
- Extraktion des Endzustands: Hohe sprachliche Korrektheit, aber häufige Fehler bei der Erfüllung von Einschränkungen (z. B. Verletzung von „nur-Ausgabe"-Regeln).
- Sprachreinheit: Hohe Erfüllung von Einschränkungen, aber geringere semantische Korrektheit aufgrund von Schwierigkeiten bei der Realisierung von Aktualisierungen ohne Weglassung oder Verzerrung von Informationen.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass mehrsprachige Evaluierung die Rolle verfolgen sollte, die jede Sprache spielt, anstatt distincte Konfigurationen in einen einzigen aggregierten Score zu kollabieren.

Diagnostischer Wert: Das vollständig gekreuzte Design zeigt auf, dass die Degradation durch die Rolle organisiert ist, die eine Sprache einnimmt. Die Rolle der Antwortsprache ist die primäre Quelle der Variation, während die Rollen von Anweisung und Inhalt kleinere, weniger konsistente Rollen spielen.
Nicht-monotone Schwierigkeit: Die Erkenntnis, dass die Anzahl der Inkonsistenzen kein monotoner Prädiktor für die Schwierigkeit ist, legt nahe, dass die kognitive oder architektonische Belastung der mehrsprachigen Ausführung nicht einfach additiv ist. Der Übergang von einem monolingualen Kontext zu einer inkonsistenten Antwortsprache stellt die primäre Hürde dar.
Einschränkungen: Die Autoren vermerken bescheiden, dass diese Erkenntnisse innerhalb des EN/ES/ZH-Settings und spezifischer Aufgabenfamilien (kurze, administrative und Umkehrungsszenarien) kontrolliert sind. Die Ergebnisse sollten als kontrollierte diagnostische Sonde und nicht als universelle Behauptung über alle mehrsprachigen Aufgabenausführungen oder breitere domänenspezifische Leistungen interpretiert werden. Der Benchmark ist für eine rollenspezifische Diagnostik konzipiert und nicht zur Schätzung breiter domänenspezifischer Leistungen.

Zusammenfassend zeigt MTM-Bench, dass eine erfolgreiche mehrsprachige Aufgabenausführung mehr als allgemeine Sprachgewandtheit erfordert; sie erfordert die spezifische Fähigkeit, Antworten in einer Zielsprache zu realisieren, die sich sowohl von der Anweisung als auch vom Quellinhalt unterscheiden kann, eine Fähigkeit, mit der aktuelle Modelle im Vergleich zum Verständnis oder zur Verarbeitung der anderen Sprachrollen unverhältnismäßig stark kämpfen.