💬 NLP

Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation

Dieser Beitrag führt die Singleton-Fleiss- $\kappa_S$ -Metrik ein, um kulturelle Inkonsistenzen über Sprachgrenzen hinweg in mehrsprachigen LLMs zu quantifizieren, und schlägt das C-3PO-Framework vor, das konsensgesteuerte Präferenzoptimierung nutzt, um Modelloutputs mit einer festen Persona über Sprachen hinweg in Einklang zu bringen und so die Tendenz wirksam zu mindern, dass die Promptsprache vom Benutzer definierte kulturelle Identitäten überschreibt.

Ursprüngliche Autoren: Lucas Resck, Isabelle Augenstein, Anna Korhonen

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lucas Resck, Isabelle Augenstein, Anna Korhonen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Die „Chamäleon"-Verwirrung

Stellen Sie sich vor, Sie stellen einen persönlichen Assistenten ein, der genau wie Sie handeln soll. Sie sagen ihm: „Ich bin Brite und liebe britische Geschichte."

Szenario A: Sie fragen ihn auf Englisch: „Wer ist der berühmteste Schriftsteller, der in der Schule gelehrt wird?" Er antwortet: „Shakespeare." (Perfekt, das entspricht Ihrer Identität).
Szenario B: Sie stellen exakt dieselbe Frage auf Spanisch: „¿Qué escritor se estudia en la escuela?" Er antwortet: „Cervantes."

Das Problem: Obwohl Sie ihm gesagt haben, dass Sie Brit sind, vergisst er im Moment des Sprachwechsels, wer Sie sind, und beginnt stattdessen wie eine spanische Person zu handeln. Er lässt die Sprache der Frage Ihre Identität überlagern.

Das Paper nennt dies Cross-Lingual Cultural Inconsistency (CCI) (Kulturübergreifende Inkonsistenz). Es ist wie ein Chamäleon, das seine Farbe nicht nur an den Hintergrund anpasst, sondern an die Sprache, die Sie sprechen, selbst wenn Sie ihm gesagt haben, bei einer bestimmten Farbe zu bleiben.

Die Lösung: Eine neue Art, das Durcheinander zu messen

Bevor das Problem behoben werden konnte, benötigten die Autoren eine Möglichkeit zu messen, wie verwirrt die KI war. Standardtests versagen oft, denn wenn eine KI eine erfundene Antwort liefert (eine „Halluzination"), könnte sie dennoch konsistent wirken, wenn sie in jeder Sprache dieselbe erfundene Antwort gibt.

Die Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem Schüler gebeten werden, eine Lieblingsfrucht auszuwählen.

Alte Methode: Wenn alle „Banane" wählen, denkt der Lehrer, sie seien sich einig. Aber was, wenn der Lehrer tatsächlich keine Bananen hatte? Die Schüler haben einfach das Gleiche Falsche geraten.
Die neue Methode des Papers (Singleton Fleiss's $\kappa_S$ ): Dies ist ein spezielles Punktesystem, das jede „falsche" oder „erfundene" Antwort als einen einzigartigen, einmaligen Fehler behandelt. Wenn die KI auf Englisch „Banane" sagt, aber auf Spanisch „Fliegende Pizza", bricht die Punktzahl ein. Wenn sie auf beiden Sprachen „Fliegende Pizza" sagt, bleibt die Punktzahl niedrig, weil es immer noch eine Halluzination ist. Dies stellt sicher, dass die KI tatsächlich mit der Realität konsistent ist und nicht nur ihre eigenen Fehler wiederholt.

Die Korrektur: C-3PO (Der „Gruppenkonsens"-Coach)

Die Autoren entwickelten eine neue Trainingsmethode namens C-3PO (Cross-lingual Cultural Consistent Preference Optimisation).

Wie es funktioniert (Die Analogie):
Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, eine Frage richtig zu beantworten, aber Sie haben kein Lehrbuch mit den richtigen Antworten. Stattdessen fragen Sie den Schüler dieselbe Frage in 8 verschiedenen Sprachen.

Die Umfrage: Sie fragen den Schüler: „Was ist die Antwort?" auf Englisch, Spanisch, Chinesisch usw.
Die Abstimmung: Sie schauen sich alle 8 Antworten an. Wenn 5 von 8 Sprachen „Shakespeare" sagen, wird dies zum „Konsens" (die beste Schätzung der Gruppe).
Die Korrektur:
- Wenn der Schüler auf Englisch „Shakespeare" antwortete, sagen Sie: „Gut gemacht, machen Sie so weiter."
- Wenn der Schüler auf Spanisch „Cervantes" antwortete (weil ihn die Sprache getäuscht hat), sagen Sie: „Nein, das ist falsch. Die Gruppe hat für Shakespeare gestimmt. Sie müssen sich der Gruppe anpassen."
Das Training: Die KI wird dann neu trainiert, um die „Gruppenkonsens"-Antwort gegenüber der „sprachspezifischen" Antwort zu bevorzugen. Sie lernt, dass die Antwort gleich bleiben sollte, egal welche Sprache Sie sprechen, wenn die Identität des Nutzers festgelegt ist.

Wichtige Erkenntnisse: Wer leidet am meisten?

Das Paper ergab, dass diese „Chamäleon-Verwirrung" nicht für alle gleich ist.

Die reichen Sprachen: Sprachen wie Englisch, Spanisch und Chinesisch (die riesige Datenmengen im Internet haben) sind weniger verwirrt. Die KI kommt mit ihnen besser zurecht.
Die armen Sprachen: Sprachen wie Indonesisch, Persisch und Griechisch (die weniger Daten haben) leiden viel mehr. Die KI vergisst viel eher die Identität des Nutzers und greift auf Stereotype zurück, wenn sie diese Sprachen spricht.
- Analogie: Es ist wie ein Schüler, der in seiner Muttersprache gut in Mathe ist, aber völlig den Überblick verliert und anfängt, willkürlich zu raten, wenn man ihn bittet, Mathe in einer Sprache zu machen, die er weniger geübt hat.

Warum passiert das? (Der „Deep Dive")

Die Autoren schauten in das „Gehirn" der KI (ihre internen Schichten), um zu sehen, wann dieser Fehler passiert.

Die Entdeckung:
Sie fanden heraus, dass die KI in den frühen Phasen des Denkens nur die Wörter verarbeitet. Aber je näher sie der finalen Antwort kommt (in den späteren Schichten), „verriegelt" sie plötzlich auf das kulturelle Stereotyp, das mit der Sprache verbunden ist.

Analogie: Es ist wie ein Reisender, der eine Reise mit einer Karte seines Heimatlandes beginnt. Während er weiter die Straße entlanggeht, ignoriert er seine Karte und folgt einfach den lokalen Schildern, bis er schließlich vergisst, wo er gestartet ist. Die KI „vergisst" die Persona des Nutzers kurz bevor sie spricht.

Zusammenfassung

Das Paper argumentiert, dass eine KI, wenn Sie ihr explizit sagen, wer Sie sind, nicht zulassen sollte, dass die Sprache, die Sie sprechen, ihre Antwort verändert. Sie entwickelten ein neues Werkzeug, um zu messen, wann die KI dabei versagt, und schufen eine Trainingsmethode (C-3PO), die die KI zwingt, auf die „Mehrheitsstimme" ihrer eigenen mehrsprachigen Antworten zu hören. Dies lehrt sie effektiv, der Sprachfalle zu ignorieren und bei der Identität des Nutzers zu bleiben.

Technische Zusammenfassung: Minderung kultureller Inkonsistenzen über Sprachgrenzen hinweg in LLMs durch konsensgesteuerte Präferenzoptimierung

1. Problemdefinition: Kulturelle Inkonsistenz über Sprachgrenzen hinweg (CCI)

Mehrsprachige Large Language Models (MLLMs) zeigen häufig inkonsistentes Verhalten, wenn sich die Sprache eines Prompts ändert, selbst wenn die Identität des Nutzers explizit definiert ist. Obwohl MLLMs allgemein so konzipiert sind, dass sie sich kulturell an die Eingabesprache anpassen, stellt dies in eingeschränkten Kontexten, in denen eine spezifische Nutzer-Persona (z. B. „Der Nutzer ist britisch") bereitgestellt wird, einen kritischen Fehler dar.

In solchen Szenarien ignoriert das Modell oft die explizite Persona-Anweisung und greift stattdessen auf die kulturellen Stereotype zurück, die mit der Sprache des Prompts verbunden sind. Beispielsweise kann bei einer festen britischen Persona und einer mehrdeutigen Frage zur Literatur ein englischer Prompt „Shakespeare" hervorrufen, während ein spanischer Prompt „Cervantes" hervorruft. Dieses Phänomen, bezeichnet als kulturelle Inkonsistenz über Sprachgrenzen hinweg (CCI), stellt ein Versagen der Befolgung von Anweisungen dar, bei dem eine implizite, sprachgetriebene Personalisierung explizite nutzergetriebene Einschränkungen überlagert. Die Arbeit geht davon aus, dass diese Inkonsistenz nicht lediglich eine Leistungslücke ist, sondern eine semantische Divergenz, die durch die enge Verflechtung von Sprache und Kultur innerhalb der Repräsentationen des Modells getrieben wird.

2. Methodik

2.1 Datensatzkonstruktion

Um CCI systematisch zu evaluieren, stellten die Autoren einen parallelen mehrsprachigen Datensatz her, der vom BLEnD-Benchmark (Myung et al., 2024) abgeleitet ist.

Quelle: Der Multiple-Choice-Frage (MCQ)-Teilbereich von BLEnD wurde aufgrund seines diskreten Antwortraums ausgewählt, der Übereinstimmungsmetriken erleichtert.
Sprachen: Acht Sprachen wurden ausgewählt, um unterschiedliche Ressourcenstufen und Sprachfamilien abzudecken: Englisch, Spanisch, Chinesisch, Arabisch, Indonesisch, Koreanisch, Griechisch und Persisch.
Neutralisierung: Um implizite sprachgetriebene Verzerrungen zu isolieren, wurden explizite Länderverweise in den ursprünglichen Prompts mit GPT-5.2 entfernt (z. B. Änderung von „Beliebter Sport in Mexiko?" in „Beliebter Sport?").
Übersetzung: Antwortoptionen wurden in alle acht Zielsprachen übersetzt, wobei sichergestellt wurde, dass der Datensatz gültige Zuordnungen zu acht spezifischen Ländern enthielt (USA, Mexiko, China, Algerien, Indonesien, Südkorea, Griechenland, Iran).
Aufteilung: Die Daten wurden in 70 % Training, 10 % Validierung und 20 % Testen partitioniert, wobei strenge Maßnahmen ergriffen wurden, um Datenlecks über die Aufteilungen hinweg zu verhindern.

2.2 Messung: Singleton Fleiss's $\kappa_S$

Standard-Konsistenzmetriken versagen häufig, wenn Modelle halluzinieren oder ungültige Formate generieren, da das Verwerfen dieser Fehler eine Überlebensverzerrung (Survivorship Bias) einführt. Die Autoren führen Singleton Fleiss's $\kappa_S$ ein, eine neuartige Metrik, die mathematisch nachweisbar resistent gegen Halluzinationen ist.

Mechanismus: Im Gegensatz zum standardmäßigen Fleiss's $\kappa$ , das davon ausgeht, dass alle Antworten auf eine vordefinierte gültige Menge abbilden, erweitert $\kappa_S$ die Menge der gültigen Antworten $V$ um eine Menge dynamisch generierter Singleton-(ungültiger) Antworten $U$ .
Strafe: Jede ungültige Antwort wird auf einen eindeutigen Singleton abgebildet. Dies stellt sicher, dass Halluzinationen als distincte Kategorien behandelt werden, was mathematisch Inkonsistenz bestraft, ohne eine ad-hoc-Ausschluss von Stichproben zu erfordern.
Konvergenz: Die Autoren beweisen, dass $\kappa_S$ mit zunehmender Datensatzgröße asymptotisch gegen das standardmäßige gültige-Kategorie- $\kappa$ konvergiert.

2.3 Minderung: Kulturell konsistente Präferenzoptimierung über Sprachgrenzen hinweg (C-3PO)

Die Arbeit schlägt C-3PO vor, ein selbstüberwachtes, konsensgesteuertes Ausrichtungsframework, das entwickelt wurde, um CCI zu mindern, ohne auf kostspielige menschliche Annotationen oder subjektive Ground Truths zurückzugreifen.

Konsensextraktion: Das Basismodell generiert Antworten für eine kulturell neutrale Frage über alle $N$ Sprachen hinweg. Ein konsens über Sprachgrenzen hinweg wird als die Antwort definiert, die von einer strengen Mehrheit der Sprachen ausgewählt wurde.
Konstruktion von Präferenzpaaren:
- Ausgewählt ( $y_w$ ): Die Konsensantwort wird universell als bevorzugte Antwort zugewiesen.
- Abgelehnt ( $y_l$ ):
  - Für Sprachen, bei denen das Modell ursprünglich nicht mit dem Konsens übereinstimmte, wird die tatsächliche abweichende Ausgabe als abgelehnte Antwort verwendet.
  - Für Sprachen, die bereits übereinstimmten, wird eine zufällige Nicht-Konsens-Option als abgelehnte Antwort gesampelt.
Ausgleich: Eine Unterabtastungsstrategie wird angewendet, um sicherzustellen, dass Sprachen, die den Konsens vorgeben, die Trainingsdaten nicht unverhältnismäßig verzerren, wodurch die Repräsentation konsensueller und divergenter Sprachen ausgeglichen wird.
Optimierung: Das Modell wird mit Direct Preference Optimisation (DPO) unter Verwendung von Low-Rank Adaptation (LoRA) feinabgestimmt. Die Daten werden in parallele Batches strukturiert (dieselbe Frage, übersetzt in alle Sprachen), um sicherzustellen, dass Gradientenupdates gleichzeitig unterschiedliche Sprachrepräsentationen zu einem einheitlichen semantischen Anker hin ziehen.

2.4 Baselines

C-3PO wird gegen drei etablierte Baselines zur Verhaltenssteuerung evaluiert:

Persona-Prompting: Explizite Konditionierung des Modells auf eine spezifische Nationalität über System-Prompts.
Few-shot-Prompting: Bereitstellung von Kontextbeispielen für konsistente Antworten über Sprachgrenzen hinweg.
Persona-Vector-Steering: Steuerung des latenten Raums des Modells mittels Interventionsvektoren, die aus der Differenz der Residual-Stream-Aktivierungen zwischen Prompts mit und ohne Persona-Anweisungen abgeleitet werden.

3. Hauptergebnisse

3.1 Verbesserungen der Konsistenz

Empirische Evaluierungen an drei Open-Weight-Modellen (Gemma-2-27b-it, Llama-3.1-8B-Instruct, Qwen2.5-3B-Instruct) zeigen, dass C-3PO nahezu bei allen Modellen und Sprachgruppen alle Baseline-Minderungsstrategien konsequent übertrifft.

C-3PO erzielt eine absolute Steigerung von bis zu 0,10 Punkten in Singleton Fleiss's $\kappa_S$ gegenüber nicht ausgerichteten Modellen.
Während Baselines wie Persona-Vector-Steering gelegentlich hohe Werte in spezifischen Konfigurationen (z. B. bestimmte Persona-Länder-Paare) erreichen, werden diese Ergebnisse als „herausgepickte Orakel-Szenarien" beschrieben. C-3PO bietet eine robuste Ausrichtung ohne manuelle Auswahl optimaler Konfigurationen.
Es wurde festgestellt, dass Few-shot-Prompting Soft- und Hard-Konsistenzwerte künstlich aufbläht, indem es auf einen einzigen Modus kollabiert (ununterscheidendes Wiederholen einer Antwort), ein degeneriertes Verhalten, das $\kappa_S$ robust bestraft.

3.2 Einfluss von Sprachressourcen

Die Studie zeigt, dass CCI Sprachen mit geringeren Ressourcen (Indonesisch, Persisch, Koreanisch, Arabisch, Griechisch) unverhältnismäßig stark betrifft.

Gruppen mit geringeren Ressourcen weisen über alle Modelle und Minderungsstrategien hinweg signifikant niedrigere $\kappa_S$ -Werte auf als Gruppen mit höheren Ressourcen (Englisch, Chinesisch, Spanisch).
Experimente zur inkrementellen Addition zeigen, dass die Konsistenz strikt abnimmt, wenn Sprachen mit geringeren Ressourcen zum Evaluierungspool hinzugefügt werden, was Ressourcenknappheit als primären Treiber der Inkonsistenz identifiziert.

3.3 Interpretierbarkeitsanalyse

Eine schichtweise Interpretierbarkeitsanalyse an Llama-3.1-8B offenbart den zugrundeliegenden Mechanismus von CCI:

Entstehungspunkt: Konsistenz über Sprachgrenzen hinweg entsteht nicht allmählich; sie manifestiert sich abrupt in den späteren Schichten (ca. Schicht 22), wenn sich die Forward-Pass-Repräsentationen stabilisieren.
Implizite Personalisierung: Während sich die Repräsentationen stabilisieren, verankert das Modell die Ausgaben implizit an der stereotypischen Kultur, die mit der Prompt-Sprache verbunden ist. Beispielsweise lösen spanische Prompts zunehmend Vorhersagen für Mexiko aus, und arabische Prompts für Algerien oder die USA.
Steigungsanalyse: Eine lineare Regression der Vorhersagehäufigkeiten über die Schichten hinweg bestätigt, dass der Anstieg der Vorhersagen für ein bestimmtes Land signifikant steiler ist, wenn die Abfrage in der stereotypischen Sprache dieses Landes gestellt wird. Dies stützt die Hypothese, dass das Modell Antworten implizit basierend auf der Prompt-Sprache personalisiert.

4. Bedeutung und Behauptungen

Die Arbeit beansprucht vier Hauptbeiträge:

Formalisierung von CCI: Sie isoliert und formalisiert die kulturelle Inkonsistenz über Sprachgrenzen hinweg als einen distincten Fehlermodus, bei dem Modelle keine expliziten Nutzeridentitäten zugunsten impliziter Sprachhinweise nutzen.
Robuste Metrik: Sie führt Singleton Fleiss's $\kappa_S$ ein, eine Metrik, die mathematisch resistent gegen Halluzinationen ist und die Quantifizierung von Konsistenz ermöglicht, ohne ungültige Daten zu verwerfen.
Effektive Minderung: Sie schlägt C-3PO vor, ein selbstüberwachtes Framework, das die kulturelle Konsistenz über diverse Baselines und Modellarchitekturen hinweg signifikant verbessert, ohne menschlich annotierte Ground Truths zu erfordern.
Mechanistische Einsicht: Sie liefert Beweise aus der frühen Decodierung, dass MLLMs Ausgaben implizit in Richtung der stereotypischen Kultur der Prompt-Sprache personalisieren, sobald sich interne Repräsentationen stabilisieren, und dass dieser Effekt bei Sprachen mit geringeren Ressourcen verstärkt wird.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass ihr Framework Länder mit Kulturen gleichsetzt (ein reduktiver Proxy) und dass der generierte „Konsens" eine neue Form von Verzerrung einführen könnte. Sie argumentieren, dass ihre Arbeit zwar die Befolgung von Anweisungen in eingeschränkten Settings adressiert, die breitere Debatte darüber, wann Konsistenz über Sprachgrenzen hinweg wünschenswert ist versus wann kulturelle Anpassungsfähigkeit bevorzugt wird, jedoch für zukünftige Untersuchungen offen bleibt.