Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models

Titel und Kernproblem

Das Paper untersucht ein Phänomen, das die Autoren als „Cross-lingual Collapse" (Sprachlicher Kollaps) bezeichnen. Es tritt auf, wenn Large Language Models (LLMs), die mit Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) trainiert werden, um komplexe Schlussfolgerungen (Chain-of-Thought, CoT) zu generieren.

Das Problem:
Obwohl das Modell mit Prompts in einer Zielsprache (z. B. Ukrainisch, Koreanisch, Thai) gefüttert wird, driftet der generierte Denkprozess (CoT) während des Trainings systematisch in die dominante Vor-Trainings-Sprache des Modells (meist Englisch) ab. Dies geschieht trotz der Tatsache, dass die Aufgabenleistung (Genauigkeit) steigt. Der Kollaps beschreibt also den Trade-off: Das Modell erreicht höhere Genauigkeit, indem es auf die englische „Denkweise" zurückgreift, opfert dabei aber die sprachliche Treue zur Zielsprache.

Methodik

Die Autoren untersuchen dieses Phänomen systematisch durch folgende Schritte:

1. Trainingssetup:

   • Sie verwenden den Group-Relative Policy Optimization (GRPO) Algorithmus, einen RLVR-Ansatz, der in modernen Reasoning-Modellen (wie DeepSeek-R1) weit verbreitet ist.
   • Als Datensatz dienten mathematische Wortaufgaben (GSM8K und SimpleRL-Zoo), die in fünf verschiedene Zielsprachen übersetzt wurden: Chinesisch (ZH), Koreanisch (KO), Ukrainisch (UK), Thai (TH) und Japanisch (JA).
   • Getestet wurden verschiedene Basismodelle:
     • Englisch-dominiert: OLMo2-1B.
     • Nicht-englisch-dominiert (multilingual): Llama-3.2-3B und Qwen-2.5-1.5B.

2. Messmetriken:

   • Genauigkeit (Accuracy): Leistung auf den mathematischen Testsets.
   • Target Word Ratio (Target WR): Der Anteil der Tokens in der Zielsprache im CoT.
   • English Word Ratio (EN WR): Der Anteil der englischen Tokens im CoT.
   • Die Analyse erfolgt über den gesamten Trainingsverlauf (Schritt-für-Schritt), um den Zeitpunkt des Drifts zu identifizieren.

3. Interventionsstudien:
   Um die Ursachen zu verstehen und den Kollaps zu mildern, wurden verschiedene Strategien getestet:

   • Hinzufügen einer Sprach-Konsistenz-Belohnung (Language-consistency reward).
   • Anpassung der Decoding-Parameter (Temperatur, Top-p) zur Reduktion der Entropie.
   • Training mit multilingualen Mischdaten (z. B. Ukrainisch + Koreanisch + Chinesisch + Englisch).

Wichtige Ergebnisse

1. Systematischer Drift (Cross-lingual Collapse):

   • Unter RLVR-Training (GRPO) driftet der CoT bei steigender Genauigkeit systematisch in die dominante Vor-Trainings-Sprache (Englisch).
   • Beispiel (Ukrainisch): Bei einem Llama-3.2-3B-Modell sank der Anteil ukrainischer Tokens im CoT von fast 100 % auf unter 1 %, während die Genauigkeit auf dem ukrainischen GSM8K von ~54 % auf ~71 % anstieg. Das Modell löste die Aufgaben korrekt, aber auf Englisch.

2. Ressourcenabhängigkeit:

   • Der Kollaps ist stark von der Ressourcenverfügbarkeit der Zielsprache abhängig:
     • High-Resource (Chinesisch, Japanisch): Geringer Drift, hohe sprachliche Treue bleibt erhalten.
     • Mid-Resource (Koreanisch): Moderater Drift.
     • Low-Resource (Thai, Ukrainisch): Katastrophaler Kollaps, besonders bei englisch-dominierten Basismodellen (OLMo).

3. Auslöser des Kollapses:

   • Aufgabenschwierigkeit: Die Einführung schwierigerer Datensätze (SimpleRL-Zoo) beschleunigt den Kollaps erheblich, da das Modell den „effizienteren" englischen Lösungsweg als Vorteil (Advantage) erkennt und verstärkt.
   • Exploration: Während der Rollout-Phase (Generierung von Lösungen) entdeckt das Modell zufällig englische Pfade, die zu korrekten Antworten führen. Da die Belohnung nur auf der Richtigkeit basiert, werden diese englischen Pfade verstärkt.
   • Hohe Entropie: Hohe Temperatur oder Top-p-Werte begünstigen diesen Drift, da sie die Suche nach englischen Lösungen erleichtern.

4. Trade-off zwischen Genauigkeit und Treue:

   • Es besteht ein persistenter Zielkonflikt: Maßnahmen, die die sprachliche Treue erzwingen, führen fast immer zu einem Rückgang der Genauigkeit.
   • Interventionen:
     • Sprach-Belohnung: Erhält die Zielsprache bei ~80–85 %, kostet aber ca. 7–9 % Genauigkeit.
     • Decoding-Controls: Reduzierung der Temperatur/Top-p verhindert den Kollaps teilweise, kostet aber ebenfalls Genauigkeit.
     • Multilinguales Training: Ein Mix aus vier Sprachen half, die ukrainische Treue wiederherzustellen, reduzierte aber die Genauigkeit im Vergleich zum kollabierten (englischen) Modell signifikant.

5. Generalisierung:

   • Das Phänomen ist nicht auf Mathematik beschränkt. Tests auf dem Global MMLU-Lite (allgemeines Wissen) zeigten denselben Trade-off: Höhere Genauigkeit ging mit einem starken Drift ins Englische einher.

Beiträge und Signifikanz

• Formalisierung eines neuen Phänomens: Das Paper definiert und quantifiziert erstmals systematisch den „Cross-lingual Collapse" im Kontext von RLVR und langen CoTs.
• Mechanistische Einsicht: Es wird gezeigt, dass RLVR-Optimierung (insbesondere GRPO) die inhärenten englischen Priors englisch-zentrierter Modelle ausnutzt. Das Modell wählt strategisch die englische Sprache, um die Belohnungsfunktion (Korrektheit) zu maximieren, da die englischen Priors in den Vor-Trainingsdaten stärker sind.
• Warnung für die Praxis: Für Anwendungen, die auf mehrsprachiger Interpretierbarkeit, Auditierbarkeit oder pädagogischen Zwecken basieren, ist reines RLVR-Training ohne Gegenmaßnahmen problematisch. Die „Black Box" des Denkprozesses wird für Nicht-Englisch-Sprecher unlesbar, selbst wenn die Antwort korrekt ist.
• Zukunftsperspektive: Die Autoren schlagen vor, dass zukünftige Forschung nicht nur auf Genauigkeit, sondern auf Pareto-Optimierung zwischen Genauigkeit und sprachlicher Treue abzielen muss. Mögliche Lösungen liegen in eingeschränkter Exploration (nur Zielsprache erlauben) oder latentem Reasoning mit Zielsprache-Zusammenfassungen.

Fazit:
Das Paper zeigt, dass der aktuelle Trend zu „Reasoning-Modellen" durch RLVR unbeabsichtigte negative Folgen für die Mehrsprachigkeit haben kann. Ohne gezielte Eingriffe neigen Modelle dazu, ihre Denkprozesse in die dominante Trainingsprache (Englisch) zu verlagern, was die Vorteile der Mehrsprachigkeit für den Endnutzer zunichtemacht, sobald die Aufgaben komplex werden.