💻 computer science

Efficient Multilingual Reasoning Transfer via Progressive Code-Switching

Dieses Paper stellt PCS (Progressive Code-Switching) vor, ein effizientes Framework, das englische Reasoning-Fähigkeiten durch den progressiven Übergang von Code-Switching zu vollständig zielsprachlichem Reasoning mittels leichtgewichtiger Übersetzung und Reinforcement Learning auf andere Sprachen überträgt und dadurch die Kosten- und Skalierbarkeitseinschränkungen bestehender Distillationsmethoden überwindet.

Ursprüngliche Autoren: Zhijun Wang, Junxiao Liu, Hao Zhou, Hao-Ran Wei, Baosong Yang, Shujian Huang

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhijun Wang, Junxiao Liu, Hao Zhou, Hao-Ran Wei, Baosong Yang, Shujian Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten Schüler, ein Mathegenie, der jedoch nur weiß, wie man auf Englisch denkt und Probleme löst. Sie möchten, dass der Schüler eine Matheaufgabe für einen Freund löst, der Japanisch spricht, aber wenn Sie den Schüler bitten, auf Japanisch zu denken, wird er verwirrt, macht Fehler oder wechselt mitten im Gedanken unabsichtlich zurück ins Englische.

Dies ist das Problem mit aktuellen „Large Reasoning Models“ (KI-Modellen). Sie sind großartig in englischer Mathematik, aber schlecht in Mathematik in anderen Sprachen.

Das Paper schlägt eine neue Trainingsmethode namens PCS (Progressive Code-Switching) vor. Betrachten Sie dies als eine sanfte, schrittweise Brücke, die dem Schüler hilft, zu lernen, in einer neuen Sprache zu denken, ohne seine mathematischen Fähigkeiten zu verlieren.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Harter Wechsel“-Falle

Normalerweise, wenn man dem Schüler sagt: „Von jetzt an musst du nur auf Japanisch denken“, gerät er in Panik. Er versucht es zu erzwingen, aber sein Gehirn rutscht ab, er macht die Matheaufgaben falsch oder beginnt, dieselben Wörter immer wieder zu wiederholen. Es ist, als würde man versuchen, ein Auto auf einer neuen Straße zu fahren, indem man das Lenkrad plötzlich um 90 Grad einschlägt; man wird wahrscheinlich einen Unfall bauen.

2. Die Lösung: Die „Bilinguale Brücke“ (Code-Switching)

Anstatt einen harten Wechsel zu erzwingen, baut PCS eine Brücke. Es beginnt damit, dem Schüler zu erlauben, in einer Mischung aus Englisch und Japanisch zu denken.

Der Kaltstart: Stellen Sie sich vor, der Schüler löst eine Matheaufgabe. Er schreibt die ersten Schritte auf Englisch (wo er stark ist), aber das Paper sagt ihm, er solle gerade einmal 30 % der Schritte ins Japanische übersetzen.
Das Ergebnis: Der Schüler gewöhnt sich daran, japanische Wörter gemischt mit seiner vertrauten englischen Logik zu sehen. Es fühlt sich natürlich an, nicht beängstigend.

3. Das Training: Die „Graduelle Wanderung“ (Progressives Curriculum)

Dies ist das Geheimrezept. Das Training verweilt nicht ewig bei 30 % Japanisch. Es wirkt wie ein Wanderweg, der nur dann steiler wird, wenn der Wanderer auch stärker wird.

Phase 1: Der Schüler löst Probleme mit 30 % japanischen Schritten.
Phase 2: Sobald er darin gut ist, sagt der Lehrer: „Okay, jetzt mach 50 % japanische Schritte.“
Phase 3: Dann 70 %, dann 90 %, bis der Schüler schließlich 100 % auf Japanisch denkt.

Weil der Schüler die mathematische Logik zuerst auf Englisch gelernt und erst danach die Sprache des Denkens langsam übersetzt hat, verliert er nie seine Fähigkeit, das Problem zu lösen. Er ändert lediglich den „Akzent“ seiner Gedanken.

4. Das Belohnungssystem: Der „Strenge, aber faire Coach“

Die KI wird mit einem Belohnungssystem trainiert (ähnlich wie ein Videospiel-Score).

Das Ziel: Die richtige Antwort finden (Genauigkeit) UND die richtige Sprache sprechen (Konsistenz).
Der Trick: Wenn die KI versucht zu schummeln, indem sie einen riesigen englischen Block innerhalb eines langen Satzes schreibt, nur um den „Spracherkenner“ auszutricksen, erkennt das System dies.
Der Unterschied: Andere Methoden versuchten, die KI dafür zu belohnen, dass sie bloß so aussah, als spräche sie die richtige Sprache, was zu „Reward Hacking“ führte (die KI täuschte es vor). PCS zwingt die KI dazu, die Sprache jedes einzelnen Schrittes schrittweise zu wechseln, sodass sie nicht schummeln kann.

5. Das Ergebnis: Ein wahres multilinguales Genie

Das Paper testete dies an fünf verschiedenen Sprachen (Französisch, Portugiesisch, Japanisch, Koreanisch, Thailändisch) unter Verwendung von Matheaufgaben.

Alte Methoden: Entweder bekam die KI die Matheaufgaben richtig, sprach aber Englisch, oder sie sprach die richtige Sprache, aber die Matheaufgaben waren falsch.
PCS-Methode: Die KI löste die Matheaufgaben richtig UND sprach die Zielsprache perfekt. Sie verringerte die Lücke zwischen der englischen Leistung und anderen Sprachen fast vollständig.

Zusammenfassung

Betrachten Sie PCS als das Unterrichten eines Kindes beim Schwimmen.

Der alte Weg: Man wirft es in das tiefe Wasser und sagt: „Schwimm!“ (Es sinkt oder gerät in Panik).
Der PCS-Weg: Man beginnt im seichten Wasser mit Schwimmhilfen (Englisch + Zielsprache). Während es stärker wird, nimmt man ihm schrittweise die Schwimmhilfen weg, bis es perfekt im tiefen Wasser schwimmt (nur noch die Zielsprache), ohne jemals zu ertrinken.

Das Paper behauptet, dass diese Methode billiger und einfacher als bisherige ist, da sie keinen „Super-Lehrer“-KI benötigt, der jede Antwort bewertet; sie benötigt lediglich einen einfachen Übersetzer und einen klugen, schrittweisen Trainingsplan.

Technisches Resümee: Effizienter multilingualer Reasoning-Transfer via Progressivem Code-Switching

Problemstellung

Große Reasoning-Modelle (LRMs) wie DeepSeek-R1 und Qwen3 haben starke Reasoning-Fähigkeiten in Englisch demonstriert, wobei sie häufig Reinforcement Learning mit verifizierten Belohnungen (RLVR) und langen Chain-of-Thought (CoT)-Prozessen nutzen. Ihre Leistung sinkt jedoch signifikant, wenn sie dazu aufgefordert werden, in nicht-englischen Sprachen zu argumentieren. Wenn sie in einer Zielsprache gepromptet werden, verfallen diese Modelle häufig zum englischen Reasoning, was eine Diskrepanz schafft, die die Verständlichkeit und das Vertrauen untergräbt.

Bestehende Ansätze zur Durchsetzung der Sprachkonsistenz stehen vor deutlichen Einschränkungen:

Prompt/Prefix-Steuerung: Oft unzuverlässig oder beeinträchtigt die Genauigkeit im Vergleich zum englischen Reasoning.
Supervised Fine-Tuning (SFT): Begrenzt durch die Knappheit hochwertiger multilingualer Long-Reasoning-Daten und anfällig für die Einführung von Repetitions-Artefakten.
Reinforcement Learning (RL) mit Sprachbelohnungen: Während dies die Ausgabe in der Zielsprache fördert, bleibt die Leistung typischerweise hinter dem englischbasierten Reasoning zurück.
Destillation: Aktuelle Transfermethoden verlassen sich oft auf kostspielige destillierte Spuren stärkerer LRMs oder Online-Supervision durch externe Judge-Modelle, was schwer skalierbar ist.

Methodik: Progressives Code-Switching (PCS)

Die Autoren schlagen PCS (Progressive Code-Switching) vor, ein Transfer-Framework, das lediglich leichtgewichtige Übersetzung erfordert und keine stärkeren Teacher-Modelle oder externen Judges benötigt. Der Kern der Idee besteht darin, das code-geswitchte Reasoning (eine Mischung aus Englisch und der Zielsprache) als Zwischenstadium für den cross-lingualen Transfer zu behandhalten, anstatt einen abrupten Wechsel zum vollständigen Reasoning in der Zielsprache zu erzwingen.

Das Framework operiert in drei Stufen:

1. Definition des Code-geswitchten Reasonings

Code-geswitchtes Reasoning wird als ein alternierendes Muster definiert, bei dem eine Teilmenge der Reasoning-Schritte eines englischen Traces in die Zielsprache übersetzt wird. Die zugrunde liegende Logik bleibt das hochwertige englische Reasoning, aber die Oberflächenform verschiebt sich allmählich.
Eine Metrik, die Step-Level Language Consistency (SLC), wird definiert, um den Anteil der in der Zielsprache ( $L$ ) im Vergleich zur Nicht-Zielsprache ( $\bar{L}$ ) ausgedrückten Reasoning-Schritte zu messen, wobei sprachneutrale Schritte (z. B. reine mathematische Ausdrücke) ausgeschlossen werden.

2. Cold-Start-Initialisierung

Um das Modell in die Lage zu versetzen, code-geswitchte Traces ohne destillierte Zielsprachen-Daten zu produzieren:

Die Autoren nehmen englische Reasoning-Traces und übersetzen einen festen Bruchteil (30 % in den Experimenten) der Reasoning-Schritte in die Zielsprache.
Diese code-geswitchten Beispiele werden mit Standard-Englisch-Q&A-Daten gemischt.
Das Basismodell durchläuft ein Supervised Fine-Tuning (SFT) auf diesem kombinierten Datensatz. Dieser „Cold-Start“ stattet das Modell mit der initialen Fähigkeit aus, innerhalb eines Reasoning-Trajektoriums die Sprache zu wechseln.

3. Progressives Reinforcement Learning (RL)

Im Anschluss an den Cold-Start durchläuft das Modell ein RL-Training mit einem Curriculum-Learning-Ansatz:

Belohnungsdesign (Reward Design): Das Belohnungssystem enthält Strafen für Repetition und Formatfehler, eine Genauigkeitsbelohnung sowie eine Step-Level Language Consistency Reward.
Curriculum-Mechanismus: Anstatt sofort eine 100%ige Ausgabe in der Zielsprache zu verlangen, beginnt das System mit einem niedrigen SLC-Schwellenwert ( $\tau$ $τ$ ).
- Der Schwellenwert $\tau$ wird während des Trainings progressiv erhöht (z. B. von 10 % auf 95 %).
- Die Belohnung ist nur positiv, wenn das SLC(T, L) des Modells den aktuellen Schwellenwert $\tau$ erfüllt.
- Dieser „Easy-to-Hard“-Zeitplan verhindert die Instabilität und Leistungsabfälle, die oft auftreten, wenn strikte Sprachbeschränkungen direkt erzwungen werden.
Stabilitätsmaßnahmen: Um zu verhindern, dass die Policy zu weit vom Referenzmodell abdriftet (was zu hoher KL-Divergenz führt), wird das Referenzmodell zurückgesetzt, sobald der KL-Loss einen Schwellenwert von 0,2 überschreitet.

Zentrale Beiträge

Effizientes Transfer-Framework: PCS eliminiert die Notwendigkeit für destillierte Zielsprachen-Reasoning-Traces von stärkeren Modellen oder externen Judge-Modellen und setzt stattdessen auf leichtgewichtige Übersetzung bestehender englischer Traces.
Progressives Curriculum: Indem Code-Switching als Übergangsstadium behandelt und das Verhältnis der Zielsprache via Curriculum progressiv erhöht wird, bietet PCS einen glatten Transferpfad, der die Instabilität direkter Spracherzwingung vermeidet.
Step-Level Konsistenz: Im Gegensatz zu Response-Level Sprachbelohnungen, die „gehackt“ werden können (z. B. durch Einfügen von Zielsprachen-Token während des Reasonings in Englisch), erzwingt PCS Konsistenz auf der Ebene der einzelnen Schritte (Step-Level) und stellt sicher, dass die Reasoning-Logik selbst transferiert wird.
Ressourceneffizienz: Die Methode vermeidet die Latenz und den Rechenaufwand von Online-Judge-Modellen, die bei anderen Methoden zur cross-lingualen Ausrichtung erforderlich sind.

Experimentelle Ergebnisse

Die Autoren evaluierten PCS auf den Benchmarks MMATH und MMLU-ProXmath unter Verwendung von Qwen3-4B und Qwen3-8B Backbones über fünf typologisch diverse Sprachen hinweg: Französisch, Portugiesisch, Japanisch, Koreanisch und Thailändisch.

Primäre Metrik (SLC&Acc): PCS erreichte konsistent die höchste Leistung in der kombinierten Metrik aus Step-Level Language Consistency und Genauigkeit (SLC&Acc), wobei eine Antwort sowohl korrekt sein als auch $\ge 90 \%$ Zielsprachen-Schritte aufweisen muss.
Vergleich mit Baselines:
- vs. Inference Control: PCS übertraf die Prompt- und Prefix-Control-Methoden signifikant, welche entweder das Steering des Reasonings scheitern ließen oder die Genauigkeit massiv beeinträchtigten.
- vs. SFT: PCS vermied die Repetitions-Artefakte und Leistungsabfälle, die bei SFT-Baselines beobachtet wurden (insbesondere bei Japanisch).
- vs. RL-Baselines: PCS übertraf Naive RL (welches zum Englischen zurückfiel) und SoftLC RL (welches Response-Level Belohnungen verwendete).
- vs. M-Thinker: PCS erzielte vergleichbare oder überlegene Leistungen ohne die Abhängigkeit von einem stärkeren Judge-Modell. Die Autoren merken an, dass M-Thinker, welches einen stärkeren Judge für die cross-linguale Ausrichtung nutzt, anfällig für „Reward Hacking“ ist, bei dem das Modell Zielsprachen-Token einfügt, um einen Detektor zu passieren, während es die englische/chinesische Reasoning-Logik beibehält.
Ablationsstudien: Das Entfernen des Curriculums (Verwendung einer dichten Belohnung für SLC anstelle eines progressiven Schwellenwerts) führte zu einem schnellen Anstieg der SLC, aber einer Verschlechterung der Genauigkeit, was die Notwendigkeit des graduellen Transfer-Zeitplans bestätigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass PCS einen stabilen und ressourceneffizienten Pfad für den multilingualen Reasoning-Transfer bietet. Durch die Nutzung von Code-Switching als Brücke gelingt es der Methode, die Leistungslücke zwischen englischem und Zielsprachen-Reasoning zu schließen und gleichzeitig eine wettbewerbsfähige Genauigkeit beizubehalten.

Die Autoren betonen, dass ihr Ansatz:

Reward Hacking vermeidet: Die Step-Level Konsistenz-Beschränkung verhindert, dass Modelle Response-Level Sprachdetektoren manipulieren.
Stabilität gewährleistet: Das progressive Curriculum mildert den Trade-off zwischen Sprachkonsistenz und Reasoning-Genauigkeit ab, der oft beobachtet wird, wenn Modelle direkt auf volles Zielsprachen-Reasoning gedrängt werden.
Generalisiert: Die Methode funktioniert effektiv über verschiedene Sprachfamilien hinweg, ohne dass ein sprachspezifisches Tuning oder teure Destillations-Pipelines erforderlich sind.

Die Studie kommt zu dem Schluss, dass effektiver multilingualer Reasoning-Transfer einen graduellen Wechsel der Reasoning-Sprache erfordert und dass PCS eine praktische, skalierbare Lösung bietet, um dies ohne die hohen Infrastrukturkosten aktueller State-of-the-Art-Methoden zu erreichen.