💬 NLP

LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance

Das Papier stellt LANG vor, ein neuartiges Reinforcement-Learning-Framework, das sprachbedingte Hinweise mit progressivem Verfall und adaptivem Umschalten nutzt, um die mehrsprachige Reasoning-Leistung erheblich zu verbessern und gleichzeitig eine unbeabsichtigte Sprachdrift in Richtung Englisch zu verhindern.

Ursprüngliche Autoren: Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Sprachfalle"

Stellen Sie sich vor, Sie unterrichten einen brillanten Schüler (eine KI), wie man komplexe Matheprobleme löst. Dieser Schüler ist ein Genie in Englisch, hat aber Schwierigkeiten, wenn er in anderen Sprachen wie Koreanisch, Thai oder Swahili denken soll.

Das Papier identifiziert eine frustrierende „Zwickmühle" (eine Situation ohne Gewinnchance), die auftritt, wenn wir versuchen, dies zu beheben:

Der „strenge Lehrer"-Ansatz: Wenn Sie dem Schüler sagen: „Sie müssen auf Koreanisch denken und antworten", versucht er hart, die Regel zu befolgen. Aber da seine koreanischen Denkfähigkeiten nicht so scharf sind wie seine englischen, macht er Fehler. Er erhält die falsche Antwort, weil er zu sehr auf die Sprachregel fokussiert ist.
Der „freilaufende"-Ansatz: Wenn Sie dem Schüler sagen: „Lösen Sie es einfach, wie Sie wollen", weicht er natürlich auf sein stärkstes Werkzeug aus: Englisch. Er bekommt die Matheaufgabe richtig, ignoriert aber Ihre Aufforderung, Koreanisch zu verwenden. Die Antwort ist korrekt, aber der Schüler hat die Anweisungen nicht befolgt.

Das Ziel: Die Forscher wollten einen Weg finden, dem Schüler beizubringen, schwierige Probleme korrekt zu lösen, während er vollständig in der angeforderten Sprache denkt, ohne in dieser Falle stecken zu bleiben.

Die Lösung: Das „Fahrradtrainer"-System (LANG)

Die Autoren entwickelten eine neue Methode namens LANG. Stellen Sie sich dies als ein intelligentes Trainingssystem vor, das „Fahrradtrainer" (Hinweise) verwendet, aber genau weiß, wann es diese abnehmen muss.

So funktioniert es, Schritt für Schritt:

1. Die „Geist-Schreiber"-Hinweise

Zu Beginn des Trainings erhält die KI einen „Spickzettel" oder einen Hinweis. Dieser Hinweis ist eine teilweise Lösung des Matheproblems, perfekt in der Zielsprache (z. B. Koreanisch) geschrieben.

Analogie: Stellen Sie sich vor, Sie lernen Fahrradfahren. Anstatt nur zu hören „treten Sie in die Pedale", sitzt ein Geisterfahrer hinten auf Ihrem Fahrrad, lenkt Sie leicht und zeigt Ihnen genau, wie Sie das Gleichgewicht halten. Dies hilft Ihnen, anzufangen, ohne umzufallen.

2. Der „intelligente Abbau" (Abnehmen der Trainer)

Das Problem beim ewigen Behalten der Trainer ist, dass Sie nie lernen, selbst das Gleichgewicht zu halten. Wenn Sie die Trainer erst am Ziel abnehmen, stürzen Sie.

LANGs Lösung: Das System verwendet einen Cosine-Abbau-Plan. Dies ist wie ein Timer, der die Trainer während des Trainings langsam und sanft absenkt.
- Frühe Tage: Die Trainer sind hoch (viele Hinweise). Die KI erhält viel Hilfe.
- Mittlere Tage: Die Trainer sinken etwas ab. Die KI muss mehr Arbeit selbst leisten.
- Späte Tage: Die Trainer sind weg. Die KI muss allein fahren (denken) – vollständig in der Zielsprache.
Warum das wichtig ist: Dies verhindert, dass die KI „faul" wird und sich auf die Hinweise verlässt. Es zwingt die KI, die Fähigkeit des Denkens in dieser spezifischen Sprache zu verinnerlichen.

3. Der „personalisierte Takt" (Der adaptive Schalter)

Nicht alle Sprachen sind für die KI gleich schwer. Englisch könnte einfach sein; Swahili könnte sehr schwer sein. Ein „Einheitsplan" funktioniert nicht.

LANGs Lösung: Das System verfügt über einen Sprachadaptiven Schalter. Er beobachtet, wie gut die KI in jeder Sprachgruppe abschneidet.
- Einfache Sprachen (Hohe Ressourcen): Wenn es der KI in Französisch gut geht, nimmt das System die Trainer früher ab.
- Schwere Sprachen (Geringe Ressourcen): Wenn die KI in Swahili kämpft, behält das System die Trainer länger an, um ihr mehr Unterstützung zu geben, bevor es sie allein laufen lässt.
Analogie: Stellen Sie sich einen Fitnesstrainer vor. Wenn ein Läufer schnell ist, lässt der Trainer ihn früher los. Wenn ein Läufer langsamer ist, hält der Trainer ihn länger fest, bis er bereit ist, allein zu laufen.

Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher testeten dies an zwei schwierigen Mathe-Benchmarks (MMATH und PolyMath) unter Verwendung verschiedener KI-Modelle.

Der Zielkonflikt ist gebrochen: Bisherige Methoden zwangen Sie normalerweise zur Wahl zwischen „korrekte Antwort" oder „korrekte Sprache". LANG schaffte es, beides zu erreichen.
Große Verbesserungen: Bei den härtesten Mathe-Tests verbesserte LANG die Fähigkeit der KI, die richtige Antwort in der richtigen Sprache zu erhalten, um etwa 24 % im Vergleich zu Standardmethoden.
Es funktioniert überall: Es funktionierte nicht nur für Mathe; es half der KI auch, bei anderen Aufgaben (wie dem Verständnis von Geschichten oder gesundem Menschenverstand) über viele verschiedene Sprachen hinweg besser zu denken.
Tiefes Lernen: Das Papier zeigt, dass die KI nicht nur lernte, die finale Antwort zu übersetzen; sie lernte tatsächlich, durch ihre inneren Schichten hindurch in der Zielsprache zu „denken", nicht nur am allerEnde.

Zusammenfassung in einem Satz

LANG ist ein intelligentes Trainingssystem, das KI-Modellen vorübergehend „Hinweise" in ihrer Muttersprache gibt, um ihnen zu helfen, komplexes Denken zu erlernen, und diese Hinweise dann in einem Tempo entfernt, das an die Schwierigkeit jeder Sprache angepasst ist, was zu einer KI führt, die in jeder Sprache korrekt denken und Probleme lösen kann, ohne sich zu verirren.

Technische Zusammenfassung: LANG – Bestärkendes Lernen für mehrsprachiges Reasoning mit sprachadaptiver Hinweisführung

1. Problemstellung

Während Bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR) die mehrstufige Reasoning-Fähigkeit von Large Language Models (LLMs) für Englisch erfolgreich verbessert hat, haben sich diese Vorteile nicht vollständig auf mehrsprachige Kontexte übertragen. Aktuelle Modelle stehen vor einem grundlegenden Zielkonflikt:

Sprachkonsistenz vs. Reasoning-Qualität: Die explizite Einschränkung von Modellen, im Eingabelanguage zu reasoning, führt häufig zu einer signifikanten Leistungsverschlechterung in nicht-englischen Settings, da die starken englischen Reasoning-Fähigkeiten des Modells nicht zuverlässig übertragen werden.
Sprachdrift: Wenn Sprachbeschränkungen gelockert werden, um die Reasoning-Qualität zu erhalten, neigen Modelle häufig dazu, zum Englischen zu drift, was die Lesbarkeit und Interpretierbarkeit für Muttersprachler verringert.

Bestehende Ansätze, wie prompt-basierte Einschränkungen oder das Hinzufügen von Sprachkonsistenz-Belohnungen zu RL, kämpfen mit Belohnungs-Spärlichkeit. In mehrsprachigen Szenarien, insbesondere für ressourcenarme Sprachen, sind Trajektorien, die strenge Sprach- und Korrektheitsbedingungen erfüllen, extrem selten, was eine effektive Exploration während des Trainings behindert.

2. Methodik: LANG

Die Autoren schlagen LANG vor, ein sprachadaptives, hinweisgesteuertes RL-Framework, das darauf ausgelegt ist, die Exploration bei nicht-englischen Reasoning-Aufgaben zu initiieren, gleichzeitig aber eine Abhängigkeit von externen Hilfsmitteln verhindert. Das Framework besteht aus zwei Kernmechanismen:

A. Geplante mehrsprachige Hinweis-Decay

LANG nutzt sprachkonditionierte Hinweise (teilweise Reasoning-Spuren von einem Lehrer-Modell), um das Schüler-Modell während der frühen Trainingsphase zu führen. Um das Problem der „Hinweis-Abhängigkeit" (bei der Modelle versagen, autonom zu reasoning, sobald Hinweise entfernt werden), setzt LANG einen cosine-Annealing-Decay-Plan ein.

Mechanismus: Zu Trainingszeitpunkt $t$ wird ein Präfix des Hinweises $h$ in den Prompt injiziert. Das Verhältnis des injizierten Hinweises, $p_t^l$ , folgt einem Cosine-Plan, der bei 1,0 (volle Führung) beginnt und sanft auf 0,0 abfällt.
Ziel: Dies führt das Modell von hinweis-konditionierten Rollouts zu autonomem mehrsprachigem Reasoning über und verringert die Diskrepanz zwischen Training und Inferenz.

B. Sprachadaptiver Switch

In Anbetracht dessen, dass Lernschwierigkeiten zwischen Sprachen variieren, vermeidet LANG einen einzelnen globalen Switch-Punkt zum Entfernen von Hinweisen. Stattdessen kategorisiert es Sprachen in Ressourcen-Gruppen (Hoch, Mittel, Niedrig) und setzt eine dynamische Switch-Strategie ein.

Mechanismus: Das System überwacht eine effektive-Aktualisierungsrate ( $\bar{u}_R(t)$ ), definiert als der Anteil der Instanzen in einem Batch einer Sprachgruppe, die mindestens eine Trajektorie mit einem positiven Vorteil liefern.
Switch-Kriterium: Wenn $\bar{u}_R(t)$ einen Schwellenwert $\tau$ überschreitet, wird die Hinweis-Injektion für diese spezifische Sprachgruppe abgeschaltet.
Vorteil: Ressourcenarme Sprachen behalten Hinweise länger, um die Belohnungs-Spärlichkeit zu lindern, während ressourcenstarke Sprachen früher zu autonomem Reasoning wechseln, wodurch das Lerntempo für die spezifische Schwierigkeit jeder Sprache optimiert wird.

C. Policy-Optimierung

Das Framework optimiert die Policy mittels GRPO (Group Relative Policy Optimization). Die Belohnungsfunktion ist eine Konjunktion aus drei Kriterien:

Sprachkonsistenz ( $R_{lc}$ ): Die Reasoning-Spur und die finale Antwort müssen der Eingabesprache entsprechen.
Format ( $R_{format}$ ): Korrekte Verwendung von Thinking-Tags und eingeklammerten Antworten.
Genauigkeit ( $R_{acc}$ ): Die finale Antwort muss mit dem Ground Truth übereinstimmen.

3. Hauptbeiträge

Neues Framework: Vorstellung von LANG, das sprachkonditionierte Hinweise nutzt, um die Exploration bei nicht-englischem Reasoning zu initiieren und das Problem der Belohnungs-Spärlichkeit zu adressieren, das inhärent in mehrsprachigem RLVR ist.
Ausrichtung von Training und Inferenz: Die Entwicklung eines progressiven Hinweis-Decay-Plans und eines sprachadaptiven Switchs, die die Diskrepanz zwischen Training und Inferenz effektiv mindern und sicherstellen, dass Modelle zum Testzeitpunkt autonom reasoning können, ohne sich auf Hinweise zu verlassen.
Empirische Validierung: Umfassende Experimente zeigen, dass LANG die mehrsprachige Reasoning-Leistung erheblich verbessert, ohne die Sprachkonsistenz zu beeinträchtigen, und sowohl prompt-basierte als auch trainingsbasierte Baselines übertrifft.
Generalisierung: Belege dafür, dass sich die Methode über mathematisches Reasoning hinaus auf andere mehrsprachige Aufgaben (z. B. MMLU-ProX, XWinograd) verallgemeinert und die Sprachkonsistenz über verschiedene Modellschichten hinweg aufrechterhält.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LANG an zwei herausfordernden Benchmarks: MMATH (10 Sprachen) und PolyMath (18 Sprachen), unter Verwendung der Modelle Qwen2.5 (3B, 7B, 32B) und Llama3.1-8B.

Leistungssteigerungen: LANG schnitt deutlich besser ab als die stärkste Baseline (LC-GRPO). Auf dem MMATH-Benchmark verbesserte es die Metrik Sprachkonsistenz & Genauigkeit (LC&Acc) im Durchschnitt über alle Modelle um 24,1 %. Auf PolyMath erreichte es eine Verbesserung von 18,7 %.
Ressourcenarme Sprachen: Die Gewinne waren besonders ausgeprägt für ressourcenarme Sprachen. Beispielsweise verbesserte LANG mit Qwen2.5-7B die LC&Acc um 39,0 % auf Thai (MMATH) und um 24,6 % auf Vietnamesisch (PolyMath) im Vergleich zu mGRPO.
Out-of-Distribution-Generalisierung: LANG zeigte eine starke Generalisierung auf Out-of-Domain-Sprachen und verschiedene Modellskalen und verbesserte die LC&Acc gegenüber Baselines konsistent.
Schichtenweise Analyse: Eine Analyse der intermediären versteckten Zustände ergab, dass LANG eine hohe Sprachkonsistenz über alle Schichten des Modells hinweg aufrechterhält und das Phänomen des „schichtenübergreifenden Sprachwechsels" verhindert, bei dem Modelle auf Englisch reasoning und erst am Output übersetzen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LANG eine robuste Lösung für den Zielkonflikt zwischen Reasoning-Genauigkeit und Sprachkonsistenz in mehrsprachigen LLMs bietet. Durch den Einsatz von Hinweisen als temporäres Gerüst, das progressiv basierend auf dem sprachspezifischen Lernfortschritt entfernt wird, ermöglicht das Framework Modellen, mehrsprachige Reasoning-Muster zu internalisieren.

Die Autoren betonen, dass ihr Ansatz lehreragnostisch ist (gute Leistung mit Hinweisen von verschiedenen Lehrer-Modellen) und übersetzungsrobust (Gewinne bleiben stabil, unabhängig vom für die Datenkonstruktion verwendeten Übersetzungsmodell). Sie kommen zu dem Schluss, dass LANG effektiv die Kluft zwischen englisch-zentrierten Reasoning-Fähigkeiten und der Notwendigkeit muttersprachlicher Interpretierbarkeit überbrückt und eine konsistentere Sprachausrichtung über die Modellschichten hinweg fördert, ohne die Leistung zu opfern.

Die Arbeit erkennt Einschränkungen an und stellt fest, dass sie derzeit auf ein einzelnes Lehrer-Modell (DeepSeek-R1) zur Hinweisgenerierung angewiesen ist und dass Leistungsabwägungen zwischen Sprachen möglicherweise auf Ungleichgewichten in den Pre-Training-Daten zurückzuführen sind, was zukünftige Arbeiten in datenzentrierten Strategien nahelegt.