ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

1. Problemstellung

Große Reasoning-Modelle (LRMs), die durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) nachtrainiert wurden, zeigen zwar starke Leistungen bei komplexen Aufgaben, konzentrieren sich jedoch fast ausschließlich auf das Englische. Dies liegt an der englisch-dominierten Trainingsdatenbasis.

• Herausforderung: Multilinguales Denken wird oft als „Fluch" angesehen, der die Leistung mindert, oder lediglich als Dienstleistung für Nutzer mit unterschiedlichen Sprachhintergründen betrachtet.
• Potenzial: Vorarbeiten deuten darauf hin, dass multilinguales Denken den Suchraum (Explorationsraum) erweitern und durch nicht-englische Vorteile die Gesamtleistung steigern kann.
• Lücke: Es fehlt ein effizientes Trainingssystem, das dem Modell erlaubt, während des Trainings und der Inferenz selbstständig die Denksprache zu wählen, um sowohl die Exploration (Vielfalt) als auch die Exploitation (Leistungsoptimierung) zu verbessern, ohne die Sprachkonformität zu verlieren.

2. Methodik: Der ExpLang-Pipeline

Die Autoren schlagen ExpLang vor, ein Nachtrainierungs-Pipeline für LLMs, die das On-Policy-Auswählen der Denksprache als Aktion im RL-Prozess integriert. Der Prozess gliedert sich in drei Hauptphasen:

A. Datengenerierung und Cold-Start (SFT)

• Datensynthese: Ausgehend von einem englischen Mathematik-Datensatz (OpenR1-Math-220k) wird ein größerer Lehrer-Modell (Qwen3-32B) genutzt, um Denkpfade in 12 verschiedenen Sprachen (6 europäische, 6 asiatische) zu generieren.
• Filterung: Die Daten werden mittels LangDetect (Spracherkennung) und Math-Verify (Korrekturprüfung) gefiltert, um hohe Qualität zu sichern.
• Cold-Start (SFT): Ein Basis-Modell (Qwen3-4B) wird mit diesen Daten mittels LoRA (Low-Rank Adaptation) feinabgestimmt. Dies dient dazu, das Modell an das Format <lang_select>[lang]</lang_select> zu gewöhnen, ohne katastrophales Vergessen der mathematischen Fähigkeiten (im Vergleich zu Full-SFT).

B. RLVR mit On-Policy Sprachaustwahl

Das Kernstück ist die Anpassung des RLVR-Prozesses (basierend auf GRPO), bei dem das Modell die Denksprache selbst wählt. Die Belohnungsfunktion ($r$) setzt sich aus mehreren Komponenten zusammen:

1. Format- und Sprachkonformität: Strafe für falsches Format oder Nicht-Einhaltung der gewählten Sprache.
2. Sprachvielfalt-Reward ($r_d$): Fördert die Nutzung unterrepräsentierter Sprachen.
3. Pass@k-Reward ($r_p$): Belohnt korrekte Lösungen innerhalb einer Sprachgruppe.
4. Verifikations-Reward ($r_v$): Standard-Belohnung für die Richtigkeit der Antwort.

Der RL-Prozess wird in zwei Stufen unterteilt:

• Explorationsphase (erste 1/4 der Schritte):
  • Ziel: Erweiterung des Suchraums.
  • Strategie: Hoher Gewichtungs-Faktor für den Diversitäts-Reward ($\lambda_d > 0$), Pass@k-Reward deaktiviert.
  • Effekt: Das Modell wird ermutigt, verschiedene Sprachen zu nutzen, um diverse Denkpfade zu generieren. Der KL-Verlust wird deaktiviert, um die Vielfalt zu maximieren.
• Exploitationsphase (letzte 3/4 der Schritte):
  • Ziel: Nutzung der besten gefundenen Aktionen.
  • Strategie: Diversitäts-Reward deaktiviert, Pass@k-Reward aktiviert ($\lambda_p > 0$).
  • Effekt: Das Modell konvergiert zu den effizientesten Denksprachen (oft wieder Englisch), um die Gesamtleistung zu maximieren. Der KL-Verlust wird reaktiviert, um eine zu schnelle Konvergenz zu verlangsamen.

3. Wichtige Beiträge

1. On-Policy Sprachaustwahl: Im Gegensatz zu früheren Ansätzen (z. B. feste Prefixes oder Off-Policy-Zwangssteuerung) wählt das Modell die Sprache selbst als Teil seiner Policy aus. Dies führt zu stabilerem RL-Training.
2. Zweistufiger RL-Ansatz: Die Trennung in eine Diversitäts-fokussierte Explorationsphase und eine Leistungsfokussierte Exploitationsphase ermöglicht es, den Vorteil multilingualer Vielfalt zu nutzen, ohne die finale Leistung zu opfern.
3. Orthogonalität: Die Methode ist unabhängig von spezifischen RL-Algorithmen (wie GRPO, DAPO, GSPO) und kann leicht in bestehende Pipelines integriert werden.
4. Sprachkonformität: Das Modell lernt, strikt der angeforderten Sprache zu folgen, sowohl für gesehene als auch für ungesehene Sprachen.

4. Ergebnisse

Die Evaluation erfolgte auf Mathematik-Datensätzen (MATH-500, AIME 2025, Olym-MATH) mit dem Qwen3-4B-Modell.

• Leistungssteigerung: ExpLang übertrifft sowohl ein naives englisch-only-Training als auch ein kontrolliertes englisch-only-Baseline-Modell bei gleicher Trainingsbudget.
  • Auf MATH-500 erreichte ExpLang eine Genauigkeit von 91,5 % (vs. 91,4 % bei Naive und 91,0 % bei Controlled).
  • Auf AIME 2025 zeigte sich ein signifikanter Gewinn: 31,9 % (ExpLang) vs. 30,8 % (Naive).
• Effizienz: Das Modell benötigt weniger Denk-Token (Tokens), um die gleiche oder bessere Leistung zu erzielen.
• Sprachkonformität:
  • Bei erzwungener Sprachauswahl (z. B. nur Vietnamesisch) erreicht ExpLang eine Konformität von >99 %, während Baselines oft in Englisch zurückfallen (Konformität ~66-78 %).
  • Das Modell generalisiert gut auf ungesehene Sprachen (z. B. Indonesisch, Hebräisch), wo es die Baselines deutlich schlägt.
• Verhaltensanalyse:
  • Das Modell durchläuft ein Muster „Englisch → Multilingual → Englisch". Während der Exploration nutzt es viele Sprachen; während der Exploitation konvergiert es zurück zu Englisch, da sich dort die effizientesten Lösungen befinden (Cross-lingual Transfer).
  • Die Policy-Entropie zeigt, dass ExpLang während der Exploration eine höhere Vielfalt beibehält und während der Exploitation effizienter konvergiert als Baselines.

5. Bedeutung und Fazit

ExpLang demonstriert, dass Multilingualität kein Hindernis, sondern ein aktiver Hebel für die Verbesserung von Reasoning-Modellen ist.

• Erweiterter Suchraum: Durch das Erproben verschiedener Sprachen wird der Lösungsraum erweitert, was zu besseren Ergebnissen führt.
• Nutzung nicht-englischer Vorteile: Auch wenn das Modell am Ende oft wieder auf Englisch denkt, profitiert es von den während des Trainings in anderen Sprachen gewonnenen Erkenntnissen (Cross-lingual Transfer).
• Praktische Relevanz: Die Methode ermöglicht es, Modelle zu trainieren, die sowohl leistungsstark sind als auch den Bedürfnissen globaler Nutzer (native Denkpfade) gerecht werden, ohne zusätzliche Kosten für separate Modelle pro Sprache zu verursachen.

Zusammenfassend bietet ExpLang einen neuen Paradigmenwechsel: Statt Multilingualität als Problem zu behandeln, wird sie als strategisches Werkzeug zur Optimierung von Exploration und Exploitation in RL-basiertem Reasoning eingesetzt.