ReasonXL: Shifting LLM Reasoning Language Without Sacrificing Performance

Die Arbeit stellt ReasonXL vor, ein groß angelegtes paralleles Korpus mit über zwei Millionen abgestimmten Denkspuren in fünf europäischen Sprachen, das es ermöglicht, große Sprachmodelle durch eine Kombination aus überwachtem Feinabstimmen und verstärkendem Lernen mit verifizierbaren Belohnungen so anzupassen, dass sie vollständig in der Zielsprache reasoning, ohne dabei ihre Leistungsfähigkeit oder das allgemeine Wissen zu beeinträchtigen.

Das Wesentliche

Das Problem: Der „Englische-Verstand"

Stell dir vor, du hast einen extrem intelligenten Roboter (ein KI-Modell), der alles auf der Welt weiß. Wenn du ihn auf Deutsch fragst: „Wie berechne ich die Fläche eines Kreises?", antwortet er dir zwar auf Deutsch, aber sein Gedankenprozess läuft im Inneren immer noch auf Englisch ab.

Es ist, als würde ein deutscher Koch, der ein italienisches Gericht zubereitet, im Kopf ständig englische Rezepte murmeln, während er auf Deutsch mit dem Gast spricht. Das funktioniert oft gut, aber es führt zu Problemen:

1. Missverständnisse: Nuancen gehen verloren („Lost in Translation").
2. Vertrauen: Wenn du den Gedankengang des Kochs nicht direkt auf Deutsch verfolgen kannst, traust du dem Ergebnis weniger.
3. Fehler: Manchmal übersetzt der Roboter das Problem im Kopf falsch, bevor er die Lösung findet.

Bisher gab es keine gute Möglichkeit, diesen Roboter dazu zu bringen, wirklich auf Deutsch (oder Französisch, Italienisch, Spanisch) zu denken, ohne dass er dabei dümmer wird.

---

Die Lösung: ReasonXL – Ein riesiges Trainingslager

Die Forscher haben jetzt etwas Neues geschaffen, das sie ReasonXL nennen.

1. Die Bibliothek (Das Datenset)
Stell dir vor, sie haben eine riesige Bibliothek gebaut, die nicht nur Bücher, sondern auch die Gedankenwege darin enthält.

• Sie haben über 2 Millionen Beispiele pro Sprache (Deutsch, Englisch, Französisch, Italienisch, Spanisch) gesammelt.
• Jedes Beispiel besteht aus: einer Frage, dem Denkprozess (wie man zur Lösung kommt) und der Lösung.
• Wichtig: Der Denkprozess ist in der jeweiligen Zielsprache verfasst. Es ist, als hätten sie für jede Sprache einen eigenen „Denk-Trainer" entwickelt.

2. Der Trainingsplan (Die zwei Stufen)
Wie bringen sie den Roboter dazu, in einer neuen Sprache zu denken? Mit einem zweistufigen Training, ähnlich wie beim Sport:

• Stufe 1: Der Sprachkurs (SFT - Supervised Fine-Tuning)
  Der Roboter liest die Millionen Beispiele aus der Bibliothek. Er lernt: „Aha, wenn ich auf Deutsch nachdenke, muss ich diese Wörter und diesen Satzbau verwenden."

  • Das Ergebnis: Der Roboter denkt jetzt auf Deutsch. Aber er ist etwas unsicher und macht mehr Fehler bei den Aufgaben, weil er sich an die neue Denkweise gewöhnen muss.

• Stufe 2: Der Wettkampf (RL - Reinforcement Learning)
  Jetzt kommt der Trainer (die KI) ins Spiel. Der Roboter löst Aufgaben auf Deutsch. Wenn er die richtige Antwort findet, gibt es einen Punkt. Wenn er falsch denkt oder die Sprache vermischt, gibt es einen Minuspunkt.

  • Das Ergebnis: Der Roboter verfeinert seine Fähigkeiten. Er lernt, nicht nur auf Deutsch zu denken, sondern gut auf Deutsch zu denken. Er holt die Leistungsniveau wieder auf das Niveau des Englischen auf.

---

Was haben sie herausgefunden? (Die Geheimnisse im Inneren)

Das Coolste an dieser Studie ist nicht nur, dass es funktioniert, sondern wie es im Gehirn des Roboters passiert. Die Forscher haben wie Chirurgen hineingeschaut:

• Der „Sprach-Schalter" (Die frühen Schichten):
  Das KI-Modell besteht aus vielen Schichten (wie Stockwerke in einem Wolkenkratzer). Die Forscher haben entdeckt, dass die Entscheidung, in welcher Sprache gedacht wird, in den unteren Stockwerken (den ersten Schichten) getroffen wird.

  • Analogie: Stell dir vor, die unteren Schichten sind wie ein Türsteher. Er entscheidet: „Heute sprechen wir Deutsch!" Sobald diese Tür passiert ist, fließt der Rest des Denkens automatisch auf Deutsch.

• Der „Qualitäts-Filter" (Die oberen Schichten):
  Die oberen Stockwerke kümmern sich darum, ob die Lösung richtig ist. Hier passieren die meisten Änderungen beim Training, um die Intelligenz zu verbessern.

• Der effiziente Trick (RL vs. SFT):
  Das zweite Training (RL) ist wie ein Wundermittel. Es verändert die Gewichte im Gehirn des Roboters kaum (weniger als ein Prozent), führt aber zu einer riesigen Verbesserung im Verhalten. Es ist, als würde man einem Auto nur den Motor abstimmen lassen, anstatt das ganze Chassis zu tauschen, und es fährt plötzlich doppelt so schnell.

Warum ist das wichtig?

Früher dachte man: „Um gut zu denken, muss man Englisch denken." Diese Studie zeigt: Nein! Man kann eine KI so trainieren, dass sie in ihrer Muttersprache denkt und dabei genauso schlau bleibt wie auf Englisch.

Das ist ein großer Schritt für die Zukunft, damit KI-Assistenten nicht nur unsere Sprache sprechen, sondern auch in unserer Sprache verstehen und denken. Das macht sie vertrauenswürdiger und genauer für alle Menschen auf der Welt, nicht nur für Englischsprecher.

Technische Zusammenfassung

1. Problemstellung

Trotz erheblicher Fortschritte bei den multilingualen Fähigkeiten von Large Language Models (LLMs) bleiben diese in ihrer Trainingsdatenbasis und vor allem in der Erzeugung von Reasoning Traces (Denkprozessen) stark englisch-zentriert. Selbst wenn Modelle mit Eingaben in anderen Sprachen konfrontiert werden, führen sie ihre internen Schlussfolgerungen oft noch auf Englisch durch. Dies führt zu mehreren Problemen:

• Vertrauensverlust: Nutzer, die in ihrer Muttersprache interagieren, erwarten transparente und nachvollziehbare Denkprozesse in derselben Sprache.
• Qualitätsverlust: Die Notwendigkeit, zwischen Eingabesprache und englischer Reasoning-Sprache zu wechseln, kann zu Übersetzungsfehlern und semantischen Verzerrungen führen.
• Datenmangel: Es fehlte bisher an großskaligen, parallelen Korpora mit Reasoning-Daten in nicht-englischen Sprachen, um Modelle gezielt für diese Aufgabe zu trainieren.

2. Methodik

Die Autoren schlagen einen zweistufigen Post-Training-Ansatz vor, um die Reasoning-Sprache eines LLMs von Englisch auf eine Zielsprache zu verschieben, ohne die Leistungsfähigkeit zu beeinträchtigen.

A. Datensatz: ReasonXL

Das Kernstück der Arbeit ist die Erstellung von ReasonXL, dem ersten großskaligen parallelen Korpus für Reasoning-Daten.

• Umfang: Es umfasst über 2 Millionen abgestimmte Samples pro Sprache (insgesamt ca. 9 Mrd. Tokens in der aktuellen Version, mit Expansion auf 20–30 Mrd. geplant).
• Sprachen: Englisch, Deutsch, Französisch, Italienisch und Spanisch.
• Inhalt: Jeder Sample besteht aus Prompt, Reasoning Trace (Gedankengang) und Final Output.
• Aufbereitung: Die Daten stammen aus 10 verschiedenen Quellen (Mathematik, Code, Wissenschaft, Allgemeinwissen). Sie wurden mittels eines kleinen multilingualen LLMs (Propella-1) annotiert, um Sicherheit, Qualität und Domänenvielfalt zu gewährleisten. Die Übersetzung erfolgte mit Qwen3-32B unter strengen Anweisungen zur Bewahrung technischer Notationen und mathematischer Formeln.

B. Trainings-Pipeline

Das Training wurde an einem 3B-Parameter-Modell (SmolLM3-3B) durchgeführt und besteht aus zwei Stufen:

1. Supervised Fine-Tuning (SFT): Das Modell wird auf den parallelen Daten der Zielsprache trainiert, um die Reasoning-Sprache von Englisch auf die Zielsprache umzustellen. Dabei wird nur der Loss für die Assistant-Antwort (Reasoning + Output) berechnet.
2. Reinforcement Learning with Verifiable Rewards (RLVR): Um die durch SFT oft verloren gehende Reasoning-Qualität wiederherzustellen, wird eine RL-Phase mit Dr. GRPO (Group Relative Policy Optimization) durchgeführt.
   • Reward-Funktion: Besteht aus einer Genauigkeitskomponente (symbolischer Abgleich der Antwort), einer Sprachkomponente (FastText-basierte Identifikation der Sprache im Reasoning-Block und Output), Formatierungs-Belohnungen und einer Wiederholungsstrafe. Für Spanisch wurde zusätzlich eine „Naturalness"-Reward eingeführt, um untypische Zeichensetzungen zu bestrafen.

3. Hauptbeiträge

1. ReasonXL Korpus: Die Veröffentlichung eines massiven, mehrsprachigen Reasoning-Korpus mit über 2 Mio. Samples pro Sprache, das als lebende Ressource weiterentwickelt wird.
2. Effektive Sprachverschiebung: Der Nachweis, dass LLMs durch eine einfache Zwei-Stufen-Pipeline (SFT + RL) dauerhaft dazu gebracht werden können, vollständig in einer Zielsprache zu reasoning, ohne dabei die Aufgabenleistung zu opfern.
3. Mechanistische Analyse: Eine detaillierte Untersuchung der inneren Veränderungen des Modells, die zeigt, wie Sprachidentität und Reasoning-Qualität in verschiedenen Schichten des Transformers kodiert werden.

4. Ergebnisse

Leistung auf Downstream-Aufgaben

• SFT-Effekt: Das reine SFT lenkt das Modell erfolgreich auf die Zielsprache um (100 % der Antworten in der Zielsprache), führt jedoch zu einem signifikanten Leistungsabfall in wissenschaftlichen Benchmarks (ca. 5–10 Punkte).
• RLVR-Effekt: Die RL-Phase stellt die Reasoning-Qualität weitgehend wieder her. Die finalen Modelle erreichen oder übertreffen in den meisten Fällen die Leistung des Basis-Modells (SmolLM3), das auf Englisch reasoning.
  • Besonders starke Verbesserungen wurden für Deutsch und Italienisch beobachtet.
  • Die Leistung verbessert sich auch in domänenübergreifenden Benchmarks (z. B. Belebele, Global MMLU), was auf eine allgemeine Stärkung der in-sprachlichen Fähigkeiten hindeutet.

Wissensverlust und Cross-Lingual Transfer

• Allgemeinwissen: Der Verlust an englischsprachigem Allgemeinwissen (gemessen an MMLU, PIQA etc.) ist minimal (durchschnittlich 0,6 bis 3,2 Punkte), was als akzeptabler Trade-off für die vollständige Sprachumstellung gewertet wird.
• Cross-Lingual Transfer: Die Anpassung an eine Sprache hat unterschiedliche Auswirkungen auf andere Sprachen. Während die Anpassung an Deutsch und Italienisch positive Transfer-Effekte zeigt, führt Französisch zu leichten Verschlechterungen. Englisch als Reasoning-Sprache leidet jedoch unter der Anpassung, was den Hauptkompromiss darstellt.

Mechanistische Analyse (Interpretierbarkeit)

Die Analyse der Gewichts- und Aktivierungsänderungen ergab eine klare funktionale Trennung:

• Frühe Schichten (ca. Layer 6–8): Hier befindet sich ein kausaler Engpass (Bottleneck) für die Sprachidentität. Das „Patching" (Ersetzen) der Aktivierungen in diesen Schichten im Basis-Modell durch die des RL-Modells reicht aus, um die Ausgangssprache des Modells auf die Zielsprache zu ändern.
• Späte Schichten: Die größten Gewichtsänderungen finden in den oberen Schichten statt. Diese Schichten scheinen für die Feinabstimmung der Reasoning-Qualität und des Inhalts innerhalb der bereits gewählten Sprache verantwortlich zu sein.
• Effizienz von RL: RLVR erzielt eine größere Verhaltensdivergenz vom Basis-Modell mit deutlich kleineren Parameter-Updates als SFT, was auf eine effizientere „Umschaltung" der Repräsentationen hindeutet.

5. Bedeutung und Fazit

Das Paper widerlegt die Annahme, dass Englisch eine notwendige Zwischensprache für hochwertiges Reasoning in LLMs sei.

• Praktische Implikation: Es ist möglich, Modelle so zu adaptieren, dass sie in ihrer Zielsprache denken und antworten, was die Transparenz und das Vertrauen von Nicht-Englisch-Sprechenden erhöht.
• Forschungsbeitrag: ReasonXL bietet eine solide Basis für zukünftige Forschung zu multilingualem Reasoning, Cross-Lingual Transfer und der Analyse von Reasoning-Traces.
• Architekturelle Einsicht: Die Erkenntnis, dass die Sprachsteuerung in frühen Schichten und die Reasoning-Qualität in späteren Schichten verarbeitet werden, bietet neue Ansatzpunkte für effizientere Adaptionsmethoden (z. B. Parameter-Efficient Fine-Tuning nur in bestimmten Schichten).

Zusammenfassend demonstriert die Arbeit, dass mit einem ausreichend großen und strukturierten Korpus die Reasoning-Sprache eines LLMs erfolgreich und leistungserhaltend verschoben werden kann.