Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments

Das Paper stellt das Multilingual Reasoning Gym vor, eine Erweiterung des Reasoning Gym, die durch prozedurale Generierung verifizierbarer Denkprobleme in 14 Sprachen mit nativer Validierung und paralleler Datenverfügbarkeit die Erforschung multilingualer Reasoning-Modelle ermöglicht.

Das Wesentliche

Stell dir vor, du hast einen riesigen, unendlichen Spielplatz für das Gehirn, auf dem du dein Denkvermögen trainieren kannst. Dieser Spielplatz heißt im Englischen „Reasoning Gym" (Trainingszentrum für logisches Denken). Bisher war dieser Spielplatz aber nur auf Englisch beschildert und die Übungen waren nur auf Englisch verfügbar. Das war wie ein Fitnessstudio, in dem alle Trainer nur Englisch sprechen – für jemanden, der Deutsch, Japanisch oder Swahili spricht, war es schwer, mitzumachen.

Die Autoren dieses Papers haben nun eine Erweiterung gebaut: das „Multilingual Reasoning Gym" (Mehrsprachiges Trainingszentrum). Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Der Baukasten statt der fertige Kuchen

Früher haben Forscher für jedes Land einfach fertige Mathe- oder Logikaufgaben aus dem Englischen übersetzt. Das ist wie ein Bäcker, der 100 fertige Kuchen backt und dann versucht, die Etiketten auf Französisch, Spanisch und Chinesisch zu kleben. Das Problem: Es gibt nur 100 Kuchen. Wenn du mehr brauchst, musst du warten.

Das neue „Multilingual Reasoning Gym" funktioniert wie ein unendlicher Baukasten.
Stell dir vor, du hast eine Vorlage (eine Schablone) für eine Aufgabe, zum Beispiel: „Wenn du [Zahl A] und [Zahl B] addierst, was kommt heraus?"
Die Forscher haben diese Schablonen nicht nur einmal übersetzt, sondern so angepasst, dass sie in 14 verschiedenen Sprachen (wie Deutsch, Japanisch, Hindi, Swahili) perfekt klingen.

• Der Vorteil: Da es eine Schablone ist, kann der Computer daraus millionenfach neue, einzigartige Aufgaben generieren. Es ist wie ein 3D-Drucker, der unendlich viele neue Puzzleteile in jeder Sprache drucken kann, ohne dass jemand jedes einzelne Stück von Hand fertigen muss.

2. Die Übersetzer sind nicht nur Maschinen

Man könnte denken: „Nimm einfach Google Translate." Aber das reicht nicht.
Stell dir vor, du übersetzt ein Mathe-Problem. Im Englischen sagt man vielleicht: „How many s are in the word?" (Wie viele s sind im Wort?). Im Deutschen sagt man aber nicht „Wie viele s", sondern man muss den Artikel und die Endung anpassen. Oder im Japanischen ändern sich die Satzzeichen komplett.

Die Autoren haben daher einen hybriden Ansatz gewählt:

1. Eine KI (ein sehr cleverer Roboter) macht den ersten Entwurf.
2. Echte Muttersprachler (Menschen, die die Sprache perfekt beherrschen) prüfen das Ergebnis. Sie schauen sich an: „Klingt das natürlich? Ist die Mathematik korrekt? Ist die Grammatik richtig?"
3. Wenn etwas nicht passt, wird die Schablone angepasst.

Ein Beispiel aus dem Papier:

• Englisch: „Find the Greatest Common Divisor" (Finde den größten gemeinsamen Teiler).
• Deutsch: „Bestimme den größten gemeinsamen Teiler (ggT)".
  Die KI und die Menschen haben sichergestellt, dass die Fachbegriffe in der Zielsprache korrekt und üblich sind, nicht nur wörtlich übersetzt.

3. Warum ist das wichtig? (Das „Trainingslager")

Künstliche Intelligenzen (LLMs) werden heute oft so trainiert, dass sie Aufgaben lösen, deren Antwort man sofort überprüfen kann (z. B. bei Matheaufgaben ist die Lösung entweder richtig oder falsch). Das nennt man „Reinforcement Learning with Verifiable Rewards" (Belohnung durch überprüfbare Ergebnisse).

Bisher konnten diese KI-Modelle nur auf Englisch trainieren. Wenn man sie auf Deutsch oder Hindi testen wollte, gab es kaum Daten.
Mit diesem neuen Gym können Forscher jetzt:

• Unendlich viel trainieren: Die KI kann Millionen von Aufgaben in ihrer Muttersprache lösen, um besser zu werden.
• Schwierigkeit steuern: Man kann die Aufgaben leicht machen (für Anfänger) oder extrem schwer (für Experten).
• Vergleichen: Da die Aufgaben in allen Sprachen aus demselben „Bauplan" kommen, kann man fair vergleichen: Ist die KI in Deutsch genauso gut wie in Englisch?

4. Was ist nicht perfekt? (Die Grenzen)

Nicht alles lässt sich 1:1 übersetzen.

• Wortspiele: Ein Spiel, bei dem man englische Wörter Buchstabe für Buchstabe ändern muss (z. B. von „Hand" zu „Glee"), funktioniert im Deutschen oder Chinesischen gar nicht, weil die Wörter anders aufgebaut sind. Diese Aufgaben wurden weggelassen.
• Kulturelle Unterschiede: Manche Aufgaben basieren auf US-Datumsformaten (Monat/Tag/Jahr), die in Europa (Tag/Monat/Jahr) verwirrend sind. Auch das wurde teilweise angepasst oder weggelassen.
• Einige Sprachen: Für Sprachen wie Swahili oder Telugu gab es keine Muttersprachler zur Überprüfung, daher ist die Qualität dort vielleicht nicht ganz so hoch wie bei Deutsch oder Japanisch.

Fazit

Das Paper stellt ein Werkzeug vor, das die Welt der KI-Entwicklung demokratisiert. Es baut einen riesigen, unendlichen Trainingsplatz, auf dem KI-Modelle in 14 verschiedenen Sprachen logisch denken lernen können. Es ist wie ein universeller Übersetzer für Denkprozesse, der sicherstellt, dass eine KI nicht nur auf Englisch schlau wird, sondern auch auf Deutsch, Japanisch und vielen anderen Sprachen.

Der Code und die Daten sind kostenlos verfügbar, damit jeder Forscher diesen unendlichen Spielplatz nutzen kann, um die nächste Generation smarter KI-Modelle zu bauen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments" auf Deutsch:

1. Problemstellung

State-of-the-Art Large Language Models (LLMs) werden zunehmend mit Reinforcement Learning from Verifiable Rewards (RLVR) trainiert, um reasoning-Fähigkeiten in Mathematik, Logik und algorithmischen Aufgaben zu verbessern. Der bisherige Standard, das „Reasoning Gym" (Stojanovski et al., 2025), bietet eine leistungsstarke Umgebung zur prozeduralen Generierung von unendlich vielen Trainingsdaten mit variabler Schwierigkeit.

Das Hauptproblem besteht jedoch darin, dass das ursprüngliche Reasoning Gym ausschließlich auf Englisch verfügbar ist. Dies schränkt die Forschung und Anwendung in anderen Sprachen erheblich ein. Bestehende multilinguale Datensätze basieren oft auf statischen Übersetzungen (z. B. MGSM), die folgende Nachteile haben:

• Begrenzte Größe und Gefahr von Overfitting/Datenkontamination.
• Fehlende Anpassbarkeit der Schwierigkeit (Curriculum Learning).
• Keine Möglichkeit, parallel über Sprachen hinweg generierte Daten zu erstellen, was für den Vergleich von Sprachmodellen essenziell ist.

Die Herausforderung liegt darin, prozedurale Generierungssysteme nicht nur zu übersetzen, sondern auch an linguistische Besonderheiten (Morphologie, Notation, Satzzeichen) anzupassen, ohne die logische Struktur und Verifizierbarkeit der Aufgaben zu zerstören.

2. Methodik

Die Autoren stellen das Multilingual Reasoning Gym vor, eine Erweiterung des Originals, die 94 Aufgaben in 14 Sprachen abdeckt (Englisch, Chinesisch, Deutsch, Spanisch, Französisch, Japanisch, Brasilianisches Portugiesisch, Russisch, Koreanisch, Italienisch, Thai, Bengali, Telugu und Swahili).

Der Ansatz folgt einem hybriden Workflow:

• Architektur-Anpassung:

  • Alle hartkodierten englischen Strings wurden aus dem Code extrahiert und in JSON-Template-Dateien ausgelagert.
  • Der Generierungscode wurde so umgeschrieben, dass er sprachunabhängig ist. Neue Sprachen können durch einfaches Hinzufügen neuer JSON-Dateien integriert werden.
  • Anpassungen an der Logik wurden vorgenommen, um morphologisch reiche Sprachen zu unterstützen (z. B. Vermeidung von Pluralbildungen durch einfaches Anhängen von „s", die im Deutschen oder Französischen nicht funktionieren).

• Auswahl und Filterung von Aufgaben:

  • Von den ursprünglichen 104 Aufgaben wurden 10 gestrichen, da sie zu stark an die englische Sprache gebunden sind (z. B. „Word Ladder", das auf englischen Wörtern basiert).
  • 6 Aufgaben wurden übersetzt, enthalten aber weiterhin englische Eingabedaten (z. B. das Umkehren englischer Sätze), da die Aufgabe selbst sprachneutral ist.
  • 94 Aufgaben wurden vollständig übersetzt oder angepasst.

• Übersetzungs-Workflow (Hybrid-Ansatz):

  1. LLM-basierte Vorübersetzung: Nutzung von Claude Sonnet 4 für die Erstübersetzung der Templates.
  2. Iterative Verfeinerung: Ein weiterer LLM-Durchlauf zur Korrektur basierend auf vordefinierten Bewertungsrastern (Rubrics).
  3. Human-in-the-Loop Validierung: Muttersprachler (Native Speakers) bewerteten in 10 Sprachen (Chinesisch, Deutsch, Französisch, Spanisch, Italienisch, Russisch, Thai, Japanisch, Koreanisch, Brasilianisches Portugiesisch) prozedural generierte Beispiel-Instanzen (nicht nur die Templates).
  4. Feedback-Schleife: Die Rückmeldungen der Muttersprachler flossen in die Rubrics ein, um die LLM-Übersetzungen weiter zu verbessern.
  5. Manuelle Prüfung: Die Autoren prüften Templates und generierte Instanzen manuell auf logische Konsistenz.
     Hinweis: Für Bengali, Telugu und Swahili erfolgte keine native Validierung, um die Abdeckung unterversorgter Sprachen zu erhöhen.

3. Wichtige Beiträge

• Skalierbare Multilinguale Daten: Das System ermöglicht die Erzeugung von unendlich vielen parallelen Dateninstanzen über 14 Sprachen hinweg. Da die Daten prozedural generiert werden, ist die Skalierung nur durch Rechenleistung, nicht durch Datensatzgröße, begrenzt.
• Sprachliche Natürlichkeit: Durch die Anpassung von Notation (z. B. japanische Vollbreit-Kommas), Terminologie (z. B. „GCD" zu „ggT" im Deutschen) und Antwortformaten wird sichergestellt, dass die Aufgaben für Muttersprachler natürlich wirken.
• Erhaltung der Verifizierbarkeit: Die Kernvorteile des Reasoning Gym (automatische Verifizierbarkeit der Lösungen, einstellbare Schwierigkeitsgrade) bleiben in allen Sprachen erhalten. Dies ist entscheidend für RLVR-Training.
• Open Source: Der vollständige Code und die Daten sind unter einer Open-Source-Lizenz verfügbar, um die Forschung im Bereich multilingualer Reasoning-Modelle zu fördern.

4. Ergebnisse

Die Autoren evaluierten verschiedene Open-Weight-Modelle (u. a. Gemma-3, Qwen3, SmolLM, gpt-oss) auf dem neuen Datensatz.

• Leistungssteigerung mit Modellgröße: Wie erwartet steigt die Leistung (Average@8 Score) mit der Kapazität des Modells. Größere Modelle lösen die Aufgaben in allen Sprachen besser.
• Sprachliche Disparitäten: Es gibt signifikante Unterschiede zwischen den Sprachen. Englisch erzielt konsistent die höchsten Scores. Sprachen wie Telugu und Swahili zeigen deutlich niedrigere Leistungen, was teilweise auf die fehlende native Validierung und geringere Trainingsdaten in den Basismodellen zurückzuführen ist.
• Schwierigkeitsanpassung: Das System erlaubt die Steuerung der Schwierigkeit. Bei einer Erhöhung der Schwierigkeit (75. Perzentil statt 25. Perzentil) sank die Leistung aller Modelle um bis zu 15 Prozentpunkte, was die Sensitivität des Benchmarks gegenüber der Schwierigkeit unterstreicht.
• Sprachkonsistenz: Ein kritischer Befund war das Phänomen der „multilingualen Verwirrung" bei einigen Modellen (insbesondere der Qwen3-Familie). Modelle lösten Aufgaben in nicht-englischen Sprachen oft intern auf Englisch und gaben das Ergebnis ebenfalls auf Englisch zurück, was bei Aufgaben, die eine Übersetzung der Antwort erfordern (z. B. „grün" statt „green"), als Fehler gewertet wurde.

5. Bedeutung und Fazit

Das Multilingual Reasoning Gym schließt eine wichtige Lücke in der Forschung zu RLVR und multilingualen LLMs. Es bietet erstmals eine Umgebung, die:

1. Die Vorteile der prozeduralen Generierung (Unendlichkeit, Anpassbarkeit) auf mehrere Sprachen ausdehnt.
2. Hochwertige, native-validierte Daten für das Training und die Evaluation von Reasoning-Modellen bereitstellt.
3. Die Möglichkeit bietet, Cross-Lingual-Paralleldaten in großem Maßstab zu generieren, um zu untersuchen, wie Modelle reasoning-Fähigkeiten über Sprachgrenzen hinweg transferieren.

Die Arbeit zeigt, dass prozedurale Generierung ein vielversprechender Weg ist, um die Datenknappheit in nicht-englischen Sprachen für komplexe Reasoning-Aufgaben zu überwinden, und legt den Grundstein für zukünftige Forschung zu wirklich multilingualen Reasoning-Systemen.