mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR

Das Paper stellt mAceReason-Math vor, einen hochwertigen Datensatz mit über 10.000 mathematischen Aufgaben pro Sprache in 14 Sprachen, der speziell für das Training von Modellen mittels Reinforcement Learning with Verifiable Rewards (RLVR) entwickelt wurde, um die bisherige englischzentrierte Forschung zu erweitern.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, aber sehr einsprachigen Mathematik-Genie-Roboter. Dieser Roboter kann die schwierigsten Matheaufgaben der Welt lösen, aber nur, wenn sie auf Englisch gestellt werden. Wenn du ihm eine Aufgabe auf Deutsch, Japanisch oder Portugiesisch gibst, wird er verwirrt, weil er diese Sprachen in seinem "Gehirn" für das Lösen von Aufgaben noch nie richtig geübt hat.

Die Forscher in diesem Papier haben sich gedacht: "Das ist doch schade! Wir wollen, dass dieser Roboter auch auf der ganzen Welt helfen kann." Also haben sie mAceReason-Math erschaffen.

Hier ist die Geschichte davon, wie sie das gemacht haben, ganz einfach erklärt:

1. Das Problem: Ein einsprachiges Genie

Bisher gab es nur riesige Sammlungen von schwierigen Matheaufgaben auf Englisch. Um den Roboter noch schlauer zu machen, hat man ihn trainiert, indem man ihm sagte: "Versuche es noch einmal, bis du die richtige Antwort findest." Das funktioniert auf Englisch super. Aber auf anderen Sprachen gab es keine solchen "Schwierigkeits-Trainingslager". Die vorhandenen Aufgaben auf anderen Sprachen waren oft zu leicht oder von schlechter Qualität – wie wenn man einem Marathonläufer nur einen Spaziergang im Park zum Training gibt.

2. Die Lösung: Ein riesiges Übersetzungs-Team

Die Forscher wollten eine Bibliothek mit über 140.000 schwierigen Matheaufgaben in 14 verschiedenen Sprachen bauen.
Stell dir vor, sie haben eine riesige Kiste voller englischer Rätsel genommen. Aber sie konnten nicht einfach alles wortwörtlich übersetzen, denn:

• Manchmal stand in der Aufgabe schon die Lösung (ein "Leck" im Rätsel).
• Manchmal fehlten Bilder oder Diagramme.
• Manchmal waren die Formeln kaputt.

Der Reinigungs-Prozess (Das "Aufräumen"):
Bevor sie übersetzt haben, haben sie die Aufgaben wie ein Qualitätskontrolleur in einer Fabrik durchgecheckt.

• Die "Müll"-Aufgaben: Aufgaben, die unvollständig waren oder Bilder benötigten, die es nicht gab, wurden in den Müll geworfen (ca. 4 %).
• Die "Reparierbaren": Aufgaben, die nur kleine Fehler hatten (wie "Aufgabe 5.4" am Anfang, das man streichen kann), wurden repariert (ca. 11 %).

3. Die Übersetzung: Ein Tanz zwischen KI und Menschen

Jetzt kam der schwierige Teil: Die Übersetzung.
Sie haben einen sehr starken KI-Übersetzer (wie einen sehr schnellen, aber manchmal etwas ungenauen Dolmetscher) eingesetzt. Aber sie wussten: Ein Roboter allein macht Fehler bei Mathe.

• Der Trick: Sie haben den Roboter die Aufgaben übersetzen lassen, aber dann haben echte Muttersprachler (Menschen, die die Sprache perfekt beherrschen) nachgeschaut.
• Die Rückkopplung: Wenn der Mensch sagte: "Hey, hier ist die Formel falsch übersetzt" oder "In Italien sagt man das so", hat der Roboter die Aufgabe korrigiert und es nochmal versucht.
• Das Ergebnis: Eine Mischung aus der Geschwindigkeit einer KI und der Genauigkeit eines Menschen.

4. Das Ergebnis: Ein globales Mathe-Trainingslager

Am Ende haben sie einen Datensatz namens mAceReason-Math veröffentlicht.

• Was ist drin? Über 10.000 schwierige Matheaufgaben pro Sprache.
• Die Sprachen: Deutsch, Französisch, Spanisch, Chinesisch, Japanisch, Russisch, Portugiesisch, Koreanisch, Thai und sogar Swahili, Telugu und Bengali.
• Der Parallel-Teil: Es gibt sogar eine Gruppe von Aufgaben, die in allen 14 Sprachen exakt gleich sind. Das ist wie ein Test, bei dem man sieht, ob der Roboter die Aufgabe auf Deutsch genauso gut löst wie auf Englisch.

Warum ist das wichtig?

Stell dir vor, du willst einen Sportler trainieren. Wenn du ihn nur auf Englisch trainierst, wird er im englischsprachigen Land ein Weltmeister. Aber wenn er nach Deutschland reist und dort ein Rennen läuft, stolpert er vielleicht über die Sprache.

Mit mAceReason-Math geben die Forscher den KI-Modellen die Möglichkeit, in allen Sprachen zu trainieren. Sie hoffen, dass die KIs dadurch nicht nur besser Mathe rechnen, sondern auch verstehen, wie mathematische Konzepte in verschiedenen Kulturen und Sprachen funktionieren.

Kurz gesagt: Sie haben eine Brücke gebaut, damit die klügsten Mathe-Roboter der Welt endlich auch mit uns auf unserer Muttersprache sprechen und denken können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „mAceReason-Math: A Dataset of High-quality Multilingual Math Problems" auf Deutsch:

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), insbesondere in Kombination mit Group Relative Policy Optimization (GRPO), hat die Fähigkeiten von Large Language Models (LLMs) im Bereich mathematischer und logischer Schlussfolgerungen erheblich gesteigert. Ein kritischer Erfolgsfaktor für RLVR ist jedoch die „Goldilocks-Zone" der Schwierigkeit: Die Probleme müssen anspruchsvoll genug sein, um den aktuellen Modellzustand herauszufordern, aber nicht unmöglich.

Bisherige hochqualitative Datensätze für dieses Training (wie AceReason-Math, DAPO-Math-17k oder POLARIS-53k) sind fast ausschließlich englischsprachig. Zwar existieren multilinguale Benchmarks (z. B. basierend auf GSM8K), diese sind jedoch oft zu einfach für moderne State-of-the-Art-Modelle oder zu klein (oft <600 Samples pro Sprache), um effektives multilinguales RLVR-Training zu ermöglichen. Es fehlt an großen, hochwertigen Datensätzen mit komplexen mathematischen Problemen in verschiedenen Sprachen, die speziell für RLVR optimiert sind.

2. Methodik

Die Autoren stellen mAceReason-Math vor, einen Datensatz mit über 140.000 hochwertigen Übersetzungen komplexer mathematischer Probleme aus dem englischen AceReason-Math-Korpus. Der Erstellungsprozess folgt einer hybriden Pipeline aus automatischer Verarbeitung und menschlicher Validierung:

• Bereinigung der Quelldaten (Cleaning):
  • Kritische Filterung (~4%): Samples werden entfernt, wenn sie unlösbare Mängel aufweisen (z. B. fehlender Kontext, Antworten bereits in der Frage enthalten, Verweise auf externe Bilder/Diagramme, nicht-englischer Ursprungstext).
  • Reparierbare Probleme (~11%): Oberflächenfehler wie Aufgaben-Annotationen („Task 5.4"), Formatierungsfehler in LaTeX oder überflüssige Instruktionen werden durch Regex und LLM-Prompts bereinigt, bevor die Übersetzung erfolgt.
• Übersetzungs-Pipeline:
  • Hybrider Ansatz: Nutzung von LLMs (Claude Sonnet 4) für die Übersetzung in Kombination mit menschlicher Validierung durch Muttersprachler.
  • Iterative Verfeinerung: Übersetzungen durchlaufen einen mehrstufigen Prozess. Nach der initialen Übersetzung erfolgt eine automatische Bewertung durch ein LLM basierend auf strengen Kriterien (mathematische Genauigkeit, LaTeX-Integrität, natürliche Sprachfluss). Bei Fehlern wird eine Verbesserungsrunde angestoßen (bis zu 5 Iterationen).
  • Spezifische Richtlinien: Die Prompts legen großen Wert auf die Beibehaltung mathematischer Notation (LaTeX darf nicht übersetzt werden, nur Text innerhalb von \text{}), korrekte Zahlenformatierung (z. B. Komma als Dezimaltrennzeichen im Deutschen) und die Verwendung fachspezifischer Terminologie.
• Datensatz-Zusammensetzung:
  • Paralleler Train-Split: 7.620 Samples pro Sprache, die in allen 14 Zielsprachen vorhanden sind (für vergleichbare Trainingsstudien).
  • Vollständiger Train-Split: 10.000 bis 12.000+ Samples pro Sprache (nicht vollständig parallel).
  • Test-Split: 190 Samples, die einer strengen menschlichen Validierung durch Muttersprachler unterzogen wurden (inkl. Darstellung von LaTeX via MathJax für bessere Lesbarkeit).
• Abgedeckte Sprachen: 14 Sprachen (Deutsch, Französisch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Japanisch, Koreanisch, Russisch, Thai, Swahili, Telugu, Bengali).

3. Wichtige Beiträge

• mAceReason-Math: Der erste große, hochwertige multilinguale Datensatz für mathematisches Reasoning, der speziell für RLVR-Training (GRPO) konzipiert wurde.
• Skalierbare Pipeline: Demonstration einer hybriden Methode (LLM + menschliche Prüfung), die es ermöglicht, große Mengen an komplexen mathematischen Daten kosteneffizient und qualitativ hochwertig zu übersetzen und zu bereinigen.
• Qualitätssicherung: Ein detaillierter Prozess zur Erkennung und Korrektur von „Übersetzungsfehlern", die mathematische Logik verändern könnten, sowie zur Sicherstellung der korrekten LaTeX-Formatierung.
• Open Source: Öffentliche Bereitstellung des Datensatzes und der Evaluierungsergebnisse, um multilinguale RLVR-Forschung zu fördern.

4. Ergebnisse und Evaluation

Die Autoren evaluierten verschiedene Frontier-Modelle (sowohl Closed-Source als auch Open-Weight) auf dem human-validierten Testset (190 Samples).

• Modellleistung:
  • Größere Modelle zeigen generell bessere Ergebnisse.
  • Qwen3-Modelle (insbesondere die Reasoning-Varianten) erzielten herausragende Ergebnisse, oft besser als geschlossene Modelle wie Claude Sonnet 4.5, was darauf hindeutet, dass diese Modelle möglicherweise bereits mit ähnlichen multilingualen Daten trainiert wurden.
  • Open-Weight Modelle zeigten signifikante Leistungsunterschiede zwischen den Sprachen. Während Modelle wie gpt-oss-20b oder DeepSeek-R1-Distill in vielen Sprachen solide Ergebnisse lieferten, gab es bei kleineren Modellen (z. B. gemma-3-1b-it) starke Einbrüche in nicht-englischen Sprachen.
• Sprachabhängigkeit: Es gibt eine deutliche Varianz in der Leistung über die Sprachen hinweg, insbesondere bei Open-Weight-Modellen. Dies unterstreicht die Notwendigkeit spezifischer multilingualer Trainingsdaten, um diese Lücken zu schließen.
• Generalisierung: Die Ergebnisse deuten darauf hin, dass mathematische Problemlösungsfähigkeiten eine starke cross-linguale Transferierbarkeit aufweisen, wenn das Modell entsprechend trainiert ist.

5. Bedeutung und Limitationen

• Bedeutung: Der Datensatz schließt eine kritische Lücke in der RLVR-Forschung. Er ermöglicht es der Community, die Effektivität von Reinforcement Learning für mathematisches Reasoning in nicht-englischen Sprachen zu untersuchen und Modelle zu trainieren, die sprachübergreifend robust sind.
• Limitationen:
  • Trotz strenger Qualitätskontrolle können Restfehler in der Übersetzung oder Formatierung bestehen bleiben.
  • Für Swahili, Telugu und Bengali fehlten Muttersprachler für die Validierung, weshalb die Qualität dort potenziell variabler ist.
  • Die automatische Antwortverifikation (z. B. Math-Verify) kann bei komplexen Ausdrücken oder nicht-US-Zahlenformaten gelegentlich falsch-negative Ergebnisse liefern.
  • Die Evaluation geschlossener Modelle erfolgte nur mit pass@1 (ein Sample pro Prompt), was die Varianz nicht vollständig abbildet.

Fazit: mAceReason-Math ist ein wesentlicher Schritt hin zu inklusiverer und leistungsfähigerer KI-Forschung im Bereich mathematischer Reasoning, indem er die Abhängigkeit von englischsprachigen Daten reduziert und eine solide Basis für multilinguales RLVR-Training bietet.