💻 computer science

IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

Das Papier stellt IRIS vor, ein neues Framework, das interleaved Reinforcement Learning mit einem inkrementellen gestuften Curriculum und einem neuen mehrsprachigen Datensatz (CL-Math) kombiniert, um die Fähigkeiten zum mathematischen Schlussfolgern über Sprachgrenzen hinweg, insbesondere in ressourcenarmen indischen Sprachen, erheblich zu verbessern.

Ursprüngliche Autoren: Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, komplexe Matheaufgaben zu lösen. Wenn Sie ihm einfach ein schwieriges Lehrbuch zuwerfen und sagen: „Finden Sie es selbst heraus", wird er wahrscheinlich stecken bleiben, zufällig raten oder aufgeben. Genau dieses Problem hatten Forscher mit KI-Modellen, die versuchen, Mathematik zu lösen, insbesondere beim Wechsel zwischen Sprachen wie Englisch, Hindi und Marathi.

Die Studie stellt eine neue Trainingsmethode namens IRIS (Interleaved Reinforcement with Incremental Staged Curriculum) vor. Betrachten Sie IRIS als ein hochstrukturiertes, zweiteiliges Tutorielsystem, das entwickelt wurde, um eine verwirrte KI in einen selbstbewussten Mathe-Löser zu verwandeln.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Der Zwei-Achsen-Trainingsplan

Die Autoren erkannten, dass das Unterrichten von Mathematik zwei verschiedene Dinge erfordert, die gleichzeitig geschehen. Sie entwickelten ein Rahmenwerk mit zwei „Achsen" (wie ein X-Y-Diagramm):

Die vertikale Achse (Das Besteigen der Schwierigkeitsleiter):
Stellen Sie sich ein Videospiel vor, bei dem Sie auf „Level 1" (einfache Aufgaben) beginnen und erst zu „Level 2" weiterkommen, sobald Sie dieses gemeistert haben. Die meisten KI-Trainings werfen alle Level gleichzeitig auf das Modell. IRIS ist anders. Es startet die KI bei einfachen Matheaufgaben, lässt sie darin gut werden, und führt dann schrittweise mittlere und schwierige Aufgaben ein. Dies baut ein solides Fundament auf, bevor die schwierigen Dinge angegangen werden.
Die horizontale Achse (Das „Mach die Geschichte fertig"-Spiel):
Dies ist der clevere Teil. Normalerweise wird einer KI eine Aufgabe und die vollständige Lösung gezeigt. IRIS ändert das Spiel. Es gibt der KI die Frage und die ersten paar Schritte der Lösung und sagt dann: „Okay, jetzt sind Sie auf sich allein gestellt. Beenden Sie den Rest."
- Frühe Phase: Die KI erhält die meisten Schritte und muss nur die letzten beiden schreiben.
- Spätere Phase: Die KI erhält nur die Frage und muss die gesamte Lösung von Grund auf neu schreiben.
  Dies zwingt die KI zu lernen, wie sie ihr eigenes Denken plant und fortsetzt, anstatt nur vollständige Antworten auswendig zu lernen.

2. Die „Komposite Belohnung" (Der Punktekatalog)

Beim Reinforcement Learning (Bestärkendes Lernen) erhält die KI Punkte (Belohnungen) für gute Leistungen. Normalerweise erhält sie Punkte nur, wenn die endgültige Antwort korrekt ist. Aber in der Mathematik ist eine korrekte Antwort mit schlechter Logik immer noch schlecht.

IRIS verwendet eine komposite Belohnung, die wie ein Lehrer ist, der einen Schüler gleichzeitig an vier Dingen bewertet:

Haben Sie die richtige Antwort? (Der wichtigste Teil).
Machten Ihre Schritte Sinn? (Haben Sie einem logischen Pfad gefolgt, der dem korrekten ähnlich ist?).
Haben Sie den Fluss aufrechterhalten? (Haben Sie dort weitergemacht, wo der vorherige Schritt aufgehört hat, oder haben Sie die Nummerierung neu gestartet?).
Ist die Zahl korrekt formatiert? (Haben Sie eine saubere Zahl ausgegeben?).

Dies stellt sicher, dass die KI lernt, wie man denkt, und nicht nur, was die Antwort ist.

3. Der „Englische Anker" (Das multilinguale Geheimrezept)

Eine der größten Herausforderungen besteht darin, Mathematik in Sprachen mit weniger Ressourcen zu unterrichten, wie Hindi oder Marathi. Es gibt nicht so viele hochwertige mathematische Daten für diese Sprachen wie für Englisch.

Die Studie entdeckte einen faszinierenden Trick: Verwenden Sie Englisch als „Schlussfolgerungs-Anker".

Stellen Sie sich vor, die Fähigkeit der KI, logisch zu denken, ist im Englischen gespeichert, und ihre Fähigkeit, Hindi oder Marathi zu sprechen, ist eine separate Fertigkeit.
Indem die KI an einer Mischung aus englischen und hindi-/marathi-Sprachaufgaben trainiert wird (selbst wenn nur 20 % Englisch sind), wirkt die englische Datenmenge wie ein stabiler Anker. Sie hält das logische Schlussfolgern der KI scharf und konsistent.
Die KI „überträgt" dann diese starke Schlussfolgerungsfähigkeit in Hindi und Marathi. Ohne diesen englischen Anker hat die KI Schwierigkeiten, logische Konsistenz in den ressourcenärmeren Sprachen aufrechtzuerhalten und bleibt oft stecken oder gibt auf.

4. Die Ergebnisse

Die Forscher testeten dies an einem neuen Datensatz, den sie CL-Math nannten, der 29.000 Matheaufgaben mit schrittweisen Lösungen in Englisch, Hindi und Marathi enthält.

Bessere Mathefähigkeiten: Die mit IRIS trainierten Modelle lösten deutlich mehr Aufgaben korrekt als Standardmodelle, insbesondere bei den schwierigsten Fragen.
Sprach-Boost: Die größten Verbesserungen wurden bei Hindi und Marathi gesehen. Die „Englische-Anker"-Strategie half der KI, in diesen Sprachen viel besser zu schlussfolgern, als wenn sie nur auf diesen Sprachen allein trainiert worden wäre.
Generalisierung: Obwohl sie auf ihrem spezifischen Datensatz trainiert wurden, schnitt die KI auch bei anderen Standard-Mathe-Tests (wie GSM8K und MATH) besser ab, was beweist, dass die Methode breit anwendbar ist.

Zusammenfassung

Kurz gesagt ist IRIS eine Trainingsmethode, die KI beibringt, Mathematik zu lösen, indem sie:

Einfach beginnt und schwieriger wird (Vertikal).
Die KI dazu bringt, teilweise Lösungen zu vervollständigen (Horizontal).
Sie sowohl an der Antwort als auch an der Logik bewertet (Komposite Belohnung).
Englisch als „Trainingsrad" verwendet, um ihr zu helfen, Mathematik in anderen Sprachen zu lernen (Multilingualer Anker).

Das Ergebnis ist eine intelligentere, logischere KI, die Matheaufgaben in mehreren Sprachen lösen kann, nicht durch Raten, sondern durch das tatsächliche Verständnis der Schritte.

1. Problemstellung

Large Language Models (LLMs) haben Schwierigkeiten mit komplexem mathematischem Schlussfolgern, insbesondere in mehrsprachigen und ressourcenarmen Umgebungen (z. B. indische Sprachen wie Hindi und Marathi). Bestehende Trainingsparadigmen stoßen auf zwei Hauptgrenzen:

Reward-Sparsity (Verdünnung der Belohnung): Ein Training, das nur die finale Antwort belohnt, versagt bei der Überwachung der Zwischenschritte des Schlussfolgerns, was zu halluzinierten Logikketten führt.
Curriculum-Lücken: Standard-Curriculum-Learning (Fortschreiten von leichten zu schwierigen Problemen) erfasst oft nicht, wo das Schlussfolgern zusammenbricht. Umgekehrt fehlt bei schrittweisen Verstärkungsmethoden (wie Reverse Curriculum) häufig eine Schwierigkeitsplanung, was zu instabilem Lernen bei spärlichen Belohnungen führt.
Cross-Lingual Transfer: Ressourcenarme Sprachen verfügen oft nicht über ausreichend Daten, um qualitativ hochwertiges Schlussfolgern unabhängig zu unterstützen, und die direkte Übersetzung von Schlussfolgerungsspuren degradiert häufig die Kohärenz.

2. Methodik: Das IRIS-Framework

Die Autoren schlagen IRIS (Interleaved Reinforcement with Incremental Staged Curriculum) vor, ein zweidimensionales Trainingsframework, das den Erwerb von Fähigkeiten von der Verfeinerung des Schlussfolgerns entkoppelt.

A. Das zweidimensionale Curriculum

Vertikale Achse (Problem-Level-Curriculum):
- Ziel: Die Aufgabenschwierigkeit schrittweise erhöhen.
- Prozess: Das Modell durchläuft in Stufen ein Supervised Fine-Tuning (SFT): Einfach $\to$ Einfach+Mittel $\to$ Einfach+Mittel+Schwer.
- Mechanismus: Das Modell lernt vollständige Schlussfolgerungsspuren für Probleme zunehmender Komplexität und etabliert so eine Basis an Schlussfolgerungsmustern, bevor das Reinforcement Learning beginnt.
Horizontale Achse (Step-Level Continuation Curriculum):
- Ziel: Die Abhängigkeit von bereitgestellten Schlussfolgerungs-Präfixen reduzieren und unabhängige Planung fördern.
- Prozess: Ein Reverse-Curriculum-Ansatz. Für ein Problem mit $n$ $n$ Schritten wird das Modell in $n-1$ $n - 1$ Stufen trainiert.
  - Stufe 0 (Am einfachsten): Das Modell erhält $n-2$ Schritte und muss nur die letzten 2 Schritte generieren.
  - Stufe $k$ : Das Modell erhält $n-k-2$ Schritte und muss den Rest generieren.
  - Stufe $n-2$ (Am schwierigsten): Das Modell erhält nur die Frage und muss die vollständige Lösung von Grund auf generieren.
- Mechanismus: Dies zwingt das Modell, vom Vollenden partieller Ketten zur Generierung vollständiger Schlussfolgerungstrajektorien überzugehen.

B. Komposite Reward-Design (RLVR)

Zur Optimierung der Horizontalen Achse verwenden die Autoren Group Relative Policy Optimization (GRPO) mit einer neuartigen kompositen Reward-Funktion $R_k$ :
$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$

Korrektheit ( $r_{final}$ ): Binärer Reward (+2) für exakten Antwortabgleich.
Cosine-Alignment ( $r_{cos}$ ): Misst die semantische Ähnlichkeit zwischen dem generierten Suffix und den Ground-Truth-Schritten der Schlussfolgerung. Entscheidend ist, dass dieses Gewicht $\lambda_k$ linear abnimmt, wenn das Curriculum voranschreitet. Es wirkt in frühen Stufen als Stabilisator, wird aber in schwierigen Stufen eliminiert, um diverse, gültige Schlussfolgerungspfade zu fördern.
Kontinuität ( $r_{cont}$ ): Belohnt korrekte Schrittnummerierung und logischen Fluss (z. B. Fortsetzung dort, wo das Präfix aufhörte).
Integer-Incentive ( $r_{int}$ ): Kleiner Bonus für die Erzeugung numerischer Ausgaben.

C. Mehrsprachige Strategie: Englisch als Schlussfolgerungsanker

Das Framework führt ein bilinguales Trainingssetup ein (z. B. Englisch + Hindi).

Hypothese: Englisch fungiert als „Schlussfolgerungsanker". Da Englisch hochwertige Schlussfolgerungsdaten besitzt, stabilisiert es die Lern-Dynamik.
Mechanismus: Das Modell lernt die Logik des Schlussfolgerns aus dem Englischen und überträgt diese Fähigkeit auf ressourcenarme Sprachen (Hindi/Marathi), die sich primär darauf konzentrieren, diese Logik in einem neuen Skript auszudrücken. Experimente zeigen, dass selbst eine 20%ige englische Mischung Reward-Stagnation beim monolingualen Training in ressourcenarmen Sprachen signifikant verhindert.

3. Hauptbeiträge

IRIS-Framework: Ein neuartiges zweidimensionales Curriculum, das Schwierigkeits-basiertes SFT (Vertikal) mit Reverse-Step-RL (Horizontal) kombiniert, um langfristiges Schlussfolgern zu stabilisieren.
Komposite Reward-Funktion: Ein mehrkomponentiges Reward-Signal, das Antwortkorrektheit mit schrittweiser Ausrichtung und struktureller Kontinuität ausbalanciert und über GRPO optimiert wird.
CL-Math-Dataset: Ein neues 29k-Beispiele umfassendes mehrsprachiges Dataset mit mathematischen Problemen und schrittweisen Annotationen in Englisch, Hindi und Marathi. Es enthält pro Sprache 2.184 einfache, 2.212 mittlere und 5.588 schwierige Beispiele, mit strikten Train/Test-Aufteilungen zur Vermeidung von Datenlecks.
Cross-Lingual Insights: Empirische Belege dafür, dass bilinguales Training (Englisch + Ressourcenarm) als notwendiger Regularisierer wirkt und stabiles RL-Post-Training ermöglicht, wo monolinguale Ansätze versagen.

4. Ergebnisse

Die Autoren evaluierten IRIS an den Modellen Qwen2.5-Math-7B und WizardMath-7B.

Leistung auf CL-Math:
- IRIS verbesserte die Schlussfolgerungsgenauigkeit bei den schwierigsten Hindi-Problemen im Vergleich zu Baselines um bis zu +15,8 %.
- Bilinguale Settings (Englisch-Hindi/Marathi) zeigten erhebliche Gewinne gegenüber monolingualen Settings und bestätigten die Hypothese des „Schlussfolgerungsankers".
Generalisierung auf Standard-Benchmarks:
- SVAMP: 90,6 % (vs. 70,4 % Basis).
- GSM8K: 83,9 % (vs. 70,6 % Basis).
- MATH: 64,6 % (vs. 29,5 % Basis).
- IRIS übertraf andere spezialisierte 7B-Modelle (MetaMath, DeepSeek-Math) und näherte sich auf spezifischen Benchmarks der Leistung von GPT-4 an.
Ablationsstudien:
- Das Entfernen des vertikalen SFT-Warm-ups oder des Curriculum-Fortschritts verschlechterte die Leistung erheblich.
- Eine Vereinfachung des Rewards auf reine Korrektheit reduzierte die Genauigkeit und unterstrich die Bedeutung der kompositen Reward-Struktur.
- Eine 20%ige englische Mischung im Marathi-Training erzielte die beste Balance und wirkte als Regularisierer.

5. Bedeutung und Auswirkung

Überbrückung der Ressourcenlücke: IRIS demonstriert einen praktischen Weg, um mathematisches Schlussfolgern in unterrepräsentierten Sprachen (Hindi, Marathi) zu verbessern, indem hochwertige englische Daten genutzt werden, ohne massive native Datensätze zu benötigen.
Stabiles RL für Schlussfolgern: Die Kombination aus gestuften Curricula und abklingenden Alignment-Rewards löst die Instabilitätsprobleme, die bei Reinforcement Learning für Schlussfolgerungsaufgaben üblich sind, und ermöglicht Modellen, komplexe, mehrstufige Logik zu erlernen, ohne zu kollabieren.
Open Science: Die Veröffentlichung von CL-Math und des Codebases stellt eine kritische Ressource für die Community dar, um Forschung zu mehrsprachigem Schlussfolgern und Curriculum-Learning weiter voranzutreiben.
Kognitive Ausrichtung: Das Framework spiegelt die menschliche kognitive Entwicklung wider (zunächst Struktur lernen, dann Komplexität skalieren) und bietet ein robusteres Trainingsparadigma als End-to-End-Black-Box-Optimierung.

Zusammenfassend etabliert IRIS, dass strukturiertes Curriculum-Design in Kombination mit interleaved reinforcement eine hochwirksame Strategie ist, um tiefe Schlussfolgerungsfähigkeiten in kleinen Sprachmodellen zu erschließen, insbesondere in mehrsprachigen Kontexten.