IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben moeite met complexe wiskundige redenering, met name in meertalige en low-resource omgevingen (bijvoorbeeld Indiase talen zoals Hindi en Marathi). Bestaande trainingsparadigma's staan voor twee hoofdbeperkingen:

• Reward Sparsiteit: Training die alleen de uiteindelijke beloning geeft, faalt in het toezicht houden op de tussenliggende redeneerstappen, wat leidt tot gehallucineerde logische ketens.
• Curriculumhiaten: Standaard curriculumlearning (voortgang van makkelijke naar moeilijke problemen) slaagt er vaak niet in om te vangen waar de redenering vastloopt. Omgekeerd missen stap-voor-stap versterkingsmethoden (zoals Reverse Curriculum) vaak een planning van moeilijkheidsgraden, wat leidt tot onstabiele learning bij schaarse beloningen.
• Cross-linguale Transfer: Low-resource talen missen vaak voldoende data om onafhankelijk hoogwaardige redenering te ondersteunen, en directe vertaling van redeneersporen degradeert vaak de coherentie.

2. Methodologie: Het IRIS-kader

De auteurs stellen IRIS (Interleaved Reinforcement with Incremental Staged Curriculum) voor, een trainingskader met twee assen dat is ontworpen om vaardigheidsverwerving te ontkoppelen van redeneringsverfijning.

A. Het Twee-assen Curriculum

1. Verticale As (Probleemniveau Curriculum):

   • Doel: De taakmoeilijkheid geleidelijk verhogen.
   • Proces: Het model ondergaat Supervised Fine-Tuning (SFT) in fasen: Makkelijk $\to$ Makkelijk+Gemiddeld $\to$ Makkelijk+Gemiddeld+Moeilijk.
   • Mechanisme: Het model leert volledige redeneersporen voor problemen van toenemende complexiteit, waardoor een basislijn van redeneerpatronen wordt vastgesteld voordat versterkingslearning begint.

2. Horizontale As (Stapniveau Continuatie Curriculum):

   • Doel: De afhankelijkheid van meegeleverde redeneerprefixen verminderen en onafhankelijke planning aanmoedigen.
   • Proces: Een Reverse Curriculum-benadering. Voor een probleem met $n$ stappen wordt het model getraind in $n-1$ fasen.
     • Fase 0 (Makkelijkst): Het model krijgt $n-2$ stappen en moet alleen de laatste 2 stappen genereren.
     • Fase $k$: Het model krijgt $n-k-2$ stappen en moet de rest genereren.
     • Fase $n-2$ (Moeilijkst): Het model krijgt alleen de vraag en moet de volledige oplossing van scratch genereren.
   • Mechanisme: Dit dwingt het model om over te gaan van het voltooien van gedeeltelijke ketens naar het genereren van volledige redeneertrajecten.

B. Samengestelde Reward-ontwerp (RLVR)

Om de Horizontale As te optimaliseren, gebruiken de auteurs Group Relative Policy Optimization (GRPO) met een nieuwe samengestelde reward-functie $R_k$:
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• Juistheid ($r_{final}$): Binaire beloning (+2) voor exacte overeenkomst van het antwoord.
• Cosine-uitlijning ($r_{cos}$): Meet de semantische gelijkenis tussen de gegenereerde achtervoegsel en de ground-truth redeneerstappen. Cruciaal is dat deze gewicht $\lambda_k$ lineair afneemt naarmate het curriculumniveau stijgt. Het fungeert als stabilisator in vroege fasen, maar wordt in moeilijke fasen geëlimineerd om diverse, geldige redeneerpaden aan te moedigen.
• Continuïteit ($r_{cont}$): Beloont correcte stapnummering en logische flow (bijvoorbeeld voortborduren op waar de prefix stopte).
• Integer Incentive ($r_{int}$): Kleine bonus voor het produceren van numerieke output.

C. Meertalige Strategie: Engels als Redeneeranker

Het kader introduceert een tweetalige trainingsopstelling (bijvoorbeeld Engels + Hindi).

• Hypothese: Engels fungeert als een "redeneeranker". Omdat Engels data van hoge kwaliteit heeft voor redenering, stabiliseert het de leerdynamiek.
• Mechanisme: Het model leert de logica van redeneren uit Engels en draagt deze capaciteit over naar low-resource talen (Hindi/Marathi), die zich voornamelijk richten op het uitdrukken van die logica in een nieuw schrift. Experimenten tonen aan dat zelfs een 20% Engelse mix reward-stagnatie in monolinguale low-resource training aanzienlijk voorkomt.

3. Belangrijkste Bijdragen

1. IRIS-kader: Een nieuw twee-assen curriculum dat moeilijkheidsgebaseerde SFT (Verticaal) combineert met reverse-stap RL (Horizontaal) om lang-horizon redenering te stabiliseren.
2. Samengestelde Reward-functie: Een meercomponenten rewardsignaal dat antwoordjuistheid afweegt tegen stap-voor-stap uitlijning en structurele continuïteit, geoptimaliseerd via GRPO.
3. CL-Math Dataset: Een nieuwe meertalige dataset van 29k voorbeelden met wiskundeproblemen en stapniveau-annotaties in Engels, Hindi en Marathi. Het bevat per taal 2.184 makkelijke, 2.212 gemiddelde en 5.588 moeilijke monsters, met strikte train/test-splits om datalekken te voorkomen.
4. Cross-linguale Inzichten: Empirisch bewijs dat tweetalige training (Engels + Low-Resource) fungeert als een noodzakelijke regularisator, waardoor stabiele RL post-training mogelijk wordt waar monolinguale benaderingen falen.

4. Resultaten

De auteurs evalueerden IRIS op de Qwen2.5-Math-7B en WizardMath-7B modellen.

• Prestaties op CL-Math:
  • IRIS verbeterde de redeneernauwkeurigheid met tot +15,8% op de moeilijkste Hindi-problemen ten opzichte van baselines.
  • Tweetalige instellingen (Engels-Hindi/Marathi) lieten aanzienlijke winsten zien ten opzichte van monolinguale instellingen, wat de "redeneeranker"-hypothese bevestigt.
• Generalisatie naar Standaard Benchmarks:
  • SVAMP: 90,6% (vs. 70,4% basis).
  • GSM8K: 83,9% (vs. 70,6% basis).
  • MATH: 64,6% (vs. 29,5% basis).
  • IRIS presteerde beter dan andere gespecialiseerde 7B-modellen (MetaMath, DeepSeek-Math) en benaderde GPT-4-prestaties op specifieke benchmarks.
• Ablatiestudies:
  • Het verwijderen van de verticale SFT warm-up of de curriculumvoortgang degradeerde de prestaties aanzienlijk.
  • Het vereenvoudigen van de reward tot alleen juistheid verlaagde de nauwkeurigheid, wat het belang van de samengestelde reward-structuur benadrukt.
  • Een 20% Engelse mix in Marathi-training leverde de beste balans op en fungeerde als regularisator.

5. Betekenis en Impact

• Overbrugging van de Low-Resource Kloof: IRIS demonstreert een praktische route om wiskundige redenering in ondervertegenwoordigde talen (Hindi, Marathi) te verbeteren door gebruik te maken van high-resource Engelse data zonder enorme inheemse datasets te vereisen.
• Stabiele RL voor Redenering: De combinatie van gestage curricula en afnemende uitlijnrewards lost de instabiliteitsproblemen op die gebruikelijk zijn bij Reinforcement Learning voor redeningstaken, waardoor modellen complexe, meerstaps logica kunnen leren zonder in te storten.
• Open Wetenschap: De release van CL-Math en de codebase biedt een kritieke resource voor de gemeenschap om verder onderzoek te doen naar meertalige redenering en curriculumlearning.
• Cognitieve Uitlijning: Het kader spiegelt de menselijke cognitieve ontwikkeling (eerst structuur leren, dan complexiteit opschalen), wat een robuuster trainingsparadigma biedt dan end-to-end black-box optimalisatie.

Concluderend stelt IRIS vast dat gestructureerd curriculumontwerp gecombineerd met verweven versterking een zeer effectieve strategie is om diepe redeneercapaciteiten in kleine taalmodellen te ontsluiten, met name in meertalige contexten.