MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt in wiskundig redeneren, vaak via "Chain-of-Thought" (CoT) prompting, wordt de prestatie van deze modellen fundamenteel beperkt door de kwaliteit en granulariteit van de redeneringsstappen in de trainingsdata. Bestaande methoden om deze stappen uit te breiden (om gedetailleerdere tussenstappen te genereren) hebben drie grote nadelen:

1. Afhankelijkheid van krachtige externe modellen: Ze vereisen vaak nog grotere modellen om betere stappen te genereren, wat een vicieuze cirkel creëert.
2. Hoge rekentkosten: Methoden zoals Monte Carlo Tree Search (MCTS) zijn computationally zeer intensief.
3. Betrouwbaarheidsproblemen: Deze methoden genereren vaak volledig nieuwe redeneringsketens in plaats van te bouwen op bestaande, mens-geverifieerde oplossingen, wat kan leiden tot onverwachte fouten.

De kernvraag is: Kunnen we een efficiëntere en betrouwbaardere methode ontwikkelen om redeneringsstappen uit te breiden terwijl de geldigheid van bestaande menselijke oplossingen behouden blijft?

Methodologie: MathFimer

Het paper introduceert MathFimer, een nieuw raamwerk dat inspiratie haalt uit de "Fill-in-the-Middle" (FIM) taak, oorspronkelijk ontwikkeld voor code-reasoning. In plaats van nieuwe ketens te genereren, vult MathFimer ontbrekende tussenstappen in bestaande CoT-reeksen in.

Het proces verloopt in twee hoofdfasen:

1. Data Constructie en Model Training (NuminaMath-FIM)

• Data Decompositie: Bestaande hoogwaardige wiskundedata (NuminaMath-CoT) wordt gedecomposeerd in prefix-suffix paren. Voor elke oplossing wordt een willekeurige stap ($M$) geselecteerd en verwijderd, terwijl de voorgaande stappen ($P$) en de volgende stappen ($S$) behouden blijven.
• FIM Formaat: De data wordt geformatteerd als $(P, S, M)$ met speciale tokens (<|fim_prefix|>, <|fim_suffix|>, <|fim_middle|>). Het model wordt getraind om de ontbrekende stap $M$ te voorspellen op basis van $P$ en $S$.
• Model Training: Er wordt een gespecialiseerd model, MathFimer-7B, getraind op een basismodel (Qwen2.5-Math-7B) met deze gegenereerde dataset (NuminaMath-FIM, bestaande uit 2,5 miljoen samples).

2. Uitbreiding van Redeneringsstappen

• Het getrainde MathFimer-7B-model wordt toegepast op bestaande datasets. Voor elke opeenvolgende stap in een oplossing infereert het model potentiële ontbrekende tussenstappen of gedetailleerdere uitleg.
• Validatie: Om te voorkomen dat het model redundantie introduceert (waarbij de gegenereerde stap te veel lijkt op de volgende stap), wordt een gelijkenischeck uitgevoerd. Stappen met een gelijkenis boven een bepaalde drempel ($\eta = 0.8$) worden als ongeldig gemarkeerd en niet ingevoegd.
• Iteratie: Het proces kan iteratief worden toegepast om steeds gedetailleerdere redeneringsketens te creëren.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van MathFimer, een framework dat de FIM-paradigma toepast op wiskundig redeneren om bestaande oplossingen te verrijken met tussenstappen zonder externe krachtige modellen.
2. Datasets en Modellen: Publicatie van de NuminaMath-FIM dataset en het MathFimer-7B model, die een schaalbare oplossing bieden voor het verbeteren van wiskundedata.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat modellen getraind op MathFimer-uitgebreide data consistent beter presteren dan die getraind op originele data, ongeacht het basismodel (van 8B tot 72B parameters).

Resultaten

De auteurs hebben experimenten uitgevoerd op diverse benchmarks (GSM8K, MATH, Math Odyssey, OlympiadBench-EN) met verschillende basismodellen (Meta-Llama-3.1, Qwen2.5-Math).

• Prestatieverbetering: Er werd een consistente stijging in nauwkeurigheid waargenomen. Bijvoorbeeld:
  • Op GSM8K met Meta-Llama-3.1-8B en MathInstruct-CoT data steeg de gemiddelde nauwkeurigheid van 27,75% naar 31,52% (+3,77%).
  • Op MATH met Qwen2.5-Math-72B en MetaMathQA data steeg de nauwkeurigheid van 52,71% naar 57,14% (+4,43%).
• Iteratieve Schaalbaarheid: Meerdere iteraties van stapuitbreiding leidden tot verdere verbeteringen (bijv. +15,54% op GSM8K na 3 iteraties).
• Kwaliteit van Stappen: Evaluatie met een Process Reward Model (PRM) toonde aan dat de gegenereerde stappen een hoge correctheid behouden (PRM-scores > 0,8) en de kwaliteit van de redenering niet verslechtert.
• Vergelijking met Alternatieven: MathFimer presteerde beter dan prompt-based methoden (zoals het vragen aan een ander LLM om stappen toe te voegen) en is computatie-efficiënter dan RL-based methoden (zoals PPO of DPO).
• Generalisatie: Het model toonde ook verbeteringen in Out-of-Distribution (OOD) taken zoals logisch en wetenschappelijk redeneren, wat suggereert dat het leren van gedetailleerde stappen een algemene redeneercapaciteit verbetert.

Betekenis en Impact

MathFimer biedt een praktische en schaalbare oplossing om de wiskundige redeneercapaciteit van LLMs te verbeteren zonder afhankelijk te zijn van extreem grote externe modellen of dure inferentieprocedures.

• Efficiëntie: Het verplaatst de rekencost van inferentie (tijdens het gebruik van het model) naar training, wat kosteneffectiever is voor het creëren van hoogwaardige trainingsdata.
• Betrouwbaarheid: Door te bouwen op mens-geverifieerde oplossingen en alleen ontbrekende details toe te voegen, wordt de betrouwbaarheid van de redeneringsketens behouden, in tegenstelling tot methoden die volledig nieuwe ketens genereren.
• Complementariteit: De methode is orthogonaal tot bestaande optimalisatietechnieken zoals RL (Reinforcement Learning) en DPO. De uitgebreide data kan dienen als een betere startpunt voor verdere training, wat leidt tot nog betere resultaten.

Kortom, MathFimer demonstreert dat het systematisch uitbreiden van de granulariteit van redeneringsstappen via een gespecialiseerd FIM-model een krachtige route is om de prestaties van LLMs in complexe redeneringstaken te maximaliseren.