Nemotron-CrossThink: Scaling Self-Learning beyond Math Reasoning

Nemotron-CrossThink is een framework dat door het integreren van multi-domein data en gestructureerde verifieerbare beloningen in Reinforcement Learning, de generalisatie, nauwkeurigheid en efficiëntie van grote taalmodellen voor diverse redeneertaken aanzienlijk verbetert.

De kern

Stel je voor dat je een slimme student wilt opleiden. Tot nu toe hebben onderzoekers deze student vooral laten studeren voor wiskundetoetsen. Wiskunde is makkelijk om te beoordelen: een antwoord is ofwel goed, ofwel fout. Er is geen discussie mogelijk.

Maar wat als je die student ook wilt laten excelleren in geschiedenis, rechten, filosofie of alledaagse problemen? Dat is lastiger. In die vakken is het antwoord vaak niet zo eenduidig. Hoe leer je een computermodel om daar slim in te worden zonder dat je hem constant kunt controleren met een simpele "goed/fout"-score?

Dat is precies wat het team van NVIDIA en andere universiteiten heeft opgelost met hun nieuwe methode: NEMOTRON-CROSSTHINK.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Alles-in-één" Bibliotheek (Multi-domein Data)

Stel je voor dat je een student alleen laat studeren uit een wiskundeboek. Hij wordt een wiskundegenie, maar als je hem vraagt wie de president was in 1920, kijkt hij je verward aan.
De oude methode was: "Leer alleen wiskunde."
De nieuwe methode (NEMOTRON-CROSSTHINK) is: "Leer uit een bibliotheek met wiskunde, maar ook met boeken over recht, natuurkunde, geschiedenis en sociale wetenschappen."

Ze hebben een enorme verzameling vragen en antwoorden samengesteld uit allerlei bronnen. Ze laten het model niet alleen wiskunde doen, maar ook redeneren over complexe maatschappelijke vraagstukken.

2. De "Vormgevings-Regels" (Templates)

Het probleem met niet-wiskundige vragen is dat ze vaak te open zijn. Als je vraagt: "Wat vind je van de klimaatcrisis?", kan het antwoord oneindig lang en rommelig zijn. Hoe meet je dan of het antwoord "goed" is?

De onderzoekers lossen dit op met sjablonen (templates).

• Ze dwingen het model om antwoorden te geven in een strakke vorm, bijvoorbeeld als meerkeuzevragen (A, B, C, D) of als een korte, duidelijke zin.
• Dit is alsof je de student niet vraagt: "Schrijf een essay," maar: "Kies het juiste antwoord en leg het in drie zinnen uit."
• Hierdoor wordt het voor de computer makkelijker om te zien: "Ah, het antwoord is correct!" Zelfs als het onderwerp moeilijk is.

3. De "Filter voor Slimme Vragen" (Difficulty Filtering)

Niet alle vragen zijn even leerzaam. Als een vraag te makkelijk is, leert de student er niets van. Als hij te moeilijk is, raakt hij gefrustreerd.
De onderzoekers hebben een slimme filter bedacht:

• Ze laten een "kleinere, minder slimme versie" van het model de vragen beantwoorden.
• Als die kleine versie het fout heeft, is de vraag waarschijnlijk interessant genoeg om te leren.
• Als de kleine versie het al goed heeft, gooien ze die vraag weg.
• Zo oefent het grote model alleen met de uitdagingen die het echt nodig heeft om te groeien.

4. Het Resultaat: Een Slimme en Efficiënte Denker

Wat levert dit op?

• Beter in alles: Het model wordt niet alleen beter in wiskunde (met een enorme sprong voorwaarts), maar ook in andere vakken zoals rechten en wetenschappen. Het leert namelijk patronen herkennen die in alle vakken werken.
• Korter en krachtiger: Het meest verrassende is dat het model efficiënter gaat denken. Vroeger maakte het model vaak lange, onnodige gedachtenkransen om een antwoord te vinden. Nu leert het: "Voor een simpele vraag geef ik een kort antwoord; voor een moeilijke wiskundevraag ga ik diep."
  • Vergelijking: Het is alsof de student vroeger altijd een hele speech hield, zelfs als je vroeg "Hoe laat is het?". Nu zegt hij gewoon "14:00 uur", tenzij je echt een complexe vraag stelt. Hierdoor is hij sneller en goedkoper om te gebruiken.

Samenvattend

NEMOTRON-CROSSTHINK is als een super-trainer die een AI-model niet alleen laat trainen in de sportschool (wiskunde), maar ook laat joggen in het park, zwemmen in het meer en klimmen in de bergen (andere vakgebieden).

Door de training te structureren met duidelijke regels en alleen de moeilijkste oefeningen te kiezen, wordt het model niet alleen slimmer in alles, maar ook sneller en efficiënter. Het bewijst dat je een AI niet hoeft te specialiseren in één ding om hem slim te maken; door veel verschillende dingen te leren, wordt hij een echte "alleskunner".

Technische samenvatting

Probleemstelling

Hoewel Reinforcement Learning (RL) succesvol is toegepast op wiskundig redeneren (waar regels en correctheid goed gedefinieerd zijn), blijft het generaliseren van deze methoden naar bredere redeneringsdomeinen een uitdaging. De belangrijkste obstakels zijn:

1. Gebrek aan verifieerbare beloningen: In ongestructureerde domeinen (zoals recht, sociale wetenschappen, geschiedenis) is het moeilijk om een objectieve, regelgebaseerde beloning (reward) te definiëren voor antwoorden.
2. Beperkte data: Er is een tekort aan hoogwaardige trainingsdata voor RL buiten de wiskunde om.
3. Generalisatie: Bestaande methoden focussen vaak te sterk op wiskunde en missen de nuance van verschillende vraagtypen (open-ended vs. meerkeuze) en cognitieve strategieën die nodig zijn voor diverse domeinen.

Methodologie: NEMOTRON-CROSSTHINK

NEMOTRON-CROSSTHINK is een raamwerk dat systematisch multi-domein corpora integreert in RL-training om de generalisatie van Large Language Models (LLMs) te verbeteren. Het proces bestaat uit de volgende fasen:

1. Data Curation (Verzameling):

   • De dataset combineert synthetische data (gegenereerd vanuit CommonCrawl-webteksten) en open-source QA-datasets.
   • Het omvat twee hoofdcategorieën: General Purpose Reasoning (GPR) (STEM, humanities, recht, sociale wetenschappen) en Mathematical Reasoning (MR).
   • Bronnen omvatten o.a. MMLU, Natural Reasoning, NuminaMath en synthetisch gegenereerde data (NEMOTRON-CROSSTHINK-QA en -MATH).

2. Toepassing van Templates (Structurering):

   • Om de variabiliteit van het antwoordruimte te beperken en verifieerbare beloningen mogelijk te maken, worden gestructureerde templates toegepast.
   • Data wordt geconverteerd naar Meerkeuzevragen (MCQ) en Open-ended vragen.
   • Voor MCQ's worden de opties soms verwijderd om het model te dwingen een eigen antwoord te genereren in plaats van te gokken.

3. Data Filtering:

   • Een lichtgewicht filteringsstap verwijdert onverifieerbare of slecht geformatteerde voorbeelden.
   • Voor MCQ's wordt gecontroleerd of het juiste antwoord in de opties staat.
   • Voor open-ended antwoorden worden lange of onduidelijke antwoorden gefilterd (bijv. maximaal 10 woorden voor het kernantwoord).
   • Een difficulty filtering techniek wordt gebruikt: vragen die door een kleiner model (Qwen-2.5-7B) in zero-shot kunnen worden opgelost, worden verwijderd. Alleen "moeilijke" vragen worden gebruikt voor training van grotere modellen.

4. Data Blending (Samenstelling):

   • Er worden verschillende strategieën onderzocht voor het mengen van data (bijv. 2:1 ratio van GPR naar wiskunde).
   • De beste prestaties werden behaald met een blend die zowel wiskunde als general-purpose reasoning data combineert, waarbij de data wordt gewogen op basis van bruikbaarheid en complexiteit.

5. Reinforcement Learning (GRPO):

   • Het model wordt getraind met Group Relative Policy Optimization (GRPO).
   • De beloningsfunctie is regelgebaseerd en bestaat uit twee componenten:
     • Accuracy Reward: Controleert of het antwoord correct is (bijv. exacte string matching of het juiste antwoord in een box).
     • Format Reward: Controleert of het antwoord correct is opgemaakt (bijv. binnen <thought> en \boxed{} tags).

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van NEMOTRON-CROSSTHINK, een systeem dat multi-domein data succesvol integreert in RL-training, wat leidt tot significante verbeteringen in zowel wiskundige als niet-wiskundige redenering.
2. Template-gebaseerde Beloning: Bewijs dat het toepassen van gestructureerde templates (zowel voor vragen als antwoorden) leidt tot stabielere beloningsmodellen. Een uniforme open-ended indeling presteerde 1,21% beter dan gemengde formaten, en korte antwoordtemplates (alleen de optie) presteerden 1,20% beter dan lange beschrijvingen.
3. Data Blending Strategie: Demonstreert dat "wiskunde alleen" onvoldoende is. Het mengen van multi-domein data verbetert de gemiddelde redeneeraccuraatheid met 1,61% ten opzichte van wiskunde-only data en verhoogt de efficiëntie.
4. Difficulty Filtering: Een eenvoudige maar effectieve techniek om alleen de moeilijkste voorbeelden (die een kleiner model niet kan oplossen) te selecteren, wat leidt tot een extra gemiddelde nauwkeurigheidsstijging van 2,15% voor grotere modellen (Qwen-2.5-32B).
5. Open Data: Publicatie van 287.4K hoogwaardige, multi-domein data voor verifieerbare beloningsmodelling.

Resultaten

Het model getraind met NEMOTRON-CROSSTHINK (gebaseerd op Qwen-2.5-7B en -32B) toont aanzienlijke verbeteringen ten opzichte van baselines (zoals Open-Reasoner-Zero en wiskunde-only training):

• Wiskundige Benchmarks:
  • MATH-500: +30,1% verbetering.
  • AMC23: +27,5% verbetering.
• Niet-wiskundige Benchmarks:
  • MMLU-PRO: +12,8% verbetering.
  • GPQA-DIAMOND: +11,3% verbetering.
  • AGIEVAL: +15,1% verbetering.
  • SUPERGPQA: +3,8% verbetering.
• Efficiëntie:
  • Het model gebruikt 28% minder tokens voor correcte antwoorden, wat wijst op een meer gefocuste en efficiënte redeneerstrategie.
  • Het model past dynamisch zijn responslengte aan: korter voor algemene vragen, langer en gedetailleerder voor complexe wiskundige problemen.

Significantie

NEMOTRON-CROSSTHINK bewijst dat het integreren van multi-domein, multi-formaat data in RL leidt tot LLM's die niet alleen accurater zijn, maar ook efficiënter en generaliseerbaarder.

• Schaalbaarheid: Het raamwerk is schaalbaar en werkt over verschillende modelarchitecturen (Qwen en Nemotron-H) en maten.
• Beyond Math: Het doorbreekt de beperking dat RL alleen werkt voor wiskunde, door een methode te bieden om verifieerbare beloningen te creëren voor ongestructureerde domeinen.
• Kostenefficiëntie: Door de reductie in token-gebruik bij correcte antwoorden, wordt de inferentiekost verlaagd zonder in te leveren op kwaliteit.
• Toekomstgericht: Het biedt een praktische recept voor het bouwen van betrouwbaardere en meer veelzijdige AI-modellen die beter kunnen redeneren in real-world scenario's die verder gaan dan puur wiskundige taken.

Kortom, het paper stelt dat data diversiteit (niet alleen data volume) en slimme data-selectie (filtering en blending) cruciaal zijn voor de volgende stap in het redeneervermogen van AI.