Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models

Probleemstelling

Het ontwikkelen van algemene redeneermodellen (general-purpose reasoning models) met behulp van Reinforcement Learning (RL) stuit op aanzienlijke uitdagingen door de heterogeniteit tussen verschillende domeinen. Verschillende taken vereisen uiteenlopende inferentie-tijden, antwoordlengtes en verificatiemethoden:

• Wiskunde: Vereist snelle, symbolische verificatie.
• Programmeren: Vereist langzamere, uitvoeringsgebaseerde verificatie (sandboxing).
• Alignatie (RLHF): Gebaseerd op menselijke voorkeursmodellen.

Deze variabiliteit maakt de RL-infrastructuur complex, vertraagt de training en bemoeilijkt het kiezen van een effectieve trainingscurriculum (bijv. het uitbreiden van de maximale antwoordlengte) en hyperparameters. Bovendien is er een behoefte aan één unified model dat zowel in een "denkmodus" (thinking mode, met lange chain-of-thought) als in een "instructie-modus" (non-thinking/instruct mode) kan opereren, zonder dat er een prestatiekloof ontstaat tussen deze modi of ten opzichte van gespecialiseerde modellen.

Methodologie: Cascade RL

De auteurs introduceren Cascaded Reinforcement Learning (Cascade RL), een trainingsparadigma dat afwijkt van de traditionele aanpak waarbij prompts uit alle domeinen gemengd worden in één RL-fase. In plaats daarvan wordt RL sequentieel en domein-specifiek toegepast.

Het trainingspipeline bestaat uit de volgende fasen:

1. Supervised Fine-Tuning (SFT): Een multi-stadia SFT met data uit diverse domeinen (wiskunde, code, wetenschap, tool-use, software engineering). Het dataset bevat parallelle antwoorden in zowel "denk-" als "instructiemodus" om het model te leren beide modi te beheersen.
2. RLHF (Reinforcement Learning from Human Feedback): De eerste RL-fase, gericht op algemene kwaliteit, hulpvaardigheid en het verminderen van redundantie (verbositeit). Dit verbetert de basis voor latere redeneertaken.
3. Instruction-Following RL (IF-RL): Gericht op het strikt volgen van instructies, met name in de instructiemodus.
4. Domein-specifieke RLVR (Reinforcement Learning with Verifiable Rewards):
   • Math RL: Gebruikt symbolische verificatie voor wiskundige problemen.
   • Code RL: Gebruikt uitvoeringsgebaseerde verificatie voor competitieve programmering.
   • SWE RL: Gericht op software engineering taken (bugfixing) met een uitvoeringsvrije reward model (gebaseerd op semantische en lexische gelijkenis met ground-truth patches).

Belangrijke technische inzichten:

• Resistentie tegen Catastrophic Forgetting: Door RL sequentieel toe te passen van algemene naar gespecialiseerde domeinen, en omdat RL de policy afhankelijk maakt van de huidige verdeling (policy-dependent), wordt eerder geleerde kennis niet overschreven. De beloningssignalen overlappen vaak (bijv. minder hallucinaties is goed voor alle domeinen).
• Unified Modus: Het model gebruikt /think en /no_think tags in de prompt om de modus te controleren. Tijdens RLHF wordt een "Half-Half" strategie gebruikt waarbij batches gelijk verdeeld worden over beide modi om cross-modale transfer te maximaliseren.
• Test-Time Scaling: Voor complexe taken (zoals IOI) wordt een feedback-gedreven pipeline gebruikt waarbij het model meerdere pogingen genereert, feedback van de judge gebruikt, en zijn strategie aanpast.

Belangrijkste Bijdragen

1. Nemotron-Cascade Modellen: De release van open-source modellen (8B en 14B parameters) die zowel in denk- als instructiemodus kunnen opereren met state-of-the-art prestaties.
2. Cascaded RL Framework: Een bewezen methode om RL te schalen over diverse domeinen zonder prestatieverlies in eerdere domeinen, wat leidt tot een robuustere en efficiëntere training dan gemengde RL-aanpakken.
3. Transparantie: Volledige openbaarmaking van trainingsrecepten, data-curatie en hyperparameters, wat zeldzaam is voor modellen van dit niveau.
4. Prestaties op SWE: Een nieuwe aanpak voor Software Engineering taken met een "Agentless" framework en een uitvoeringsvrije reward model, wat schaalbaarheid mogelijk maakt zonder zware Docker-omgevingen.

Resultaten

De Nemotron-Cascade-modellen presteren uitzonderlijk goed op een breed scala aan benchmarks, vaak met een veel kleiner parameteraantal dan concurrenten:

• LiveCodeBench: Het Nemotron-Cascade-14B-Thinking model (14B parameters) verslaat de DeepSeek-R1-0528 (671B parameters, de leraar van het SFT-dataset) op alle splits van LiveCodeBench v5 en v6. Het 8B-model presteert vergelijkbaar met de 671B DeepSeek-R1.
• IOI 2025 (Internationale Olympiade in Informatica): Met test-time scaling bereikte het 14B-model een zilveren medaille prestatie (score 343.37), wat beter is dan interne modellen van OpenAI en DeepSeek op specifieke constructieve taken.
• SWE-bench Verified: Het 14B-model bereikt een 43.1% pass-rate, wat beter is dan gespecialiseerde 32B-modellen zoals DeepSWE-32B (42.2%) en significantly beter dan andere 14B algemene modellen.
• Unified Performance: Het 8B unified model sluit de prestatiekloof met dedicated 8B-denkmodellen in de denkmodus, terwijl het tegelijkertijd superieur presteert in instructie-volgende taken (IFEval).

Betekenis en Impact

Dit paper is significant omdat het aantoont dat:

1. Unified Modellen haalbaar zijn: Het is mogelijk om één model te bouwen dat zowel snel reageert (instructie) als diep redeneert (denken) zonder dat de prestaties in de ene modus ten koste gaan van de andere.
2. Cascaded RL superieur is: Het sequentieel trainen per domein is effectiever dan het mengen van data, vooral omdat het de complexiteit van de infrastructuur vermindert en stabiliteit biedt.
3. Kleine modellen kunnen concurreren: Door slimme trainingsstrategieën (zoals Cascade RL en test-time scaling) kunnen 8B en 14B modellen presteren die vergelijkbaar zijn met of beter zijn dan 671B+ modellen.
4. Open Science: De volledige openbaarmaking van de recepten versnelt de gemeenschap in het ontwikkelen van betrouwbare redeneermodellen.

Samenvattend biedt Nemotron-Cascade een nieuwe blauwdruk voor het bouwen van krachtige, algemene redeneermodellen die zowel efficiënt als transparant zijn, met een focus op praktische toepasbaarheid in complexe domeinen zoals coderen en software-engineering.