Technische Samenvatting: DenoiseRL

Probleemstelling

Versterkt leren (RL) is een dominante paradigma geworden voor het verbeteren van redeneren in grote taalmodellen (LLM's). Echter, de huidige state-of-the-art benaderingen staan voor een structurele knelpunt: ze vertrouwen vaak op supervisie van sterkere leraarmodellen of sterk gecureerde, moeilijke datasets om verbetering te stimuleren. Deze afhankelijkheid creëert een schaalbaarheidsprobleem; wanneer voldoende capabele kant-en-klare leraars niet beschikbaar zijn, worden verdere winsten in capaciteit moeilijk bereikbaar. Bovendien lijden standaard on-policy RL-methoden vaak aan een exploratieknelpunt, waarbij het beleid verzadigt door voornamelijk correcte rollouts of nauwelijks afwijkende faalmodi te genereren, waardoor "informatieve fouten" te schaars zijn voor betekenisvolle gradiëntupdates. Bestaande pogingen om dit aan te pakken, zoals Weak-to-Strong Generalization (W2SG), worden beperkt door de ruis en capaciteit van de zwakke leraar, terwijl data-synthese-benaderingen complexe, handmatige engineering vereisen.

Methodologie: DenoiseRL

Het artikel stelt DenoiseRL voor, een versterkt leerframework dat verbetering van redeneren herformuleert als een ruisreductie- en herstelprobleem. In plaats van zwakke modellen te gebruiken om correcte pseudo-labels of harde data te genereren, gebruikt DenoiseRL zwakke modellen om gestructureerde verstoringen (incorrecte redeneerprefixen) te genereren die dienen als trainingssignalen.

Kernmechanisme

1. Injectie van Ruizige Prefix: Het framework steekt incorrecte redeneertrajecten uit een zwak model (bijv. Qwen2.5-1.5B). Het selecteert een prefix van dit incorrecte traject (bepaald door een prefixratio $\rho$) en voegt deze voor het invoer van het beleidsmodel.
2. Herstelobjectief: Het beleidsmodel wordt niet getraind om het zwakke model na te bootsen, maar om te herstellen vanuit de foutieve staat. Het moet de corruptie herkennen, zijn redenering herzien, overschakelen naar een correct pad en het geverifieerde antwoord bereiken.
3. Trainingverdeling: Het trainingsproces mengt twee soorten rollouts voor elk probleem:
   • Hoofdrollouts ($N$): Standaard on-policy rollouts die beginnen bij de vraag.
   • Denoise-rollouts ($K$): Rollouts die beginnen bij de ruizige prefix gegenereerd door het zwakke model.
4. Eerlijkheid in Outputbudget: Om een eerlijke vergelijking te waarborgen, wordt de totale responslengte afgerond. De ruizige prefix consumeert een deel van het tokenbudget, en de voortzetting van het model wordt dienovereenkomstig afgekapt. Alleen de tokens gegenereerd door het beleid (de voortzetting) worden bijgewerkt tijdens backpropagation; de ruizige prefix wordt gemaskeerd in de verliesberekening om instabiliteit te voorkomen.
5. Optimalisatie: Het framework maakt gebruik van Group-Relative Policy Optimization (GRPO). Een enkele voordeel-baseline wordt gedeeld over alle $N+K$ trajecten voor een gegeven probleem. Dit stelt de denoise-rollouts (die vaak leiden tot falen als het model niet kan herstellen) in staat als negatieve steekproeven te dienen, terwijl succesvolle herstellingen positieve leersignalen bieden ten opzichte van de groep.

Belangrijkste Bijdragen

• Nieuw RL-Paradigma: De introductie van DenoiseRL, dat weak-to-strong learning verenigt met moeilijkheids-gedreven data-synthese. Het hergebruikt fouten van zwakke modellen als gestructureerde ruis in plaats van leersignalen, waardoor schaalbare verbetering mogelijk wordt zonder externe supervisie.
• Verbeterde Zelfcorrectie: De methode traint het model expliciet om te herstellen vanuit corrupte tussenstappen, waardoor zelfcorrectie wordt verheven van een emergent gedrag tot een direct trainingsdoel.
• Empirische Validatie: Het artikel toont aan dat DenoiseRL consistent beter presteert dan sterke on-policy RL-baselines (GRPO en DAPO) op concurrerende wiskundige en algemene redeneerbenchmarks (MATH500, AMC23, AIME2024/2025, BBEH) voor zowel modellen met 4B als 8B parameters.
• Ontwerpanalyse: De auteurs bieden een gedetailleerde analyse van belangrijke hyperparameters, waarbij wordt geïdentificeerd dat:
  • Prefixratio ($\rho$): Matige ruis ($\rho=0.2$) optimaal is; excessieve ruis ($\rho=0.8$) leidt tot "overdenken" en eindeloze zelftwijfelcycli.
  • Herstelintensiteit ($K$): Een gebalanceerd mengsel van denoise-rollouts ($K=4$ van in totaal 16) levert de beste afweging op. Te weinig ($K=1$) biedt onvoldoende signaal, terwijl te veel ($K=8$) afleidt van het kerndoel om problemen vanaf nul op te lossen.
  • Off-Policy Updates: Het bijwerken van het beleid op de tokens van de ruizige prefix leidt tot trainingssamenstorting, wat bevestigt dat gradiënten alleen door de eigen voortzetting van het model moeten stromen.

Resultaten

Experimenten uitgevoerd op Qwen3-4B en Qwen3-8B modellen tonen consistente verbeteringen:

• Prestatiewinst: DenoiseRL-GRPO verbeterde de gemiddelde score op Qwen3-4B van 39,6% (GRPO-baseline) naar 42,0%. DenoiseRL-DAPO behaalde de beste algehele resultaten op het 8B-model, met een gemiddelde van 44,8% vergeleken met de DAPO-baseline van 42,8%.
• Benchmark-specifiek: Opmerkelijke winsten werden waargenomen op moeilijkere benchmarks zoals AIME2024 en AIME2025, waar DenoiseRL-DAPO op het 8B-model respectievelijk 27,0% en 24,8% behaalde, beter dan alle andere configuraties.
• Gedragsveranderingen: Casestudies tonen aan dat het model leert nuttige structurele informatie uit de prefix te behouden terwijl het gebrekkige logica verworpt, effectief strategieën wisselt (bijv. van expliciete wortelzoeken naar formules van Vieta) om het correcte antwoord te herstellen.

Betekenis en Claims

Het artikel stelt dat DenoiseRL een schaalbaar en effectief alternatief pad biedt voor het verbeteren van redeneren in LLM's. De primaire betekenis ligt in:

1. Verminderde Afhankelijkheid: Het elimineert de behoefte aan dure data-curatie of sterkere leraarmodellen, en vertrouwt in plaats daarvan op het vermogen van het model om te leren van zijn eigen (en die van zwakkere modellen) fouten.
2. Schaalbaarheid: Door fouten van zwakke modellen om te zetten in gestructureerde verstoringen, verhoogt de methode automatisch de trainingsmoeilijkheid zonder nieuwe data te genereren.
3. Robuustheid: Het framework bevordert sterkere zelfcorrigerend gedrag, vooral naarmate de trainingsmoeilijkheid toeneemt, wat suggereert dat hersteltraining diepere redeneerdynamiek beïnvloedt die verder gaat dan simpele prestatie-metrics.

De auteurs concluderen dat modelfouten zelf kunnen dienen als een krachtige bron van leersignaal, wat een nieuw perspectief biedt op post-training voor redeneermodellen. Ze erkennen beperkingen, waarbij wordt opgemerkt dat de kwaliteit van het herstelsignaal afhankelijk is van de aard van de fouten van het zwakke model en dat excessieve corruptie kan leiden tot inefficiënte, overmatig lange redeneertrajecten.