💻 computer science

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Dit artikel daagt de conventionele wijsheid uit dat fijnmazige procesbeloningsmodellen superieur zijn door een verenigde evaluatie over 14 domeinen te presenteren, die onthult dat generatieve resultaatbeloningsmodellen (gORM) de meest robuuste en consistente presteerders zijn, terwijl stapsgewijze generatieve procesmodellen lijden onder foutstapeling door labelruis.

Oorspronkelijke auteurs: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij ingewikkelde puzzels moet oplossen. Je wilt niet alleen dat de robot het juiste antwoord vindt; je wilt ook weten hoe hij daar gekomen is. Heeft hij een kortere weg genomen? Heeft hij een fout gemaakt, die hij besefte en daarna herstelde? Of heeft hij gewoon gegokt en geluk gehad?

Om de robot te helpen leren, gebruiken we een "Reward Model" — denk aan een strenge leraar die het werk van de robot beoordeelt. Lange tijd waren de slimste leraren in de wiskundewereld Process Reward Models (PRMs). Deze leraren beoordeelden elke stap in het denkproces van de robot. Als de robot in stap 3 een klein foutje maakte, stopte de leraar en zei: "Game over, dit is fout!" Het idee was dat het beoordelen van elke stap als een vergrootglas werkte; het leek de meest gedetailleerde, nuttige manier om te leren.

Maar hier komt de wending: dit artikel suggereert dat voor de meeste echte puzzels (zoals recht, geneeskunde of algemene kennis), dat vergrootglas de leraar juist blind kan maken.

Het Grote Experiment: 14 Verschillende Werelden

De onderzoekers keken niet alleen naar wiskundeproblemen. Ze testten vier verschillende soorten "leraren" over 14 diverse domeinen (waaronder recht, biologie, geschiedenis en psychologie). Ze wilden zien welke leraar het beste was in het helpen van de robot om de beste oplossing te kiezen uit een reeks gissingen.

De vier leraren waren:

De Final-Answer Grader (dORM): Kijkt alleen naar het eindresultaat. "Heb je het juiste antwoord? Ja/Nee."
De Step-by-Step Grader (dPRM): Controleert elke stap. "Stap 1 is goed, stap 2 is slecht, STOP."
De Chatbot Final-Answer Grader (gORM): Een slimme AI die een korte uitleg schrijft en een definitief oordeel geeft.
De Chatbot Step-by-Step Grader (gPRM): Een slimme AI die voor elke stap een uitleg schrijft en deze stap voor stap beoordeelt.

De Verrassende Resultaten

In de wereld van de wiskunde winnen de Step-by-Step leraren (PRMs) meestal. Maar wanneer de onderzoekers overstapten naar de andere 13 domeinen, draaide de uitslag volledig om:

De "Step-by-Step" Chatbot (gPRM) was de slechtste. Het had moeite om het bij te houden.
De "Step-by-Step" menselijke leraar (dPRM) was slechts oké. Het presteerde ongeveer hetzelfde als de eenvoudige Final-Answer grader.
De "Chatbot Final-Answer" leraar (gORM) was de kampioen. Het was de meest robuuste, met consistente verbeteringen in elk getest domein.

Waarom faalden de Step-by-Step leraren?

Het artikel biedt twee belangrijke redenen voor, en die zijn behoorlijk slim.

1. Het "Aha!"-moment Probleem
Stel je een robot voor die een puzzel oplost. Hij maakt een fout in stap 2, maar realiseert zich dan: "O nee, ik heb een fout gemaakt!" en herstelt dit in stap 3, om uiteindelijk het juiste antwoord te krijgen. Dit wordt een "Aha!"-moment genoemd.

Het PRM-probleem: De Step-by-Step leraren zijn getraind om te denken dat als één stap fout is, het hele proces fout is. Ze zijn als een scheidsrechter die de fluit blaast zodra een speler struikelt, zelfs als de speler direct weer opstaat en het winnende doelpunt scoort. Het artikel laat zien dat deze leraren in deze multi-domein tests vaak de "Aha!"-herstelmomenten missen omdat ze te vroeg stoppen met beoordelen.
Het Lengte-probleem: Hoe langer de denkketen van de robot wordt, hoe groter de kans dat de Step-by-Step leraar een fout maakt in zijn eigen beoordeling. Het artikel suggereert dat naarmate de keten van redenering langer wordt, de fout in de score van de Step-by-Step leraar groter wordt, waardoor het minder betrouwbaar is.

2. De "Noisy Label" Valstrik
In de wiskunde hebben we perfecte menselijke leraren die elke stap perfect kunnen beoordelen. Maar in het recht of de geneeskunde is het te duur om mensen in te huren om elke stap van het denken van een robot te beoordelen. Daarom gebruiken we andere AI's om de stappen automatisch te beoordelen.

Het probleem: Deze automatische beoordelaars maken fouten (ruis). Het artikel vond dat de Step-by-Step leraren erg gevoelig zijn voor deze fouten. Als de automatische beoordelaar zegt "Stap 3 is fout" terwijl het eigenlijk goed is, raakt de Step-by-Step leraar in de war en faalt hij.
De winnaar: De Final-Answer leraren (vooral de chatbot-versie, gORM) zijn veel taaier. Ze kunnen de kleine ruis in het midden negeren en zich concentreren op de vraag of het eindresultaat logisch is.

De "Consensus Filter" Glitch

Er is nog een reden waarom de Step-by-Step Chatbot (gPRM) faalde. Om deze te trainen, gebruikten de onderzoekers een methode genaamd "consensus filtering". Ze vroegen de AI om zijn eigen stappen te beoordelen, maar als de beoordeling van de AI niet overeenkwam met de "ground truth" (het antwoordmodel), gooiden ze die data weg.

Het resultaat: Dit proces gooide per ongeluk alle lange, ingewikkelde "Aha!"-stijl denkketens weg. Het liet de leraar achter met alleen korte, eenvoudige voorbeelden om van te leren. Wanneer de leraar later een lange, complexe puzzel probeerde te beoordelen in de echte wereld, was hij totaal niet voorbereid. Het artikel laat zien dat de trainingsdata voor deze leraar heel anders was dan de testdata; alsoals je een student alleen met 5e-klas wiskunde onderwijdt en hem daarna test op calculus van de bovenbouw.

De Belangrijkste Les

Als je een systeem bouwt om robots te helpen nadenken over complexe, echte problemen (zoals juridische zaken of medisch advies), ga dan niet obsessief elke individuele stap te beoordelen.

Het artikel suggereert dat een Generative Outcome Reward Model (gORM) — een slimme AI die zijn redenering uitlegt en een definitief "Ja/Nee"-oordeel geeft over de gehele oplossing — het meest betrouwbare hulpmiddel is. Het is robuust, gaat beter om met lange denkketens en wordt niet uit balans gebracht door ruizige data.

Hoewel de Step-by-Step leraren (PRMs) geweldig zijn voor wiskunde waar we perfecte labels en korte problemen hebben, betoogt het artikel dat voor de rommelige, lange en complexe echte wereld, de "Grote Plaatje" leraar (gORM) degene is die je aan je zijde wilt hebben.

Technische Samenvatting: Heroverweging van Beloningsmodellen voor Multi-domein Test-Time Scaling

Probleemstelling

Test-time scaling (TTS) stelt Large Language Models (LLMs) in staat om de betrouwbaarheid te verbeteren door meerdere redeneerpaden (CoTs) te genereren en de beste kandidaat te selecteren met behulp van externe verifiers. Hoewel Outcome Reward Models (ORMs) en Process Reward Models (PRMs) succes hebben getoond in wiskunde-gerelateerde domeinen, blijft hun effectiviteit in bredere, hoog-risico domeinen (bijv. juridisch, medisch) onderbelicht. Bovendien is de vergelijkende prestatie van discriminatieve versus generatieve verifier-architecturen in deze multi-domein instellingen onduidelijk. De bestaande literatuur gaat er vaak van uit dat fijne-graad proces-supervisie (PRMs) universeel superieur is, maar deze aanname rust zwaar op wiskunde-specifieke datasets met hoogwaardige handmatige annotaties.

Methodologie

De auteurs presenteren de eerste verenigde, gecontroleerde evaluatie van vier beloningsmodel-varianten over 14 diverse domeinen (waaronder MMLU-Pro, GPQA-Diamond, MedQA en LEXam). De vier varianten zijn:

dORM (Discriminatieve ORM): Een classifier die alleen getraind is op outcome-labels (correct/incorrect eindantwoord).
dPRM (Discriminatieve PRM): Een classifier die getraind is op stap-niveau proces-labels, waarbij scores (meestal via het minimum) worden geaggregeerd om de correctheid van een traject te bepalen.
gORM (Generatieve ORM): Een LLM die gefinetuned is om een verificatie-CoT en een binair oordeel ("Ja"/"Nee") te genereren, getraind via consensus filtering waarbij het gegenereerde oordeel overeenkomt met de ground-truth outcome.
gPRM (Generatieve PRM): Een LLM die gefinetuned is om stap-gewijze verificatie-rationales en proces-oordelen te genereren, eveneens getraind via consensus filtering.

Experimentele Opzet:

Domeinen: Wiskunde (PRM800K, ProcessBench) en Multi-domein/Gespecialiseerd (MMLU-Pro, GPQA-Diamond, MedQA, LEXam).
Trainingsdata: Wiskunde-labels waren handmatig geannoteerd; multi-domein proces-labels werden automatisch gegenereerd door LLM's (wat potentiële ruis introduceert).
Evaluatie: De modellen werden gebruikt als verifiers in een Best-of-N (BoN) selectiekader, waarbij $N$ CoTs worden gegenereerd en de CoT met de hoogste beloningsscore wordt geselecteerd.
Analyse: De auteurs voerden een theoretische analyse uit naar foutmarges relatief aan de CoT-lengte en een empirische analyse naar de gevoeligheid voor labelruis en distributieverschuivingen veroorzaakt door consensus filtering.

Belangrijkste Bijdragen

Verenigde Multi-domein Evaluatie: Het artikel biedt de eerste gecontroleerde vergelijking van dORM, dPRM, gORM en gPRM over 14 domeinen, waarmee de wiskunde-gecentreerde focus van eerder werk wordt overstegen.
Contraintuïtieve Bevindingen: De studie daagt de conventionele wijsheid uit dat PRMs altijd superieur zijn. Het vindt dat in multi-domein instellingen:
- dORM op gelijke hoogte presteert met dPRM.
- gPRM niet competitief is en vaak onderpresteert ten opzichte van andere varianten.
- gORM de meest robuuste is, wat significante en consistente winsten oplevert in elk geteste domein.
Theoretische en Empirische Analyse van Foutmodi:
- CoT Lengte Risico: De auteurs bewijzen (Theorema 4.2 & 4.3) dat de log-fout ondergrens voor PRMs lineair groeit met de CoT-lengte ( $T$ ), terwijl de ORM foutmarges onafhankelijk blijven van $T$ . Empirisch gezien verslechtert de PRM-prestatie naarmate CoTs langer worden, waarbij ze met name falen in het herkennen van "aha"-momenten (trajecten die herstellen van vroege fouten).
- Labelruis en Distributieverschuiving: In multi-domein instellingen introduceert de afhankelijkheid van LLM-gebaseerde auto-labeling ruis. De auteurs demonstreren dat gPRM lijdt onder een ernstige distributieverschuiving in CoT-lengte door consensus filtering, wat lange, complexe redeneerketens wegfiltert, wat leidt tot een mismatch tussen trainings- en testdistributies.

Resultaten

Wiskunde Domein: Resultaten komen overeen met eerder werk: dPRM presteert beter dan dORM, en generatieve modellen (gORM/gPRM) presteren over het algemeen beter dan discriminatieve modellen.
Multi-domein & Gespecialiseerde Domeinen:
- dORM vs. dPRM: dORM bereikt een prestatie vergelijkbaar met dPRM, wat suggereert dat outcome-niveau supervisie voldoende is wanneer proces-labels ruisig zijn of domeinen divers zijn.
- gORM Superioriteit: gORM presteert consistent beter dan alle andere varianten, inclusief gPRM.
- gPRM Falen: gPRM is niet competitief, grotendeels door de stapeling van fouten in stap-gewijze scoring en het onvermogen om lange, zelf-corrigerende redeneertrajecten aan te kunnen.
Robuustheid: gORM vertoont een superieure robuustheid tegen labelruis en variërende CoT-lengtes vergeleken met de PRM-varianten.

Betekenis en Claims

Het artikel betoogt dat de aanname "fijnmazige supervisie is altijd beter" niet standhoudt in multi-domein instellingen. De auteurs claimen dat generatieve outcome verificatie (gORM) de meest betrouwbare strategie is voor het inzetten van TTS in diverse, hoog-risico domeinen.

Belangrijke implicaties die door de auteurs worden benadrukt:

Heroverweging van PRMs: Het stap-gewijze aggregatiemechanisme in PRMs stapelt fouten op naarmate de redeneerlengte toeneemt, waardoor ze ongeschikt zijn voor domeinen waar lang, complex redeneren (inclusief zelfcorrectie) gebruikelijk is.
Praktische Richtlijnen: De auteurs geven specifieke aanbevelingen:
- Gebruik gORM voor gemengde/verschuivende domeinen, lange CoTs, of wanneer betrouwbaarheid essentieel is (bijv. medisch/juridisch).
- Gebruik dORM/dPRM alleen wanneer CoTs kort zijn, labels schoon zijn en er strikte latency/compute budgetten bestaan.
- Vermijd gPRM in multi-domein instellingen vanwege de gevoeligheid voor lengtedistributieverschuivingen en labelruis.

Het werk concludeert dat voor multi-domein deployment, generatieve outcome verificatie een robuustere en consistentere weg vooruit biedt dan proces-gebaseerde supervisie, wat de heersende trend naar granulaire proces-labeling in complexe redeneertaken uitdaagt.