Technische Samenvatting: Schalen van Rekenkracht tijdens Evaluatie met Redenerende Modellen als Evaluatoren

Probleemstelling

Het artikel adresseert een lacune in het huidige paradigma van de ontwikkeling van Large Language Models (LM). Hoewel het goed gevestigd is dat het schalen van "rekenkracht tijdens het testen" (bijvoorbeeld het genereren van lange chains-of-thought, CoT, of het bemonsteren van meerdere kandidaten) de probleemoplossende capaciteiten van generators aanzienlijk verbetert, blijft het onduidelijk of dit schaalingsprincipe ook van toepassing is op evaluatoren. Huidige evaluatoren vertrouwen vaak op directe scoring (Outcome Reward Models, ORMs) of korte CoT-redenering (Process Reward Models, PRMs) zonder de beschikbare rekenkracht tijdens de inferentie volledig te benutten. De auteurs vragen zich af: Kan het evaluatievermogen van een LM worden verbeterd door rekenkracht tijdens het testen te schalen, en kan deze verbeterde evaluatie vervolgens de prestaties van de generator versterken?

Methodologie

De auteurs stellen een raamwerk voor voor Schalen tijdens Evaluatie met behulp van Redenerende Evaluatoren. In tegenstelling tot traditionele directe evaluatoren die scores voorspellen zonder redenering, of fijngefineerde generatieve evaluatoren met korte CoTs, zijn redenerende evaluatoren kant-en-klare redenerende modellen (getraind via RL of distillatie om lange CoTs te produceren) die worden geprompt om als beoordelaars op te treden.

De methodologie omvat drie kerncomponenten:

1. Redenerende Outcome-evaluatoren: Het model genereert een lange CoT om het volledige antwoord te analyseren voordat het een correctheidsscore (0 of 1) voorspelt. De score wordt afgeleid van de logits van de voorspellingstokens.
2. Redenerende Proces-evaluatoren: Het model evalueert het antwoord stap voor stap.
   • Meerstaps-evaluatie: In plaats van één CoT te genereren voor het hele antwoord, beoordeelt de evaluator elke redeneerstap individueel, waarbij voor elke stap een afzonderlijke CoT en beoordeling wordt gegenereerd.
   • Modelgebaseerde splitsing: Om ongestructureerde outputs (bijvoorbeeld code) te verwerken, gebruiken de auteurs een LM om [SPLIT]-markeringen tussen stappen in te voegen, in plaats van te vertrouwen op heuristische splitsing op basis van regeleinden.
   • Aggregatie: Stap-voor-stap scores worden geaggregeerd met behulp van een mean_logit-functie in plaats van een eenvoudig minimum, wat in experimenten effectiever bleek.
3. Gecombineerde Evaluatie: De uiteindelijke score is een gewogen interpolatie van de outcome-score en de geaggregeerde proces-score ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), waarbij $\alpha=0.5$ wordt gebruikt om beide signalen in evenwicht te brengen.

De auteurs vergelijken deze redenerende evaluatoren met:

• Directe Evaluatoren: Standaard PRMs en ORMs die direct scores voorspellen zonder CoT.
• Eenstaps-redenerende Evaluatoren: Modellen die één CoT genereren om alle stappen simultaan te beoordelen (een ablatie van hun voorgestelde methode).

Belangrijkste Bijdragen

1. Demonstratie van Schalen tijdens Evaluatie: Het artikel stelt vast dat het dwingen van evaluatoren om meer redeneertokens te genereren (schalen van rekenkracht tijdens evaluatie) leidt tot monotoon verbeteringen in de evaluatieprestaties.
2. Superioriteit van Meerstaps Procesevaluatie: De auteurs tonen aan dat het individueel evalueren van elke stap (meerstaps) aanzienlijk effectiever is dan eenstaps-evaluatie of zelfconsistentie (het genereren van meerdere CoTs voor dezelfde taak) onder vaste rekenbudgetten.
3. Zero-Shot Prestaties: Redenerende evaluatoren, die niet expliciet zijn getraind als evaluatoren, presteren beter dan state-of-the-art, zwaar fijngefineerde PRMs (bijvoorbeeld een 32B redenerende evaluator presteert beter dan een 72B PRM op ProcessBench) uitsluitend door schalen tijdens het testen.
4. Generatorverbetering via Evaluatie: Het artikel toont aan dat het toewijzen van meer rekenkracht aan evaluatie (met behulp van Best-of-8 met redenerende evaluatoren) betere generatorprestaties oplevert dan het toewijzen van datzelfde rekenbudget aan het genereren van meer kandidaten (Best-of-64 met directe evaluatoren). Dit suggereert dat een sterkere, rekenkrachtintensievere evaluator "over-optimisatie van het reward model" mitigeert.

Experimentele Resultaten

Procesevaluatie (ProcessBench)

• Maatstaf: F1-score bij het identificeren van de eerste foutieve stap in een oplossing.
• Vondsten:
  • Redenerende modellen (bijvoorbeeld DeepSeek-R1-Distill-Qwen-32B) presteren aanzienlijk beter dan instructie-getrainde modellen van vergelijkbare of grotere grootte.
  • Meerstaps versus Eenstaps: Meerstaps procesevaluatie levert aanzienlijke winsten op ten opzichte van eenstaps-methoden. Bijvoorbeeld, het 32B redenerende model behaalde een F1 van 78,6 met meerstaps-evaluatie, en overtrof hiermee de 72B Qwen2.5-Math-PRM (78,3), die de vorige state-of-the-art was.
  • Zelfconsistentie: Hoewel zelfconsistentie helpt, biedt meerstaps-evaluatie complementaire voordelen. Het combineren van beide levert de hoogste scores op (bijvoorbeeld 82,8 voor het 32B-model).

Probleemoplossing (Best-of-N Sampling)

• Instelling: Generators (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) genereren $N$ antwoorden. Evaluatoren rangschikken deze.
• Vergelijking: Redenerende evaluatoren (Best-of-8) versus directe evaluatoren (Best-of-64) onder een vast totaal rekenbudget.
• Vondsten:
  • Redenerende evaluatoren die Best-of-8 gebruiken, presteren beter dan directe evaluatoren die Best-of-64 gebruiken, met 4,30% tot 6,63% over benchmarks (AIME, MATH, LeetCode, enz.).
  • Codeprestaties: Redenerende evaluatoren tonen bijzonder sterke winsten op coderingstaken (LeetCode), waar directe PRMs vaak lijden onder over-optimisatie en slechte domeinoverdracht.
  • Gecombineerde Scores: Het integreren van proces- en outcome-scores verhoogt de prestaties verder en fungeert als een beslissingsfactor voor antwoorden die door outcome-evaluatoren niet kunnen worden onderscheiden.

Zelfevaluatie

• Het artikel onderzoekt ook het gebruik van een redenerend model om zijn eigen outputs te genereren en te evalueren. De resultaten geven aan dat redenerende modellen zichzelf effectief kunnen evalueren, een significant deel van de kloof tussen hun Best-of-1 en oracle-prestaties kunnen herstellen, en vaak beter presteren dan instructie-getrainde generators die door hetzelfde redenerende model worden geëvalueerd.

Betekenis en Claims

Het artikel beweert dat schalen tijdens evaluatie een levensvatbare en krachtige strategie is die parallel loopt aan schalen tijdens het testen voor generators. De primaire betekenis ligt in de bevinding dat meer rekenkracht besteden aan evaluatie effectiever kan zijn dan het besteden aan generatie voor een vast budget.

De auteurs betogen dat:

1. Redeneercapaciteit Overgaat: Het vermogen om te redeneren (via lange CoT) niet alleen bedoeld is voor het oplossen van problemen, maar inherent is aan hoogwaardige evaluatie.
2. Robuustheid: Redenerende evaluatoren zijn minder vatbaar voor over-optimisatie van reward modellen, waardoor ze robuustere signalen bieden voor het selecteren van de beste kandidaat.
3. Generalisatie: Deze aanpak werkt over wiskunde- en code-domeinen heen en strekt zich zelfs uit tot niet-redenerende modellen wanneer deze worden geprompt om stap voor stap te evalueren.

Het artikel concludeert dat, hoewel huidige redenerende evaluatoren niet expliciet zijn getraind voor evaluatie, hun native redeneerpatronen (zelfverificatie, teruglopen) hen tot superieure beoordelaars maken. Er wordt voorgesteld om in toekomstig werk te onderzoeken hoe deze modellen specifiek als evaluatoren kunnen worden getraind en hoe de methodologie kan worden uitgebreid naar niet-verifieerbare taken zoals creatief schrijven.