Process Supervision via Verbal Critique Improves Reasoning in Large Language Models

Titel: Process Supervision via Verbal Critique Improves Reasoning in Large Language Models (VPS)

1. Het Probleem

De schaalvergroting van inferentie-rekenkracht (inference-time compute) voor redenering in Large Language Models (LLM's) heeft zich tot nu toe beperkt tot drie gevestigde assen:

1. Chain depth: Meer tokens per traject (Chain-of-Thought).
2. Sample breadth: Parallelle trajecten samengevoegd via meerderheidsstemming (Self-Consistency).
3. Learned step-scorers: Getrainde Process Reward Models (PRM's) die stap-voor-stap correctheid beoordelen.

De auteurs identificeren een vierde, grotendeels over het hoofd geziene as: de granulariteit van externe verbale supervisie. Bestaande methoden zoals Reflexion bieden vaak slechts feedback op het niveau van het eindresultaat (outcome-level), wat leidt tot een "credit assignment"-probleem: een fout in een tussenstap krijgt dezelfde kritiek als een fundamenteel verkeerde strategie. Er is behoefte aan een methode die geen extra training vereist, geen menselijke labels nodig heeft, maar wel gedetailleerde feedback biedt om redeneerfouten lokaal te corrigeren.

2. Methodologie: Verbal Process Supervision (VPS)

De paper introduceert Verbal Process Supervision (VPS), een training-vrij framework dat werkt tijdens de inferentie. Het systeem bestaat uit twee componenten:

• Actor ($\pi_\theta$): Het model dat het redeneertraject genereert.
• Supervisor ($C$): Een sterker model dat het traject evalueert en gestructureerde, natuurlijke taal-kritiek levert.

Het Proces (Generate-Critique-Refine):
In plaats van een scalair beloningssignaal (zoals bij RL), gebruikt VPS een verbale beloningsfunctie. Het proces verloopt als volgt:

1. De actor genereert een initiële traject $\tau_0$.
2. De supervisor genereert een gestructureerde kritiek $c$ op basis van het volledige traject en de input.
3. De actor genereert een nieuw, verfijnd traject $\tau_{r+1}$, voorwaardelijk op de vorige traject én de kritiek.
4. Dit iteratieve proces (loop) gaat door totdat een stop-criterium wordt bereikt of het maximale aantal rondes $R$ is bereikt.

Kernkenmerken:

• Geen gradiëntupdates: Het actor-model wordt niet getraind; verbetering komt puur voort uit conditionele regeneratie.
• Stap-geïndexeerde feedback: In tegenstelling tot Reflexion (outcome-level), geeft VPS feedback per stap, waardoor correcte sub-trajecten behouden blijven en fouten lokaal worden aangepakt.
• Zwartkist-compatibel: Werkt via API's zonder toegang tot interne gewichten.

3. Belangrijkste Bijdragen

1. Identificatie van een nieuwe as: De auteurs formaliseren "kritiek-granulariteit" als een distincte as voor inferentie-schaalvergroting, orthogonal aan diepte, breedte en geleerde scorers.
2. Formalisatie van VPS: Een taal-gebaseerde actor-critic update-operator die convergentie naar een vast punt ($\tau^*$) beschrijft zonder backpropagation.
3. Empirische validatie: Bewijs dat stap-niveau kritiek superieur is aan outcome-niveau kritiek en sample-aggregatie bij gelijkblijvende rekenkracht.
4. Regime-analyse: Karakterisering van een "weak-actor rescue"-regime en de correlatie tussen het vermogen van de supervisor en de winst (Pearson $r = +0.90$).

4. Resultaten

De methodologie werd getest op drie benchmarks: GPQA Diamond (wetenschappelijk redeneren), AIME 2025 (wiskunde) en LiveCodeBench V6 (programmeren), met verschillende modelparen (zowel gesloten-bron als open-weight).

• Overtreffing van de State-of-the-Art (SOTA):
  • Op GPQA Diamond bereikte de configuratie GPT-5.4 (High) | (Low) 94.9% bij $R=4$, wat de huidige SOTA van 94.1% overtreft. Dit werd bereikt puur via zelf-verfijning binnen dezelfde modelfamilie zonder gradiëntupdates.
• Sterke verbetering bij zwakke actoren (Rescue Regime):
  • Op AIME 2025 werden actoren die standalone slechts 11.7–26.7% scoorden, opgetrokken naar 63.3–90.0% (absolute winst tot +63.3 punten) onder supervisie van een sterker model.
• Vergelijking met Baselines (Gelijke Rekenkracht):
  • Tegen Reflexion: VPS presteerde +8.5 tot +12.1 punten beter dan Reflexion (outcome-level feedback) op alle drie de benchmarks. Dit isoleert "granulariteit" als de werkzame variabele, niet enkel het bestaan van verbale feedback.
  • Tegen Self-Consistency @ 5: VPS presteerde beter dan het samenvoegen van 5 parallelle trajecten (+5.0 pp op GPQA, +8.3 pp op LiveCodeBench), wat aantoont dat de winst niet simpelweg het gevolg is van extra rekenkracht.
• Beperkingen en Grenzen:
  • De effectiviteit is afhankelijk van het vermogensverschil tussen supervisor en actor. Als de actor al sterk is (bijv. >90%), kan VPS de prestaties zelfs verslechteren door "over-correctie" of distributieveranderingen.
  • Er is een principieel domeingrens bij code-synthese: Verbale kritiek werkt minder goed wanneer de fouten niet linguïstisch representabel zijn (bijv. runtime-fouten), maar eerder in het uitvoerbaar gedrag liggen.

5. Significantie en Conclusie

Dit paper vestigt kritiek-granulariteit als een fundamentele nieuwe dimensie voor het schalen van LLM-reasoning. Het bewijst dat:

1. Stap-voor-stap verbale feedback een krachtigere signaal is dan eindresultaat-feedback of puur extra rekenkracht.
2. Training-vrije verbetering mogelijk is door gebruik te maken van een sterker model als supervisor, wat de barrière voor toepassing verlaagt (geen data-labeling of fine-tuning nodig).
3. De methode een predictieve maatstaf biedt: de winst is sterk gecorreleerd met het "headroom" (het verschil in capaciteit) tussen supervisor en actor.

De auteurs concluderen dat de toekomst van dit domein ligt in hybride verbale-uitvoerbare supervisie, waarbij runtime-feedback (voor code) wordt gecombineerd met verbale kritiek om de huidige grenzen van taal-gebaseerde correctie te overwinnen.