Technische Samenvatting: Procesbeloningen met Geraande Betrouwbaarheid (BETAPRM)

1. Probleemstelling

Procesbeloningsmodellen (PRM's) leveren feedback op stapniveau voor redeneertaken, waarmee ze de selectie van kandidaten en de optimalisatie van het beleid sturen. Echter, bestaande PRM's geven doorgaans een enkele puntsschatting (bijvoorbeeld een scalair waarschijnlijkheidswaarde) voor elke redeneerstap. Deze interface kent twee kritieke beperkingen:

1. Gebrek aan Kwantificering van Onzekerheid: Een enkele scalair score kan geen onderscheid maken tussen een zeker voorspelling en een onzekere. Downstream-methoden worden gedwongen om imperfecte voorspellingen op stapniveau te behandelen als betrouwbare beslissingsignalen, zelfs wanneer de zekerheid van het model laag is.
2. Ruwe Supervisie met Beperkte Steekproeven: Standaard PRM-training vertrouwt vaak op Monte Carlo-continueringen om supervisie te genereren. Als $N$ continueringen worden bemonsterd vanuit een prefix en $K$ daarvan slagen, wordt de empirische verhouding $\hat{q} = K/N$ behandeld als een puntstreekpunt voor regressie. Echter, $\hat{q}$ is slechts een ruwe schatting van de ware succeswaarschijnlijkheid van de prefix. Herhaald bemonsteren vanuit dezelfde prefix kan door willekeurigheid leiden tot verschillende $K$-waarden, toch dwingt standaardtraining het model om deze specifieke ruwe verhouding te fitten in plaats van de onderliggende verdeling van mogelijke uitkomsten.

Bijgevolg kunnen downstream-toepassingen geen onderscheid maken tussen stappen met een hoge beloning die betrouwbaar correct zijn en die welke een hoge beloning hebben maar onzeker zijn, wat leidt tot suboptimale schaling tijdens het testen en toewijzing van rekenkracht.

2. Methodologie: BETAPRM

De auteurs stellen BETAPRM voor, een distributioneel procesbeloningsmodel dat zowel de succeswaarschijnlijkheid op stapniveau als de betrouwbaarheid van die voorspelling voorspelt.

2.1 Beta-Binomiaal Aantallenmodel

In plaats van te regresseren naar een puntstreekpunt $\hat{q} = K/N$, modelleert BETAPRM de succeswaarschijnlijkheid van de prefix $q_t$ als een latente variabele die een Beta-verdeling volgt:
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
Het waargenomen aantal succesvolle continueringen $K_t$ van $N$ proeven wordt gemodelleerd als een Binomiale trekking conditioned op $q_t$:
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
Door de latente $q_t$ te marginaliseren, leert het model een Beta-Binomiale verdeling over de waargenomen aantallen. Dit stelt het model in staat om waarschijnlijkheid toe te kennen aan het waargenomen aantal $K_t$ in plaats van gedwongen te worden om te fitten op de verhouding $K_t/N$.

2.2 Parameterisering

De Beta-verdeling wordt herparameteriseerd door zijn gemiddelde $\mu_t$ en concentratie $\kappa_t$:

• Gemiddelde ($\mu_t$): Vertegenwoordigt de verwachte succeswaarschijnlijkheid en dient als de standaard scalair PRM-score.
• Concentratie ($\kappa_t$): Beheerst de scherpte van de overtuiging. Een hoge $\kappa_t$ duidt op een geconcentreerde (betrouwbare) overtuiging, terwijl een lage $\kappa_t$ duidt op een afgevlakte (onzekere) overtuiging die een bredere reeks Monte Carlo-observaties kan verklaren.

De modelarchitectuur maakt gebruik van een standaard taalmodel-ruggengraat. Het gemiddelde $\mu_t$ wordt afgeleid uit de softmax-waarschijnlijkheid van een "Ja"-beloningstoken. De concentratie $\kappa_t$ wordt voorspeld door een apart lichtgewicht lineair hoofd dat wordt toegepast op de verborgen toestand bij de procesmarker, zodat de belonings- en betrouwbaarheidskanalen distinct blijven.

2.3 Trainingsdoel

De trainingsverlies bestaat uit twee componenten:

1. Beta-Binomiale Likelihood ($L_{\text{Beta-Binomial}}$): Maximaliseert de waarschijnlijkheid van het waargenomen aantal $K_t$ gegeven de voorspelde Beta-parameters. Dit moedigt het model aan om de verdeling van de waargenomen Monte Carlo-gegevens te verklaren.
2. Auxiliary Regularisatie ($L_{\text{reg}}$): Om te voorkomen dat de concentratieparameter ongecalibreerd wordt, straft een auxiliary loss hoge concentratie ($\kappa_t$) af wanneer het voorspelde gemiddelde $\mu_t$ niet overeenkomt met de waargenomen verhouding $K_t/N$. Cruciaal wordt in deze term een stop-gradient-operatie toegepast op $\mu_t$ om ervoor te zorgen dat de regularisator $\kappa_t$ kalibreert zonder het gemiddelde van de beloning naar de ruwe verhouding te trekken.

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. Toepassing: Adaptieve Toewijzing van Rekenkracht (ACA)

Gedreven door het geleerde betrouwbaarheidssignaal, introduceren de auteurs Adaptieve Toewijzing van Rekenkracht (ACA) voor door PRM's geleide Best-of-N-redenering. In tegenstelling tot Best-of-N met een vast budget, waarbij een constant aantal kandidaten wordt bemonsterd ongeacht de moeilijkheidsgraad, wijst ACA rekenkracht dynamisch toe:

• Risico-gecorrigeerde Score: Kandidaten worden gescoord met een risico-gecorrigeerde maatstaf $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$, waarbij $\sigma_t$ de standaardafwijking is die is afgeleid uit de Beta-verdeling. Dit straft kandidaten met hoge onzekerheid af.
• Vroegtijdige Stop: ACA bemonstert kandidaten in progressieve batches. Het stopt vroegtijdig als de ondergrens van het vertrouwen (LCB) van de huidige beste kandidaat de bovengrens van het vertrouwen (UCB) van alle concurrenten overschrijdt, wat aangeeft dat de winnaar betrouwbaar vooruitloopt.
• Onzekerheid-gestuurde Reparatie: Als het stopcriterium niet wordt bereikt, wijst ACA de volgende batch rekenkracht toe aan het repareren van de meest veelbelovende onzekere prefix (de niet-winnaar met de hoogste UCB), in plaats van volledig nieuwe kandidaten vanaf nul te genereren.

4. Experimentele Resultaten

De auteurs evalueerden BETAPRM over vier ruggengraatmodellen (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) en vier redeneerbenchmarks (MathVision, OlympiadBench, MathVerse, MathVista).

• Best-of-N Selectie: BETAPRM verbeterde de nauwkeurigheid van het eindantwoord ten opzichte van standaard PRM's over alle ruggengraten. Bijvoorbeeld, op InternVL2.5-8B behaalde BETAPRM een gemiddelde winst van +3,37 punten ten opzichte van de standaard PRM.
• Foutdetectie: BETAPRM behield de standaard capaciteiten voor foutdetectie op stapniveau en behaalde vergelijkbare of iets betere micro-F1-scores op VisualProcessBench in vergelijking met standaard PRM's.
• Nauwkeurigheid-Token Trade-off: In de ACA-instelling (vast maximumbudget $N=16$) verbeterde BETAPRM de efficiëntie van inferentie aanzienlijk.
  • Het verminderde het tokengebruik met tot 33,57% (op MathVerse met InternVL2.5-8B) terwijl het tegelijkertijd de nauwkeurigheid van het eindantwoord verbeterde in vergelijking met Best-of-16 met een vast budget.
  • Ablatiestudies bevestigden dat het geleerde onzekerheidssignaal van BETAPRM superieur was aan het gebruik van een standaard PRM met proxy-onzekerheid of alleen beloningsgebaseerde toewijzing, aangezien de laatstgenoemde het niet kon identificeren waar extra rekenkracht noodzakelijk was ondanks hoge scores.

5. Betekenis en Claims

Het artikel beweert dat BETAPRM een fundamentele mismatch in huidige PRM-interfaces aanpakt: het onvermogen om onderscheid te maken tussen betrouwbare en onzekere voorspellingen. Door de succeswaarschijnlijkheid van de prefix te modelleren als een verdeling in plaats van een puntsschatting, doet BETAPRM het volgende:

1. Maakt Betrouwbare Besluitvorming Mogelijk: Downstream-algoritmen kunnen nu zeker beloningen onderscheiden van onzekere, waardoor onbetrouwbare scores beslissingen niet dicteren.
2. Verbeterd Efficiëntie tijdens het Testen: Het geleerde betrouwbaarheidssignaal maakt adaptieve toewijzing van rekenkracht mogelijk, wat inferentiekosten (tokens) verlaagt zonder nauwkeurigheid te offeren, en deze vaak zelfs verbetert.
3. Beter Gebruik van Supervisie: Het Beta-Binomiale doel maakt effectief gebruik van het karakter van Monte Carlo-supervisie met beperkte steekproeven, waarbij het aantal $K$ wordt behandeld als een stochastische observatie in plaats van een deterministisch label.

De auteurs concluderen dat het omzetten van scalair procesbeloningen in betrouwbaarheidsbewuste signalen een cruciale stap is voor het schalen van rekenkracht tijdens het testen en het verbeteren van de robuustheid van redeneersystemen.