💬 NLP

Process Rewards with Learned Reliability

Dieser Beitrag stellt BetaPRM vor, ein verteiltes Prozess-Reward-Modell, das sowohl Erfolgswahrscheinlichkeiten auf Schrittebene als auch deren Zuverlässigkeit vorhersagt, um eine adaptive Berechnungszuweisung zu ermöglichen, die den Genauigkeit-Token-Tradeoff beim Best-of-N-Reasoning durch dynamische Anpassung der Berechnung basierend auf der Vorhersagezuverlässigkeit erheblich verbessert.

Ursprüngliche Autoren: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einen langen, mehrstufigen Mathematik-Essay eines Schülers bewertet. Sie möchten zu jedem einzelnen Schritt Feedback geben, nicht nur zur endgültigen Antwort. Genau das tun Process Reward Models (PRMs) für KI: Sie fungieren als Schritt-für-Schritt-Trainer und sagen der KI: „Gute Arbeit bei Schritt 1" oder „Das sieht bei Schritt 2 falsch aus."

Allerdings weist die Studie einen Mangel in der aktuellen Funktionsweise dieser Trainer auf. Sie geben eine einzelne Zahl (wie eine Note von 8/10) aus und tun so, als wäre diese Zahl zu 100 % sicher. In Wirklichkeit könnte der Trainer jedoch raten. Wenn die KI einen seltsamen Pfad einschlägt, der gut aussieht, aber möglicherweise in eine Sackgasse führt, gibt der alte Trainer ihm dennoch eine hohe Bewertung, und die KI vertraut ihr blind.

Die Autoren schlagen einen neuen Trainer namens BETAPRM vor, der nicht nur eine Note vergibt, sondern eine Note und ein Konfidenzniveau liefert.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der „rätsende" Trainer

Stellen Sie sich vor, Sie versuchen vorherzusagen, ob ein Münzwurf Kopf oder Zahl zeigt.

Alte Methode (Standard-PRM): Sie werfen die Münze 8 Mal, und sie landet 5 Mal auf Kopf. Der alte Trainer sagt: „Die Wahrscheinlichkeit beträgt exakt 62,5 %." Er behandelt diese kleine Stichprobe als perfekte, unveränderliche Tatsache.
Das Problem: Wenn Sie die Münze erneut 8 Mal werfen, könnten Sie 4 oder 6 Köpfe erhalten. Der alte Trainer weiß das nicht. Er behandelt die „62,5 %" als harte Tatsache, obwohl sie auf einer winzigen, verrauschten Stichprobe basiert. Dies führt dazu, dass die KI in unsicheren Situationen übermäßig selbstbewusst ist.

2. Die Lösung: Der „ehrliche" Trainer (BETAPRM)

BETAPRM ändert das Spiel. Anstatt eine einzelne Zahl zu nennen, gibt es einen Bereich möglicher Werte an und sagt Ihnen, wie sicher es bezüglich dieses Bereichs ist.

Die Analogie: Stellen Sie sich vor, der Trainer hält ein Gummiband.
- Die Mitte des Bandes: Dies ist die vorhergesagte Note (z. B. „Dieser Schritt sieht zu 70 % korrekt aus").
- Die Spannung des Bandes: Dies ist die Zuverlässigkeit.
  - Straffes Band (Hohe Konfidenz): Der Trainer ist sich sehr sicher. Das Gummiband ist straff um die 70 %-Marke gespannt. Wenn Sie die Münze erneut werfen, wird sie wahrscheinlich nahe bei 70 % bleiben.
  - Loses Band (Niedrige Konfidenz): Der Trainer ist unsicher. Das Gummiband ist weit gedehnt und deckt alles von 40 % bis 90 % ab. Der Trainer sagt: „Ich denke, es sind 70 %, aber ich könnte völlig danebenliegen."

Indem es diese „Spannung" lernt (die die Studie Konzentration nennt), lernt das Modell zu sagen: „Ich bin bei diesem Schritt zuversichtlich" oder „Ich rate hier nur, also vertrauen Sie mir nicht zu sehr."

3. Wie es lernt: Das „Monte-Carlo"-Training

Wie lernt der Trainer, ehrlich zu sein?

Die Studie verwendet eine Methode namens Monte-Carlo-Fortsetzungen. Stellen Sie sich vor, die KI versucht, ein Problem zu lösen, hält bei Schritt 3 an und versucht dann, das Problem von genau diesem Punkt aus 16 verschiedene Male zu Ende zu führen.
Einige dieser 16 Versuche gelingen; einige scheitern.
Alter Trainer: Betrachtet die 16 Versuche, zählt die Erfolge (sagen wir, 10) und merkt sich „10/16 = 0,625" als absolute Wahrheit.
BETAPRM: Betrachtet die 16 Versuche und denkt: „Okay, ich habe 10 Erfolge gesehen. Das ist ein gutes Zeichen, aber da ich nur 16 Versuche gesehen habe, gibt es viel Zufall. Ich sollte mein Gummiband locker halten, um dieses Rauschen zu berücksichtigen."

Es verwendet ein mathematisches Werkzeug namens Beta-Binomial-Verteilung, um dieses Gleichgewicht zwischen der Note und der Unsicherheit zu erlernen.

4. Die Superkraft: Adaptive Berechnung (ACA)

Die Studie stellt eine neue Art vor, diesen „ehrlichen Trainer" einzusetzen, genannt Adaptive Computation Allocation (ACA).

Stellen Sie sich dies wie ein Budget für eine Roadtrip vor. Sie haben eine feste Menge an Benzin (oder Geld), um die beste Route zu finden.

Der alte Weg (Festes Budget): Sie schicken 16 verschiedene Autos los, um die beste Route zu finden, egal was passiert. Selbst wenn Auto #1 nach der ersten Meile klar der Gewinner ist, schicken Sie trotzdem die anderen 15 Autos los, nur um auf der sicheren Seite zu sein. Das verschwendet Benzin.
Der neue Weg (ACA):
1. Sie schicken eine kleine Gruppe von Autos los (sagen wir, 4).
2. Sie prüfen den „ehrlichen Trainer" (BETAPRM).
3. Szenario A (Hohe Konfidenz): Der Trainer sagt: „Auto #1 ist der Gewinner, und ich bin sehr zuversichtlich (straffes Gummiband), dass kein anderes Auto es schlagen kann."
  - Aktion: Sofort stoppen! Benzin sparen. Sie müssen die anderen 12 Autos nicht loschicken.
4. Szenario B (Niedrige Konfidenz): Der Trainer sagt: „Auto #1 sieht gut aus, aber mein Gummiband ist locker. Ich bin mir nicht sicher, ob Auto #2 oder #3 tatsächlich besser sein könnten."
  - Aktion: Nicht stoppen. Schicken Sie mehr Autos los, um die unsicheren Pfade zu erkunden.

Die Ergebnisse

Die Studie testete dies an vier verschiedenen KI-Modellen und vier mathematischen Benchmarks.

Bessere Auswahl: Indem es den „straffen Gummiband"-Noten mehr vertraut, wählte die KI häufiger die richtigen Antworten als die alte Methode.
Benzin sparen: Die neue Methode (ACA) sparte bis zu 33,57 % der für die Problemlösung benötigten Rechenleistung (Tokens). Sie hörte auf, Zeit bei Problemen zu verschwenden, bei denen die Antwort bereits offensichtlich war, und verbrachte nur dann zusätzliche Zeit, wenn sie tatsächlich unsicher war.

Zusammenfassung

BETAPRM ist ein klügerer Trainer, der nicht nur eine Note gibt; er sagt Ihnen, wie sehr Sie dieser Note vertrauen sollten. Indem es weiß, wann es nur rät, kann die KI aufhören, Energie bei einfachen Problemen zu verschwenden, und konzentriert ihre Rechenkraft nur auf die schwierigen, unsicheren.

Technischer Überblick: Prozessbelohnungen mit gelernter Zuverlässigkeit (BETAPRM)

1. Problemstellung

Prozessbelohnungsmodelle (PRMs) liefern Feedback auf Ebene der einzelnen Schritte für推理aufgaben, steuern die Kandidatenauswahl und die Policy-Optimierung. Herkömmliche PRMs geben jedoch typischerweise für jeden推理schritt eine einzelne Punktschätzung (z. B. eine skalare Wahrscheinlichkeit) aus. Diese Schnittstelle weist zwei kritische Einschränkungen auf:

Fehlende Quantifizierung der Unsicherheit: Ein einzelner Skalarwert kann nicht zwischen einer sicheren Vorhersage und einer unsicheren unterscheiden. Nachgelagerte Methoden sind gezwungen, unvollkommene schrittweise Vorhersagen als zuverlässige Entscheidungssignale zu behandeln, selbst wenn das Vertrauen des Modells gering ist.
Verrauschte Supervision mit endlicher Stichprobe: Das Standardtraining von PRMs stützt sich häufig auf Monte-Carlo-Fortsetzungen zur Generierung von Supervision. Wenn $N$ Fortsetzungen aus einem Präfix gesampelt werden und $K$ davon erfolgreich sind, wird das empirische Verhältnis $\hat{q} = K/N$ als Punktziel für die Regression behandelt. Allerdings ist $\hat{q}$ lediglich eine verrauschte Schätzung der wahren Erfolgswahrscheinlichkeit des Präfixes. Wiederholtes Sampling aus demselben Präfix könnte aufgrund von Zufälligkeit zu unterschiedlichen $K$ -Werten führen, doch zwingt das Standardtraining das Modell, sich an dieses spezifische verrauschte Verhältnis anzupassen, anstatt an die zugrunde liegende Verteilung möglicher Ergebnisse.

Folglich können nachgelagerte Anwendungen nicht zwischen hochbelohnten Schritten, die zuverlässig korrekt sind, und solchen unterscheiden, die zwar hoch belohnt, aber unsicher sind. Dies führt zu suboptimaler Skalierung zur Laufzeit und ineffizienter Allokation von Rechenressourcen.

2. Methodik: BETAPRM

Die Autoren schlagen BETAPRM vor, ein distributionales Prozessbelohnungsmodell, das sowohl die Erfolgswahrscheinlichkeit auf Schrittebene als auch die Zuverlässigkeit dieser Vorhersage vorhersagt.

2.1 Beta-Binomial-Zählmodell

Anstatt auf ein Punktziel $\hat{q} = K/N$ zu regressieren, modelliert BETAPRM die Erfolgswahrscheinlichkeit des Präfixes $q_t$ als latente Variable, die einer Beta-Verteilung folgt:
$q_t \sim \text{Beta}(\alpha_t, \beta_t)$
Die beobachtete Anzahl erfolgreicher Fortsetzungen $K_t$ aus $N$ Versuchen wird als Binomial-Ziehung modelliert, die von $q_t$ bedingt ist:
$K_t | q_t \sim \text{Binomial}(N, q_t)$
Durch Marginalisierung der latenten Variable $q_t$ lernt das Modell eine Beta-Binomial-Verteilung über die beobachteten Zählwerte. Dies ermöglicht dem Modell, eine Likelihood für die beobachtete Zählung $K_t$ zuzuweisen, anstatt eine Anpassung an das Verhältnis $K_t/N$ zu erzwingen.

2.2 Parametrisierung

Die Beta-Verteilung wird durch ihren Mittelwert $\mu_t$ und ihre Konzentration $\kappa_t$ reparametrisiert:

Mittelwert ( $\mu_t$ ): Repräsentiert die erwartete Erfolgswahrscheinlichkeit und dient als standardmäßiger skalärer PRM-Wert.
Konzentration ( $\kappa_t$ ): Steuert die Schärfe der Überzeugung. Ein hohes $\kappa_t$ deutet auf eine konzentrierte (zuverlässige) Überzeugung hin, während ein niedriges $\kappa_t$ auf eine abgeflachte (unsichere) Überzeugung hinweist, die ein breiteres Spektrum an Monte-Carlo-Beobachtungen erklären kann.

Die Modellarchitektur verwendet einen Standard-Sprachmodell-Backbone. Der Mittelwert $\mu_t$ wird aus der Softmax-Wahrscheinlichkeit eines „Yes"-Belohnungstokens abgeleitet. Die Konzentration $\kappa_t$ wird von einem separaten, leichten linearen Kopf vorhergesagt, der auf den versteckten Zustand am Prozessmarker angewendet wird, wodurch sichergestellt wird, dass die Belohnungs- und Zuverlässigkeitskanäle getrennt sind.

2.3 Trainingsziel

Der Trainingsverlust besteht aus zwei Komponenten:

Beta-Binomial-Likelihood ( $L_{\text{Beta-Binomial}}$ ): Maximiert die Likelihood der beobachteten Zählung $K_t$ unter den vorhergesagten Beta-Parametern. Dies ermutigt das Modell, die Verteilung der beobachteten Monte-Carlo-Daten zu erklären.
Auxiliäre Regularisierung ( $L_{\text{reg}}$ ): Um zu verhindern, dass der Konzentrationsparameter unkalibriert wird, bestraft ein auxiliärer Verlust eine hohe Konzentration ( $\kappa_t$ ), wenn der vorhergesagte Mittelwert $\mu_t$ mit dem beobachteten Verhältnis $K_t/N$ nicht übereinstimmt. Entscheidend ist, dass in diesem Term eine Stop-Gradient-Operation auf $\mu_t$ angewendet wird, um sicherzustellen, dass der Regularisierer $\kappa_t$ kalibriert, ohne den Belohnungsmittelwert in Richtung des verrauschten Verhältnisses zu ziehen.

$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$

3. Anwendung: Adaptive Rechenallokation (ACA)

Unter Ausnutzung des gelernten Zuverlässigkeitssignals führen die Autoren eine Adaptive Rechenallokation (ACA) für PRM-gesteuertes Best-of-N-Reasoning ein. Im Gegensatz zu Best-of-N mit festem Budget, das unabhängig von der Schwierigkeit eine konstante Anzahl von Kandidaten sampelt, weist ACA Rechenressourcen dynamisch zu:

Risikoadjustierte Bewertung: Kandidaten werden mit einer risikoadjustierten Metrik bewertet: $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$ , wobei $\sigma_t$ die aus der Beta-Verteilung abgeleitete Standardabweichung ist. Dies bestraft Kandidaten mit hoher Unsicherheit.
Frühes Stoppen: ACA sampelt Kandidaten in progressiven Batches. Es stoppt frühzeitig, wenn die untere Konfidenzgrenze (LCB) des aktuell besten Kandidaten die obere Konfidenzgrenze (UCB) aller Konkurrenten überschreitet, was darauf hindeutet, dass der Gewinner zuverlässig vorne liegt.
Unsicherheitsgesteuerte Reparatur: Wenn das Abbruchkriterium nicht erfüllt ist, weist ACA den nächsten Batch an Rechenleistung zu, um das vielversprechendste unsichere Präfix (der Nicht-Gewinner mit der höchsten UCB) zu reparieren, anstatt völlig neue Kandidaten von Grund auf zu generieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten BETAPRM über vier Backbone-Modelle (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) und vier Reasoning-Benchmarks (MathVision, OlympiadBench, MathVerse, MathVista).

Best-of-N-Auswahl: BETAPRM verbesserte die Genauigkeit der finalen Antwort gegenüber Standard-PRMs über alle Backbones hinweg. Beispielsweise erzielte BETAPRM auf InternVL2.5-8B einen durchschnittlichen Gewinn von +3,37 Punkten gegenüber dem Standard-PRM.
Fehlererkennung: BETAPRM behielt die Fähigkeiten zur schrittweisen Fehlererkennung bei und erzielte im Vergleich zu Standard-PRMs vergleichbare oder leicht bessere Micro-F1-Werte auf VisualProcessBench.
Genauigkeit-Token-Trade-off: Im ACA-Setting (festes maximales Budget $N=16$ $N = 16$ ) verbesserte BETAPRM die Effizienz der Inferenz erheblich.
- Es reduzierte die Token-Nutzung um bis zu 33,57% (auf MathVerse mit InternVL2.5-8B) und verbesserte gleichzeitig die Genauigkeit der finalen Antwort im Vergleich zu Best-of-16 mit festem Budget.
- Ablationsstudien bestätigten, dass das gelernte Unsicherheitssignal von BETAPRM überlegen war gegenüber der Verwendung eines Standard-PRMs mit Proxy-Unsicherheit oder einer reinen Belohnungsallokation, da Letztere keine Präfixe identifizieren konnte, bei denen trotz hoher Scores zusätzliche Rechenleistung notwendig war.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass BETAPRM eine fundamentale Diskrepanz in aktuellen PRM-Schnittstellen adressiert: die Unfähigkeit, zwischen zuverlässigen und unsicheren Vorhersagen zu unterscheiden. Durch die Modellierung der Präfix-Erfolgswahrscheinlichkeit als Verteilung statt als Punktschätzung ermöglicht BETAPRM:

Vertrauenswürdige Entscheidungsfindung: Nachgelagerte Algorithmen können nun sichere Belohnungen von unsicheren unterscheiden und verhindern, dass unzuverlässige Scores Entscheidungen diktieren.
Verbesserte Effizienz zur Laufzeit: Das gelernte Zuverlässigkeitssignal ermöglicht eine adaptive Rechenallokation, reduziert die Inferenzkosten (Tokens) ohne Einbußen bei der Genauigkeit und verbessert diese oft sogar.
Bessere Nutzung der Supervision: Das Beta-Binomial-Ziel nutzt die Natur der Supervision mit endlicher Stichprobe durch Monte-Carlo-Sampling effektiv aus und behandelt die Zählung $K$ als stochastische Beobachtung statt als deterministisches Label.

Die Autoren schließen, dass die Umwandlung skalärer Prozessbelohnungen in zuverlässigkeitsbewusste Signale ein entscheidender Schritt für die Skalierung von Rechenleistung zur Laufzeit und die Verbesserung der Robustheit von Reasoning-Systemen ist.