💬 NLP

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

Dieses Paper schlägt Chunk-Level Guided Generation vor, ein trainingsfreies Framework, das fertige große Sprachmodelle als Prozess-Scorer nutzt, um fest vorgegebene Längen von Reasoning-Chunks aus kleineren Modellen auszuwählen, wodurch Fehlerfortpflanzung effektiv verhindert wird und sowohl Majority Voting als auch trainierte Process Reward Models bei mathematischen Benchmarks übertrifft.

Ursprüngliche Autoren: Atoosa Chegini, Soheil Feizi

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Atoosa Chegini, Soheil Feizi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges mathematisches Problem zu lösen. Sie haben zwei Helfer: einen Junior-Assistenten (eine kleine, schnelle, aber manchmal verwirrte KI) und einen Senior-Experten (eine riesige, langsame, aber brillante KI).

Das Ziel ist es, das richtige Ergebnis zu erhalten, ohne zu viel Geld oder Zeit mit dem Senior-Experten für jeden einzelnen Schritt zu verschwenden.

Die alten Wege (und warum sie scheiterten)

1. Die „Würfelwurf“-Methode (Post-Hoc-Selektion):
In der Vergangenheit ließen die Leute den Junior-Assistenten fünf oder zehn vollständige Lösungen von Anfang bis Ende schreiben. Dann baten sie den Senior-Experten, sich alle fertigen Antworten anzusehen und die beste auszuwählen.

Das Problem: Bis der Senior-Experte die Antworten sieht, hat der Junior-Assistent bereits Fehler mitten in der Mathematik gemacht. Wenn der Junior-Assistent früh eine falsche Abzweigung genommen hat, kann der Senior-Experte das nicht mehr korrigieren; er kann nur die „am wenigsten falsche“ fertige Geschichte auswählen. Es ist, als würde man einen Koch bitten, einen Kuchen zu reparieren, nachdem er bereits verbrannt ist.

2. Die „Schritt-für-Schritt-Coach“-Methode (Process Reward Models – PRM):
Eine neuere Methode besteht darin, dass der Senior-Experte die Arbeit des Junior-Assistenten überprüft, während dieser sie schreibt. Der Junior schreibt einen Satz, der Senior prüft ihn, und wenn er gut ist, lässt er ihn weitermachen. Wenn nicht, muss er es erneut versuchen.

Das Problem: Das funktioniert großartig, erfordert aber, dass der Senior-Experte speziell trainiert wurde (wie ein Coach, der jahrelang Mathefehler studiert hat). Das Trainieren eines solchen Coaches ist teuer und schwierig.

Die neue Idee: „Chunk-Level Guided Generation“

Die Autoren dieser Arbeit schlagen eine clevere, kostenlose Alternative vor, die keinen neu trainierten Coach erfordert. Sie nennen sie Chunk-Level Guided Generation.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die „Festlängen-Puzzle“-Analogie
Stellen Sie sich vor, der Junior-Assistent baut einen Turm aus Blöcken.

Die Regel: Anstatt den Junior-Assistenten erlauben, einen ganzen Satz oder einen ganzen Absatz auf einmal zu bauen, darf er immer genau 20 Blöcke (einen „Chunk“) auf einmal bauen.
Die Optionen: In jedem Schritt baut der Junior-Assistent schnell 32 verschiedene Versionen dieser 20 Blöcke.
Die Bewertung: Der Senior-Experte betrachtet diese 32 kurzen Stapel Blöcke. Er schreibt nichts Neues; er gibt einfach einen „Score“ bas thereof, wie wahrscheinlich es ist, dass diese Blöke zu einer korrekten mathematischen Lösung gehören.
Die Wahl: Der Junior-Assistent wählt den am höchsten bewerteten Stapel, fixiert ihn und beginnt dann mit dem Bau der nächsten 20 Blöcke.

Warum „Feste Länge“ wichtig ist (Die „Längen-Bias“-Falle)
Die Forscher entdeckten eine merkwürdige Eigenheit in der Art und Weise, wie große KI-Modelle denken. Wenn man eine große KI bittet, einen kurzen mathematischen Schritt gegenüber einem langen mathematischen Schritt zu beurteilen, denkt die große KI oft, dass der längere besser sei, selbst wenn er Unsinn ist. Es ist wie ein Lehrer, der denkt, dass ein Schüler, der einen 10-seitigen Essay schreibt, mehr wissen muss als ein Schüler, der eine 1-seitige Zusammenfassung schreibt, selbst wenn die 1-seitige Zusammenfassung tatsächlich korrekt ist.

Indem man den Junior-Assistenten zwingt, Chunks der exakt gleichen Länge zu schreiben, kann der Senior-Experte sie fair vergleichen. Dies eliminiert den „Längen-Bias“ und ermöglicht es der KI, die Qualität der Mathematik zu beurteilen, nicht nur die Länge des Textes.

Die zwei Bewertungsstrategien

Die Arbeit testet zwei Wege, wie der Senior-Experte die Chunks bewertet:

Likelihood-Guided Selection (LGS): Der Senior-Experte wählt einfach den Chunk aus, der ihm am ehesten „mathematisch-ähnlich“ erscheint.
Contrastive-Guided Selection (CGS): Dies ist die cleverere Variante. Der Senior-Experte fragt: „Sieht dieser Chunk für mich besser aus als für den Junior-Assistenten?“
- Wenn der Junior-Assistent einen Chunk okay findet, der Senior-Experte ihn aber großartig findet, ist das ein riesiger Gewinn.
- Diese Methode findet die Schritte, bei denen die „Experten-Intuition“ des Senior-Experten den größten Wert hinzufügt und die blinden Flecken des Junior-Assistenten korrigiert.

Die Ergebnisse: Was haben sie herausgefunden?

Die Forscher testeten dies auf schwierigen Mathe-Tests (wie Highschool- und College-Wettbewerben).

Beating the „Roll the Dice“-Methode: Die neue Methode war viel besser als darauf zu warten, dass der Junior-Assistent fertig wird, um dann die beste Lösung auszuwählen. Sie korrigierte Fehler, bevor sie passierten.
Beating the „Trained Coach“: In vielen Fällen war diese „kostenlose“ Methode (unter Verwendung eines fertigen Senior-Experten) genauso gut oder sogar besser als die teuren, speziell trainierten „Process Reward Model“-Coaches.
Kürzere, intelligentere Antworten: Überraschenderweise produzierte die neue Methode kürzere Antworten als die Methode mit dem trainierten Coach. Der trainierte Coach veranlasste den Junior-Assistenten oft dazu, lange, ausschweifende Erklärungen zu schreiben, um auf der sicheren Seite zu sein. Die neue Methode steuerte den Junior-Assistenten auf direkte, prägnante und korrekte Pfade.
Skalierbarkeit: Selbst als sie einen klügeren Junior-Assistenten verwendeten (ein Modell mit 7 Milliarden Parametern), funktionierte die Methode weiterhin gut und kam der Leistung des massiven 72-Milliarden-Parameter-Modells sehr nahe.

Das Fazente Fazit

Diese Arbeit zeigt, dass man keinen speziellen „Mathe-Coach“-KI trainieren muss, um großartige Ergebnisse zu erzielen. Man muss lediglich eine große, kluge KI nutzen, um kleine, fest definierte Teile der Arbeit eines kleineren Modells zu bewerten, während dieses arbeitet. Dies ist ein trainingsfreier, kosteneffizienter Weg, um kleine KI-Modelle dazu zu bringen, schwierige Matheprobleme fast so gut zu lösen wie die größten, teuersten Modelle.

Technisches Resümee: Off-the-Shelf LLMs als Prozess-Scorer

Problemstellung

Aktuelle Strategien zur Verbesserung des mathematischen Denkvermögens in Large Language Models (LLMs) stehen vor einem Zielkonflikt zwischen Kosten und Effektivität. Die Verwendung eines massiven Modells für jede Inferenzanfrage ist rechenintensiv. Eine gängige Alternative besteht darin, mehrere Lösungen aus einem kleineren, günstigeren Modell zu sampeln und die beste Lösung post-hoc (nach Abschluss der Generierung) mittels Methoden wie Majority Voting oder Best-of-N auszuwählen. Das Paper argumentiert jedoch, dass die Post-hoc-Selektion fundamental begrenzt ist: Wenn das kleine Modell frühzeitig in einen falschen Denkpfad abweicht, kann kein Scorer den Verlauf korrigieren, sobald der Fehler einmal propagiert ist.

Im Gegensatz dazu adressiert die durch Process Reward Models (PRM) gesteuerte Suche dieses zeitliche Problem, indem sie Kandidaten-Denkschritte während der Generierung bewertet. Obwohl PRMs effektiv sind, erfordern sie ein Reward-Modell, das auf Schritt-basierten Labels trainiert wurde (z. B. Qwen2.5-Math-PRM-72B), was einen erheblichen Trainingsaufwand und Ressourcenbedarf bedeutet.

Das Kernproblem, das dieses Paper adressiert, lautet: Können wir die Vorteile einer Steuerung während der Generierung (Lenkung des Modells, bevor Fehler propagieren) erreichen, ohne ein dediziertes Reward-Modell zu trainieren?

Methodik: Chunk-Level Guided Generation

Die Autoren schlagen Chunk-Level Guided Generation vor, ein trainingsfreies Framework, das ein Off-the-Shelf Large Language Model (LLM) ausschließlich als Scorer verwendet, nicht als Generator.

Das Framework

Generierung: Ein kleines Modell ( $\pi_s$ ) generiert die Lösung. An jedem Schritt sampelt das kleine Modell anstatt eines einzelnen Tokens oder eines variabel langen Denk-Schritts $k$ Kandidaten-Fortsetzungen (Chunks) einer festen Länge $L$ .
Scoring: Ein größeres, vortrainiertes LLM ( $\pi_l$ ) bewertet diese $k$ Kandidaten. Entscheidend ist, dass das große Modell keinen Text generiert; es berechnet lediglich die Likelihoods (Log-Wahrscheinlichkeiten) für die vom kleinen Modell bereitgestellten Chunks.
Selektion: Der am höchsten bewertete Chunk wird an den Kontext angehängt, und der Prozess wiederholt sich, bis ein End-of-Sequence-Token erreicht wird.

Scoring-Regeln

Das Paper führt zwei Selektionsregeln basierend auf den Likelihoods des großen Modells ein:

Likelihood-Guided Selection (LGS): Wählt den Chunk mit der höchsten längengestützten Log-Wahrscheinlichkeit unter dem großen Modell:
$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$
Contrastive-Guided Selection (CGS): Wählt den Chunk, bei dem die Präferenz des großen Modells am stärksten von der des kleinen Modells divergiert. Hierbei wird die Log-Wahrscheinlichkeit des kleinen Modells von der des großen Modells subtrahiert:
$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$
Diese Regel bevorzugt Fortsetzungen, die das große Modell für plausibel hält, das kleine Modell jedoch nicht, wodurch das „zusätzliche“ Wissen des großen Modells effektiv genutzt wird.

Entscheidende Design-Wahl: Fixed-Length Chunks

Ein entscheidender Beitrag der Methodik ist die Verwendung von Fixed-Length Chunks anstelle natürlich abgegrenzter Denk-Schritte. Die Autoren zeigen auf, dass die Log-Wahrscheinlichkeiten großer Modelle eine systematische Längen-Bias (Längenverzerrung) aufweisen: Selbst nach der Längen-Normalisierung neigt das große Modell dazu, längere Denk-Schritte mit höheren Wahrscheinlichkeiten zu bewerten. Durch das Festlegen der Länge $L$ für alle Kandidaten an einem Entscheidungspunkt werden die Scores direkt vergleichbar, wodurch dieser Störfaktor eliminiert wird.

Zentrale Beiträge

Trainingsfreie Prozess-Scoring: Das Paper demonstriert, dass ein Off-the-Shelf LLM, das ausschließlich als Likelihood-Scorer eingesetzt wird, ein effektiver Ersatz für ein trainiertes PRM zur Steuerung der Generierungs-Suche ist.
Auflösung der Längen-Bias: Die Autoren identifizieren und lösen eine systematische Längen-Bias in den Likelihoods großer Modelle und zeigen, dass Fixed-Length Chunks für ein zuverlässiges Scoring notwendig sind, während variable Längen bei der Schritt-Bewertung unzuverlässig sind.
Kontrastive Selektion: Die Einführung von CGS, welches die Differenz der Präferenzen zwischen dem großen und dem kleinen Modell nutzt, erzielt konsistente Gewinne gegenüber der einfachen Maximierung der Likelihood.
Effizienz: Die Methode erzeugt wesentlich kürzere Denk-Spuren (Reasoning Traces) als die PRM-gesteuerte Suche, erreicht dabei aber eine vergleichbare oder sogar überlegene Genauigkeit.

Experimentelle Ergebnisse

Das Framework wurde auf fünf mathematischen Reasoning-Benchmarks evaluiert: GSM8K, MATH, Minerva Math, AMC23 und AIME24. Die Experimente nutzten drei Modell-Paare:

Qwen2.5-1.5B gesteuert durch Qwen2.5-32B
Llama-3.2-1B gesteuert durch Llama-3.1-70B
Qwen2.5-7B gesteuert durch Qwen2.5-72B

Performance im Vergleich zu Baselines

vs. Post-Hoc Selektion: Chunk-Level Guided Generation (speziell CGS) übertrifft Post-Hoc-Methoden wie Majority Voting, Self-Certainty und Best-of-N erheblich. Beispielsweise erreichte CGS bei GSM8K mit dem Llama-Paar ( $k=32$ ) eine Genauigkeit von 83,9 % im Vergleich zu 56,0 % bei Majority Voting (ein Gewinn von 27,9 Prozentpunkten).
vs. PRM-gesteuerte Suche: Unter Berücksichtigung gleicher Guidance-Budgets (Vergleich der Anzahl der Interventionen) erreicht CGS auf den meisten Benchmarks eine vergleichbare oder überlegene Genauigkeit gegenüber der durch Qwen2.5-Math-PRM-72B gesteuerten Suche, ohne dass ein Reward-Modell trainiert werden musste.
- Auf Minerva Math (Qwen-Paar, $k=32$ ) erreichte CGS 39,0 % vs. 32,4 % für PRM.
- Auf GSM8K (Llama-Paar, $k=32$ ) erreichte CGS 83,9 % vs. 77,3 % für PRM.
Skalierung: Als der Generator auf Qwen2.5-7B skaliert wurde (gesteuert durch 72B), erreichte CGS 81,8 % auf MATH und 63,6 % auf Minerva Math, womit es Majority Voting um 4–6 Prozentpunkte übertraf und innerhalb von 1,5 Prozentpunkten des Durchschnitts der PRM-72B gesteuerten Suche lag.

Länge der Denk-Spur (Reasoning Trace)

Entgegen der Annahme, dass eine bessere Performance längere Denkprozesse erfordert, stellt das Paper fest, dass CGS wesentlich kürzere Denk-Spuren als die PRM-gesteuerte Suche produziert. Auf GSM8K enthielten die PRM-Antworten bis zu 80 % mehr Token als die CGS-Antworten. Dies deutet darauf hin, dass die Likelihood-Steuerung des großen Modells das kleine Modell zu prägnanteren, direkteren Denkpfaden lenkt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Chunk-Level Guided Generation eine praktische, trainingsfreie Alternative zur PRM-gesteuerten Suche bietet. Seine Bedeutung liegt in:

Zugänglichkeit: Es entfernt die Barriere des Trainings eines schrittbasierten Reward-Modells und ermöglicht es Praktikern, bestehende, fertige große Modelle zu nutzen, um kleinere Modelle zu verbessern.
Timing: Es greift erfolgreich während der Generierung ein, um die Fehlerpropagation zu verhindern – eine Fähigkeit, von der man bisher annahm, dass sie spezialisiertes Training erfordert.
Effizienz: Es erzielt eine hohe Genauigkeit mit kürzeren Denk-Spuren, was die Inferenzkosten im Vergleich zu PRM-Methoden reduziert.

Die Autoren bleiben hinsichtlich der Generalisierbarkeit zurückhaltend und merken an, dass die Experimente derzeit auf mathematisches Reasoning und innerhalb derselben Modellfamilien (z. B. Qwen-zu-Qwen, Llama-zu-Llama) beschränkt sind. Sie behaupten nicht, dass die Methode ohne weitere Untersuchungen auch auf Coding oder Commonsense-Reasoning generalisiert.