💬 NLP

Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning

Dieser Beitrag stellt ein suchgesteuertes Reinforcement-Learning-Framework vor, das die Spezifikationen von Belohnungsfunktionen durch automatisierte Generierung, Validierung und GRPO-basierte Screening-Verfahren iterativ optimiert und zeigt, dass eine Rückkopplungsschleife mit Rangordnungsfeedback die Leistung beim mathematischen Schlussfolgern auf GSM8K im Vergleich zu statischen oder zufälligen Belohnungsensembles signifikant verbessert.

Ursprüngliche Autoren: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler (ein Large Language Model), der hervorragend im Sprechen ist, aber manchmal Schwierigkeiten mit Mathematik hat. Sie möchten ihn darin unterrichten, mathematische Probleme besser zu lösen. Normalerweise würden Sie einen Lehrer beauftragen, seine Hausaufgaben zu bewerten. Doch in dieser Arbeit stellen die Autoren eine andere Frage: „Was wäre, wenn wir nicht genau wissen, wie wir die Hausaufgaben perfekt bewerten sollen? Was wäre, wenn wir eine KI dazu bringen, die besten Bewertungsregeln zu erfinden?"

Hier ist die Geschichte, wie sie es getan haben, einfach erklärt.

1. Das Problem: Das Rätsel der „Bewertungsrichtlinien"

In der Welt der KI verwenden Sie, um ein Modell zu einem besseren Denken zu erziehen, ein System namens Reinforcement Learning (Bestärkendes Lernen). Denken Sie dabei an das Trainieren eines Hundes.

Der Hund: Das KI-Modell.
Der Leckerbissen: Eine „Belohnung" (ein positiver Score).
Der Trick: Ein mathematisches Problem korrekt lösen.

Das Problem besteht darin, dass das Design des „Leckerbissens" (der Belohnungsfunktion) schwierig ist. Wenn Sie der KI sagen: „Gut gemacht, wenn Sie die richtige Antwort erhalten", könnte sie schummeln, indem sie rät oder Muster kopiert, ohne tatsächlich nachzudenken. Wenn Sie versuchen, die Schritte zu belohnen, die sie unternimmt, müssen Sie komplexe Regeln schreiben, und es ist leicht, einen Fehler in diesen Regeln zu machen.

2. Die Lösung: Die „Bewertungsregel-Fabrik"

Die Autoren bauten ein System, das die Bewertungsregeln selbst als etwas behandelt, das optimiert werden soll. Sie schrieben die Regeln nicht von Hand; sie richteten eine Fabrik ein, in der eine KI (ein „Frontier"-Modell namens Kimi K2) als Regel-Erfinder fungiert.

So funktioniert die Fabrik, Schritt für Schritt:

Runde 1: Der Regel-Erfinder-KI werden 20 mathematische Probleme gegeben, und sie wird gebeten, 10 neue Wege zu deren Bewertung zu schreiben. Sie schreibt diese Regeln als einfachen Computercode (wie ein Rezept).
Der Sicherheitscheck: Bevor diese Regeln verwendet werden, durchlaufen sie einen „Sicherheits-Scanner", um sicherzustellen, dass sie nicht gefährlich oder defekt sind.
Die Testfahrt: Die Forscher nehmen einen kleinen Mathe-Schüler (ein KI-Modell mit 3 Milliarden Parametern) und lassen ihn kurz (500 Schritte) üben, Probleme mit einer dieser neuen Regeln zu lösen.
Der Punktestand: Sie prüfen, wie gut der Schüler in einem Test abgeschnitten hat. Wenn die neue Regel dem Schüler half, bessere Noten zu erzielen, erhält die Regel eine hohe Rangliste. Wenn die Regel den Schüler verwirrte, erhält sie eine niedrige Rangliste.
Die Feedback-Schleife: Die am besten performenden Regeln werden zusammengefasst und an den Regel-Erfinder-KI zurückgespeist. Die KI erhält die Anweisung: „Hey, Regeln, die die Anzahl der Denkschritte zählten, funktionierten gut. Regeln, die nur die finale Antwort betrachteten, funktionierten nicht so gut. Versuchen Sie, neue Regeln darauf aufbauend zu erfinden."

Sie wiederholten diesen Zyklus 5 Mal und generierten 50 verschiedene Kandidatenregeln.

3. Die Ergebnisse: Die „Goldenen Regeln" finden

Nach 5 Runden fanden sie einige Gewinner.

Die beste einzelne Regel: Eine Regel namens thinking_steps_count war ein Champion. Sie vergab zusätzliche Punkte, wenn die KI ihren Denkprozess in mindestens drei verschiedenen Zeilen niederschrieb. Sie prüfte nicht, ob die Antwort richtig war (das tat das Basissystem); sie ermutigte die KI lediglich, ihre Rechnung aufzuzeigen.
Die Kraft der Teamarbeit (Ensembles): Sie erkannten, dass eine Regel nicht ausreicht. Also kombinierten sie die besten 5 Regeln zu einem „Super-Bewertungsteam".
- Das Ergebnis: Dieses Team von Regeln half der KI, von einer Erfolgsrate von 60 % (unter Verwendung nur einfacher Regeln) auf eine Erfolgsrate von 79,5 % zu springen.
- Der „Magische" Check: Um zu beweisen, dass es nicht nur Glück oder die schiere Anzahl der Regeln war, probierten sie ein „zufälliges Team" aus 5 Regeln aus dem Haufen aus. Dieses zufällige Team scheiterte kläglich, wobei die KI fast alles falsch machte. Dies bewies, dass die Feedback-Schleife (das Lernen, welche Regeln funktionierten, und das Zurückführen dieser Information an den Erfinder) das Geheimnis war, nicht einfach nur das Vorhandensein mehrerer Regeln.

4. Hat die KI geschummelt? (Der „Reward Hacking"-Audit)

Eine häufige Befürchtung ist, dass, wenn Sie einer KI sagen „geben Sie mir mehr Denkzeilen", sie einfach die Seite mit Unsinn füllen wird, um Punkte zu erhalten.

Der Audit: Die Autoren prüften die Antworten der KI. Sie stellten fest, dass die KI, wenn sie die Antwort richtig hatte, tatsächlich mehr Zeilen schrieb und mehr mathematische Symbole verwendete als wenn sie sie falsch hatte.
Die Schlussfolgerung: Die KI schummelte nicht, indem sie leeren Raum auffüllte; sie dachte tatsächlich härter nach, weil die Regeln sie dazu ermutigten.

5. Warum das wichtig ist

Es ist zugänglich: Sie benötigen keinen Supercomputer. Sie führten dieses gesamte Experiment auf einer einzigen High-End-Grafikkarte für Verbraucher (wie der Art, die Gamer verwenden) in etwa 40 Stunden durch.
Es ist automatisiert: Anstatt dass ein menschlicher Experte wochenlang rätselt, wie die perfekte Bewertungsrichtlinie aussieht, automatisiert dieses System die Entdeckung dieser Regeln.
Es ist transparent: Die Regeln sind keine Blackbox; es handelt sich um einfachen Python-Code, den Menschen lesen, verstehen und anpassen können.

Kurz gesagt: Die Arbeit zeigt, dass Sie, wenn Sie einer KI helfen lassen, das Bewertungssystem für eine andere KI zu entwerfen, und diese Regeln basierend darauf, wie gut der Schüler performt, weiter verfeinern, den Schüler dazu bringen können, viel besser zu denken, als wenn Sie ihm nur einen statischen, von Menschen geschriebenen Satz von Regeln geben würden.

Technische Zusammenfassung: Verbesserte LLM-Reasoning durch Optimierung von Reward-Funktionen mit suchgetriebenem Reinforcement Learning

Problemstellung

Mathematisches Reasoning dient als kritischer Benchmark für Large Language Models (LLMs) und erfordert nicht nur fließende Textgenerierung, sondern auch konsistente Zwischenschritte, das korrekte Übertragen von Größen und präzise Endergebnisse. Während Reinforcement Learning (RL) als Standardmechanismus für das Nachtrainieren von LLMs etabliert wurde, um sie mit gewünschten Verhaltensweisen in Einklang zu bringen, ist seine Wirksamkeit stark vom Design der Reward-Funktion abhängig. Aktuelle Ansätze verlassen sich häufig auf manuelle, expertengetriebene Spezifikation von Rewards, die fehleranfällig ist, erheblichen Versuch-und-Irrtum erfordert und unbeabsichtigt „Reward Hacking" oder brüchiges Verhalten hervorrufen kann. Darüber hinaus behandelt die bestehende Literatur die Reward-Funktion weitgehend als feste Infrastruktur (z. B. handgefertigte Regeln oder trainierte Reward-Modelle) und nicht als Objekt der Optimierung selbst. Dieser Beitrag adressiert die Frage, ob die während des RL-Nachtrainings verwendete Reward-Spezifikation systematisch durchsucht und verbessert werden kann, insbesondere in einem Setting, bei dem das Basismodell festgehalten wird und die Reward-Funktion die primäre Designvariable darstellt.

Methodik

Die Autoren schlagen ein suchgetriebenes Framework vor, das die Spezifikation von Reward-Funktionen als iteratives Optimierungsproblem behandelt. Die Pipeline läuft über fünf Runden und generiert sowie bewertet Kandidaten-Reward-Funktionen unter Verwendung eines festen Basismodells und eines Frontier-LLMs als Generator.

Kernkomponenten

Basismodell und Trainingssetup:
- Modell: Meta's Llama-3.2-3B-Instruct, feinabgestimmt mittels Low-Rank Adaptation (LoRA) mit einem Rang von 32.
- Algorithmus: Group Relative Policy Optimization (GRPO), das das separate Critic-Netzwerk in PPO durch eine gruppenrelative Normalisierung der gesampelten Ausgaben ersetzt, was den Speicherbedarf reduziert und das mathematische Reasoning verbessert.
- Datensatz: GSM8K (7.473 Trainingsbeispiele, 1.319 Testbeispiele).
- Ausgabeformat: Strukturierte Ausgabe mit <thinking>- und <solution>-Tags, um das Reasoning vom Endergebnis zu trennen.
Feste Basishards:
Drei geschützte Basishards sind in jedem Trainingslauf enthalten und können von generierten Kandidaten nicht überschrieben werden:
- match_format_exactly: Belohnt die korrekte Paarung von <thinking>- und <solution>-Tags.
- match_format_approximately: Liefert abgestufte Signale für das Vorhandensein/Fehlen von Tags.
- check_answer: Bewertet die extrahierte numerische Antwort gegen den Ground Truth mit gestaffelter Punktzahl (exakte Übereinstimmung, Normalisierung, Verhältnisprüfungen).
Suchgetriebene Generierungsschleife:
- Generator: Ein Frontier-LLM (Kimi K2) generiert pro Runde 10 Kandidaten-Reward-Funktionen (insgesamt 50 über 5 Runden).
- Prompting: Der Generator erhält 20 zufällige GSM8K-Beispiele, eine Signatur-Spezifikation und eine rangierte Zusammenfassung der Leistung vorheriger Runden, um die Generierung zu steuern und semantische Duplizierung zu vermeiden.
- Validierung: Kandidaten durchlaufen eine vierstufige Sandbox-Validierung (AST-Importprüfung, abgeschottete Ausführung, eingeschränkter Namespace und Probeaufruf), um Sicherheit und Ausführbarkeit zu gewährleisten.
- Screening: Gültige Kandidaten werden für 500 GRPO-Schritte auf dem GSM8K-Trainings-Split zusammen mit den drei Basishards trainiert.
- Ranking: Modelle werden auf dem GSM8K-Testset mit dem F1-Score (harmonisches Mittel aus Präzision und Recall) als primärem Ranking-Metrik bewertet. Die rangierte Zusammenfassung wird in die nächste Generationsrunde zurückgespeist.
Ensemble-Konstruktion:
Nach der Suche werden die leistungsstärksten Rewards zu Ensembles kombiniert. Sieben Konfigurationen wurden getestet, die sich in der Größe (3 bis 10 entdeckte Rewards) und der Selektionsstrategie (top-gerankt vs. diversitätsbasiert über die Runden) unterscheiden. Der Ensemble-Reward ist die elementweise Summe der drei Basishards und der ausgewählten entdeckten Rewards.

Hauptbeiträge

Formulierung der Reward-Suche: Der Beitrag formuliert die Reward-Spezifikation für LLM-Reasoning als iterative generate–validate–train–rank-Schleife über ausführbaren Python-Code und behandelt den Reward selbst als Suchobjekt.
GRPO-Integration: Das Framework wendet diese Suchschleife spezifisch unter GRPO an, einem rechnerisch effizienten und für Reasoning relevanten Policy-Optimierer, und zeigt, dass die Reward-Entdeckung innerhalb von ressourcenschonenden Feinabstimmungsbeschränkungen machbar ist.
Ensemble-Analyse: Die Studie untersucht, ob die Kombination mehrerer entdeckter Rewards stärkere Signale liefert als einzelne Rewards, und stellt fest, dass Ensembles aus 5 oder mehr Rewards einzelne Rewards oder Basiskonfigurationen signifikant übertreffen.
Empirische Strenge: Der Beitrag liefert eine umfassende Analyse einschließlich Bootstrap-Konfidenzintervallen, paarweisen McNemar-Tests mit Bonferroni-Korrektur sowie spezifischer Audits auf Reward Hacking (z. B. Zeilen-Padding) und Formatkonformität.

Ergebnisse

Suchverlauf: Über fünf Runden stieg der mittlere F1-Score der generierten Rewards von 0,596 (Runde 1) auf 0,632 (Runde 5). Der top-individuelle Reward (thinking_steps_count) erreichte einen F1-Score von 0,787.
Ensemble-Leistung: Die beste Ensemble-Konfiguration (ens_diverse_rounds, Kombination aus 3 Basishards + 5 diverse entdeckte Rewards) erreichte einen F1-Score von 0,795 und eine Genauigkeit von 0,660 (95% KI [0,635, 0,686]).
Statistische Signifikanz: Paarweise McNemar-Tests mit Bonferroni-Korrektur ( $\alpha \approx 0,0024$ ) zeigten, dass alle Ensembles mit 5 oder mehr entdeckten Rewards statistisch nicht voneinander unterscheidbar waren, aber signifikant besser als die Baseline nur mit Basishards (F1 = 0,609) und kleinere Ensembles.
Kontrollexperimente:
- Zufalls-Baseline: Ein zufällig gezogenes 5-Reward-Ensemble kollabierte auf einen F1-Score von 0,047, was zeigt, dass der Gewinn durch die rangierte Feedback-Schleife getrieben wird und nicht bloß durch das additive Signal mehrerer Rewards.
- Seed-Robustheit: Das Nachtrainieren des besten Ensembles mit drei verschiedenen Seeds ergab F1-Scores von $0,785 \pm 0,013$ , was bestätigt, dass die qualitative Reihenfolge der Ergebnisse gegenüber Trainingsvarianz robust ist.
Audit auf Reward Hacking: Die Analyse des top-strukturellen Rewards (thinking_steps_count) zeigte, dass korrekte Antworten natürlicherweise mehr Reasoning-Zeilen und eine höhere arithmetische Dichte enthielten als inkorrekte, was darauf hindeutet, dass das Modell den Reward nicht durch leeres Zeilen-Padding ausnutzte.
Baseline-Vergleich: Das GRPO-trainierte Llama-3.2-3B-Modell übertraf fünf kommerziell verfügbare Modelle im Parameterbereich von 2B–4B (einschließlich Qwen- und Phi-Varianten) sowohl bei strenger Genauigkeit als auch beim F1-Score.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass die Reward-Spezifikation im RL-Nachtrainieren als zuverlässig durchsuchbares Objekt behandelt werden kann, wodurch ein Prozess automatisiert wird, der typischerweise auf menschliche Intuition angewiesen ist.

Zugänglichkeit: Die gesamte Pipeline läuft auf einer einzelnen Consumer-GPU (NVIDIA RTX 5090) in etwa 40 Stunden, was die automatisierte Reward-Entdeckung für akademische und kleine Industrie-Budgets zugänglich macht.
Auditierbarkeit: Im Gegensatz zu Black-Box-Reward-Modellen sind die entdeckten Rewards lesbare Python-Code, den Praktiker auditieren, modifizieren und kombinieren können.
Generalisierbarkeit: Obwohl auf GSM8K evaluiert, gehen die Autoren davon aus, dass das „Rezept" auf andere Reasoning-Domänen (z. B. Code-Generierung, wissenschaftliche Problemlösung) übertragbar ist und eine praktische Alternative zum teuren Training von Reward-Modellen bietet.
Bescheidenheit: Die Autoren stellen ausdrücklich fest, dass der Beitrag methodischer Natur ist und keine Behauptung eines neuen State-of-the-Art auf GSM8K selbst darstellt. Der primäre Nachweis ist intern zur Pipeline: die iterative Verbesserung der Rewards, der Kollaps der Zufallskontrollen und die Robustheit der Ensemble-Reihenfolge über verschiedene Seeds hinweg. Der Beitrag behauptet nicht, dass die entdeckten Rewards universell optimal sind, sondern dass der Suchprozess effektiv hochperformante strukturelle Signale für ein festes Basismodell identifiziert.