💬 NLP

Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning

Dieser Artikel argumentiert, dass Reinforcement Learning das Schlussfolgern von LLMs nicht durch das Lehren neuer Fähigkeiten verbessert, sondern durch das Treffen spärlicher, vorhersehbarer Korrekturen an Entscheidungsstellen mit hoher Entropie, was zur Entwicklung von ReasonMaxxer führt, einer hocheffizienten, RL-freien Methode, die die Leistung von vollständigem RL bei minimalen Trainingskosten erreicht.

Ursprüngliche Autoren: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Modell kennt die Antwort bereits

Stellen Sie sich einen sehr klugen Schüler (das Basis-Modell) vor, der einen Mathe-Test schreibt. Dieser Schüler kennt die richtigen Antworten in den meisten Fällen tatsächlich, ist aber ein wenig unentschlossen. Wenn er zu einem kniffligen Schritt gelangt, zögert er vielleicht und wirft eine Münze zwischen zwei oder drei möglichen Wegen.

Lange Zeit glaubten Forscher, dass Reinforcement Learning (RL) wie ein super-strenger Trainer sei, der dem Schüler neue Wege zur Problemlösung beibrächte und völlig neue Strategien von Grund auf erfände.

Dieses Papier argumentiert, dass dies falsch ist.

Die Autoren entdeckten, dass der „Trainer" (RL) dem Schüler keine neuen Tricks beibringt. Stattdessen flüstert der Trainer nur: „Hey, als du bei Schritt 5 gezögert hast, hast du den falschen Weg gewählt. Wähle einfach die zweitbeste Option, die du ohnehin schon in Betracht gezogen hast."

Der Schüler kannte die richtige Antwort bereits; er brauchte nur einen kleinen Schubs, um sich dafür zu entscheiden.

Die Entdeckung: Es geht alles um die „Gabelung"

Die Forscher untersuchten genau, was im Computer passiert, wenn ein KI-Modell durch RL lernt. Sie stellten drei überraschende Dinge fest:

Es ist unglaublich selten: Der RL-Trainer ändert die Meinung des Schülers nur bei etwa 1 % bis 3 % der Schritte. Bei 97 % des Tests macht der Schüler genau das, was er ohnehin tun wollte.
Es ist immer eine „sichere" Änderung: Der Trainer sagt dem Schüler nie, dass er eine verrückte, seltsame Antwort wählen soll, die er noch nie in Betracht gezogen hat. Er sagt ihm nur, dass er zur zweit- oder drittbesten Option wechseln soll, die der Schüler ohnehin schon überlegte.
Es passiert nur in Momenten der „Gabelung": Diese Änderungen geschehen nur, wenn der Schüler verwirrt ist (hohe „Entropie"). Wenn der Schüler zuversichtlich ist, bleibt der Trainer still. Wenn der Schüler unsicher ist, zeigt der Trainer auf die richtige Gabelung.

Die Analogie:
Stellen Sie sich vor, Sie fahren mit dem Auto auf einer bekannten Straße. Sie kennen die Route perfekt.

Das Basis-Modell sind Sie beim Fahren.
Der RL-Trainer ist ein Navi.
Die alte Sichtweise: Wir dachten, das Navi würde Ihnen beibringen, wie man ein Auto fährt, das Sie noch nie gesehen haben.
Die neue Sichtweise: Das Navi sagt nur: „Sie sind an einer verwirrenden Kreuzung. Sie wollten links abbiegen, aber Sie sollten stattdessen rechts abbiegen." Sie wussten bereits, wie man rechts abbiegt; Sie mussten nur daran erinnert werden.

Das Problem: Der Trainer ist zu teuer

Derzeit ist das Trainieren dieser „Trainer" (RL) wie die Einstellung eines riesigen Teams von Ingenieuren, die den Schüler beim Test beobachten, Millionen von Szenarien simulieren und komplexe Mathematik berechnen, um diesen kleinen Schubs zu ermitteln. Es kostet Tausende von Dollar und nimmt Wochen an Computerzeit in Anspruch.

Das Papier fragt: Wenn der Trainer nur auf ein paar spezifische Stellen auf einer Karte zeigt, die wir bereits haben, brauchen wir dann das ganze teure Trainer-Team?

Die Lösung: REASONMAXXER (Der „kluge Schubs")

Die Autoren entwickelten eine neue, super-günstige Methode namens REASONMAXXER. Anstelle eines massiven Trainers verwendet sie ein winziges, billiges Werkzeug.

So funktioniert es, Schritt für Schritt:

Verwirrung finden: Das System betrachtet die eigenen Gedanken des Schülers (des Basis-Modells). Es fragt: „Wo geraten Sie ins Stocken?" Es verwendet einen einfachen mathematischen Trick namens Entropie, um die Momente der „Gabelung" zu finden, in denen der Schüler unsicher ist.
Der kontrastive Schubs: Es nimmt einige Beispiele, bei denen der Schüler die Antwort richtig hatte, und einige Beispiele, bei denen er sie falsch hatte. Dann sagt es: „In diesen verwirrten Momenten, als Sie es richtig hatten, wählten Sie diesen Weg. Als Sie es falsch hatten, wählten Sie jenen Weg. Denken Sie daran, den ersten zu wählen."
Winzige Änderungen: Es aktualisiert nur einen mikroskopisch kleinen Teil des Gehirns des Modells (weniger als 1 % seiner Parameter), um diese Regel zu speichern.

Die Ergebnisse: Gleiche Intelligenz, winzige Kosten

Das Papier testete diese neue Methode gegen die teuren, Standard-RL-Trainer an sechs verschiedenen mathematischen Benchmarks.

Leistung: REASONMAXXER schnitt genauso gut ab wie die teuren RL-Modelle, oder sogar besser.
Kosten: Das ist der große Schocker.
- Standard-RL: Kostet zwischen 200 und 100.000 Dollar für das Training.
- REASONMAXXER: Kostet etwa 4 bis 25 Dollar für das Training.
- Zeit: Es dauert Minuten auf einer einzelnen Grafikkarte, während RL Tage oder Wochen benötigt.

Das Fazit

Das Papier kommt zu dem Schluss, dass der große Branchentrend, massives und teures Reinforcement Learning einzusetzen, um KI-Logik zu lehren, möglicherweise übertrieben ist.

Das „Schlussfolgern" ist keine neue Superkraft, die wir freischalten; es ist nur eine Frage davon, der KI zu helfen, sich für die richtige Wahl zu entscheiden, wenn sie unsicher ist.

Wir brauchen kein riesiges Bauunternehmen, um ein Haus zu bauen, das bereits größtenteils fertig ist; wir brauchen nur einen Handwerker, der an den kritischen Momenten ein paar lose Schrauben festzieht. REASONMAXXER ist dieser Handwerker, und er erledigt die Arbeit für ein paar Cent.

Technische Zusammenfassung: RL für das Schlussfolgern von LLMs neu denken

Problemstellung

Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) hat sich zum Standardparadigma zur Verbesserung der Schlussfolgerungsfähigkeiten bei Large Language Models (LLMs) entwickelt, wobei Systeme wie DeepSeek-R1 und OpenAI o1 signifikante Fortschritte demonstrieren. Die vorherrschende Annahme ist, dass RL es Modellen ermöglicht, durch belohnungsgetriebene Exploration genuinely neue Schlussfolgerungsstrategien zu erwerben. Neuere Erkenntnisse deuten jedoch darauf hin, dass RL möglicherweise keine neuen Fähigkeiten lehrt, sondern lediglich die Wahrscheinlichkeitsmasse über Lösungen neu verteilt, die das Basismodell bereits besitzt.

Dieser Artikel adressiert eine kritische Lücke: Während frühere Arbeiten identifiziert haben, dass die Effekte von RL an bestimmten Punkten konzentriert sind, operieren diese Studien dennoch innerhalb des RL-Rahmens. Die Autoren fragen, ob der RL-Optimierungsloop selbst notwendig ist, wenn der zugrundeliegende Mechanismus lediglich das Modell auf Pfade lenkt, die es bereits kennt. Sie hypothesieren, dass die Verbesserung des Schlussfolgerns keine Frage des Erwerbs von Fähigkeiten, sondern eine Frage der sparsamen Policy-Auswahl ist.

Methodik

1. Mechanistische Analyse von RL-Effekten

Die Autoren führten eine systematische Analyse auf Token-Ebene über mehrere Modellfamilien (Qwen, Mistral, DeepSeek) und RL-Algorithmen (GRPO, PPO, RLOO) durch. Sie verglichen die Ausgaben von Basismodellen mit ihren RL-getrainierten Gegenstücken bei identischen Prompts, um die Natur der Änderungen zu charakterisieren.

Sparsame Abweichung: Sie stellten fest, dass RL-Modelle an nur 1–3 % der Token-Positionen von den Basismodellen abweichen.
Konservatives Reranking: Die von RL-Modellen „geförderten" Tokens liegen fast ausschließlich innerhalb der Top-5-Kandidaten des Basismodells (mittlerer Rang ~2,2). RL führt selten neue Tokens ein; es hebt bestehende Alternativen hervor.
Entropielokalisierung: Diese Abweichungen treten fast ausschließlich an hoch-entropischen Entscheidungspunkten (verzweigenden Tokens) auf, bei denen das Basismodell unsicher ist, welchen Schlussfolgerungszweig es wählen soll. Die Entropie an diesen Positionen ist 5–12-mal höher als an unveränderten Positionen.
Kausale Verifikation: Mithilfe einer „Orakel-Intervention" ersetzten die Autoren Basismodell-Tokens durch die bevorzugten Tokens des RL-Lehrers nur an diesen Abweichungspunkten. Diese Intervention stellte exakt die Genauigkeit des RL-Modells wieder her und bewies, dass die sparsamen Änderungen kausal für den Leistungsgewinn verantwortlich sind. Zufällige Ersetzungen an diesen Punkten führten nicht zu einer Leistungsverbesserung.
Niedrige Dimensionalität: Die Autoren destillierten das Verhalten des RL-Lehrers in einen Low-Rank-LoRA-Adapter, der auf nur 100 Problemen trainiert wurde. Ein Adapter mit Rang 32 (der <0,5 % der Parameter modifiziert) reichte aus, um die gesamte Verteilungsänderung zu erfassen, was darauf hindeutet, dass die Korrektur im Parameterraum niedrigdimensional ist.

2. REASONMAXXER: Eine RL-freie Methode

Basierend auf diesen Erkenntnissen schlagen die Autoren REASONMAXXER vor, eine minimale, RL-freie Nachtrainierungsmethode, die den RL-Optimierungsloop vollständig umgeht.

Datenselektion: Die Methode sampelt Rollouts aus einem eingefrorenen Basismodell und behält nur Probleme bei, bei denen das Basismodell gemischten Erfolg zeigt (einige korrekt, einige falsch). Dies stellt das Vorhandensein eines zweiseitigen kontrastiven Signals sicher.
Identifikation von Entscheidungspunkten: Anstatt einen RL-Lehrer zur Identifikation kritischer Tokens zu verwenden, nutzt REASONMAXXER die eigene Token-Entropie des Basismodells als Gate. Positionen, bei denen die Entropie einen Schwellenwert $\tau$ überschreitet, werden als Entscheidungspunkte markiert.
Kontrastives Fine-Tuning:
- An Entscheidungspunkten: Ein gewichteter kontrastiver Verlust wird angewendet. Korrekte Rollouts verstärken die beobachteten Tokens, während falsche Rollouts sie bestrafen.
- An Nicht-Entscheidungspunkten: Ein Kullback-Leibler (KL)-Divergenz-Verlust verankert das Modell in der Basismodell-Verteilung, verhindert Overfitting und bewahrt das Verhalten des Basismodells dort, wo keine Korrektur erforderlich ist.
Architektur: Die Methode verwendet einen LoRA-Adapter, der an das Basismodell angehängt ist, wobei die Basismodel-Gewichte eingefroren bleiben.

Wichtige Ergebnisse

Die Autoren evaluierten REASONMAXXER über drei Modellfamilien, sechs Skalen und sechs mathematische Schlussfolgerungs-Benchmarks (MATH-500, GSM8K, AIME usw.) und verglichen es mit vollständigen RL-Baselines.

Leistungsäquivalenz: REASONMAXXER erreicht die Leistung von vollständig RL-getrainierten Modellen oder übertrifft sie. Beispielsweise erzielte REASONMAXXER auf Qwen2.5-7B 70,6 % auf MATH-500 und übertraf SimpleRL-Zoo (65,6 %) und näherte sich Open-Reasoner-Zero (73,2 %).
Drastische Kostenreduktion: Die Methode reduziert die Trainingskosten um zwei bis drei Größenordnungen.
- Rechenleistung: REASONMAXXER erfordert Minuten des Trainings auf einer einzelnen GPU (insgesamt einige zehn GPU-Stunden), während RL-Baselines hunderte bis zehntausende GPU-Stunden benötigen.
- Daten: REASONMAXXER trainiert auf 50 Problemen (unter Erzeugung von ~1.000 Sequenzen), während RL-Baselines oft an zehntausenden Problemen trainieren (z. B. 57.000 für Open-Reasoner-Zero).
- Monetäre Kosten: Geschätzte Trainingskosten für REASONMAXXER liegen zwischen 4 $ und 25 $, verglichen mit 200 $ bis 103.000 $ für RL-Baselines.
Generalisierung: Die Methode performt gut, selbst gegenüber Baselines, die fortschrittliche Verbesserungen nutzen (z. B. iteratives RL, modellbasierte Verifizierer, Daten aus mehreren Domänen), was darauf hindeutet, dass die Kernfortschritte in diesen Pipelines aus demselben Mechanismus der sparsamen Policy-Auswahl stammen.

Bedeutung und Behauptungen

Der Artikel stellt das Problem der Verbesserung des LLM-Schlussfolgerns von Fähigkeitserwerb auf sparsame Policy-Auswahl um.

RL ist nicht notwendig für Schlussfolgerungsgewinne: Die Autoren behaupten, dass der RL-Optimierungsloop keine Voraussetzung für die Verbesserung des Schlussfolgerns ist. Das „Signal", das RL erfasst, ist eine sparsame, vorhersehbare Korrektur an hoch-entropischen Entscheidungspunkten, die direkt durch kontrastives Fine-Tuning ohne Online-Exploration erlernt werden kann.
Das Basismodell enthält die Lösung: Die Ergebnisse deuten darauf hin, dass das Basismodell bereits die notwendigen Schlussfolgerungspfade und das Vokabular besitzt; es muss lediglich so gelenkt werden, dass es in Momenten der Unsicherheit den korrekten Zweig wählt.
Effizienz vor Infrastruktur: Der Artikel fordert die Standardinvestition der Community in schwere RL-Infrastrukturen heraus. Er argumentiert, dass die Komplexität des Problems (sparsame Auswahl) die Komplexität der Lösung (massive RL-Pipelines) nicht rechtfertigt und damit den Weg für weitaus effizientere Nachtrainierungsmethoden ebnet.

Zusammenfassend demonstrieren die Autoren, dass durch die Identifizierung und Korrektur nur der kritischen, hoch-entropischen Entscheidungspunkte unter Verwendung der eigenen Signale des Basismodells die Vorteile von RL mit einem Bruchteil der Daten und Rechenleistung repliziert werden können, was die Kosten-Nutzen-Analyse des Trainings von Schlussfolgerungsmodellen grundlegend verändert.