🤖 AI

How You Begin is How You Reason: Driving Exploration in RLVR via Prefix-Tuned Priors

Dieser Artikel stellt das Information-Maximizing Augmented eXploration (IMAX)-Rahmenwerk vor, das den Entropiekollaps beim Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) durch das Training weicher Präfixe zur Umgestaltung von Modellpriors und den Einsatz einer InfoMax-Belohnung adressiert, wodurch die Schlussfolgerungsleistung und die Trajektorienvielfalt über verschiedene Größenordnungen großer Sprachmodelle hinweg erheblich verbessert werden.

Ursprüngliche Autoren: Yifan Xu, Junren Chen, Yifan Chen

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifan Xu, Junren Chen, Yifan Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein brillantes, gefrorenes Genie (ein Large Language Model), das unglaublich gut darin ist, Matheprobleme zu lösen, aber dazu neigt, in einer Sackgasse stecken zu bleiben. Wenn Sie es bitten, ein Problem zu lösen, gibt es Ihnen vielleicht 80 % der Zeit die richtige Antwort, aber es löst es immer auf exakt dieselbe Weise. Wenn es bei einer bestimmten Art von Problem feststeckt, versucht es immer wieder dieselbe fehlerhafte Strategie. Dies nennt das Papier „Entropie-Kollaps" – das Modell wird zu vorhersehbar und hört auf, neue, potenziell bessere Denkweisen zu erkunden.

Das Papier schlägt eine neue Methode namens IMAX (Information-Maximizing Augmented eXploration) vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Das „Einheits-Genie"

Stellen Sie sich das KI-Modell als einen Meisterkoch vor, der eine feste Reihe von Rezepten hat. Wenn Sie um einen Kuchen bitten, backt er jedes Mal einen perfekten Vanillekuchen. Aber wenn Sie um einen „Schokoladenkuchen" bitten und er nur weiß, wie man Vanillekuchen backt, könnte er scheitern.
Aktuelle Methoden versuchen, dies zu beheben, indem sie dem Koch sagen: „Versuchen Sie, zufälliger zu sein!" Dies führt jedoch meist nur dazu, dass der Koch zufällige Zutaten in den Topf wirft und ein Chaos erzeugt (rauschhafte, qualitativ minderwertige Antworten).

Die Lösung: Das „Magische Stirnband" (Weiche Präfixe)

Anstatt den gesamten Koch neu zu trainieren (was teuer und langsam ist), setzen die Autoren dem Koch ein magisches Stirnband auf.

Das Stirnband: Dies ist ein „weiches Präfix" – eine winzige, unsichtbare Reihe von Anweisungen, die an den Anfang Ihrer Frage angehängt wird.
Der Trick: Das Gehirn des Kochs (das Modell) bleibt eingefroren und unverändert. Aber je nachdem, welches Stirnband er trägt, ändert er seinen gesamten Ansatz für das Problem.
- Stirnband A sagt dem Koch: „Löse dies wie ein Mathematiker, Schritt für Schritt mit Gleichungen."
- Stirnband B sagt dem Koch: „Löse dies wie ein Detektiv, indem Sie es in Fälle zerlegen und das Unmögliche ausschließen."
- Stirnband C sagt dem Koch: „Löse dies wie ein Programmierer, indem Sie ein schnelles Skript schreiben."

Die Innovation: Der „Vielfaltstrainer" (InfoMax-Belohnung)

Hier kommt der clevere Teil. Wenn Sie dem Koch einfach nur diese Stirnbänder geben, könnten sie alle schließlich auf dieselbe Weise handeln. Um dies zu verhindern, fügen die Autoren einen Vielfaltstrainer hinzu (die InfoMax-Belohnung).

Stellen Sie sich ein Spiel vor, bei dem der Koch verschiedene Stirnbänder trägt, um dasselbe Rätsel zu lösen. Der Vielfaltstrainer beobachtet die Lösungen und fragt:

„Hat Stirnband A eine völlig andere Lösung als Stirnband B produziert?"
„Sind beide korrekt?"

Wenn Stirnband A und Stirnband B beide exakt dieselbe langweilige Antwort produzieren, verhängt der Trainer eine Strafe. Aber wenn Stirnband A Algebra verwendet und Stirnband B Geometrie, und beide die richtige Antwort finden, gibt der Trainer einen Bonus.

Dies zwingt das System, einen Pool von Stirnbändern zu lernen, wobei jedes eine einzigartige, hochwertige Denkweise freischaltet, die die anderen nicht nutzen.

Das Ergebnis: Ein Team spezialisierter Denker

Am Ende des Trainings haben Sie nicht nur eine KI, die in allem „okay" ist. Sie haben eine gefrorene KI, die je nachdem, welches „Stirnband" Sie ihr aufsetzen, sofort zwischen einem Mathematiker, einem Detektiv und einem Programmierer wechseln kann.

Das Papier testete dies an schwierigen Matheproblemen. Sie stellten fest, dass:

Bessere Abdeckung: Anstatt nur einmal die richtige Antwort zu erhalten (Pass@1), konnte das System die richtige Antwort auf mehrere verschiedene Arten finden (Pass@4 und Avg@4 verbesserten sich erheblich).
Kein Chaos: Im Gegensatz zu älteren Methoden, die einfach zufälliges Rauschen hinzufügten, behielt diese Methode die hohe Qualität der Antworten bei und machte sie gleichzeitig vielfältig.
Effizienz: Da sie nur die winzigen „Stirnbänder" und nicht das gesamte riesige Gehirn trainierten, war es viel schneller und kostengünstiger auszuführen.

Kurz gesagt: Das Papier lehrt uns, dass wir statt zu versuchen, ein intelligentes Modell zu zwingen, zufälliger zu sein, ihm eine Reihe von „mentalen Modi" (Präfixe) geben und es trainieren können, jeden Modus für eine andere, einzigartige und korrekte Art der Problemlösung zu nutzen.

Technische Zusammenfassung: Wie du beginnst, ist wie du schließt: Steuerung der Exploration in RLVR durch prefix-abgestimmte Priors

1. Problemstellung

Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) hat sich als leistungsfähiges Paradigma zur Verbesserung der Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLM) in Aufgaben wie dem Lösen mathematischer Probleme und dem Beweisen von Theoremen etabliert. Die Autoren identifizieren jedoch eine kritische Einschränkung bestehender RLVR-Ansätze: den Entropie-Kollaps.

Während RLVR oft die Genauigkeit bei einzelnen Durchläufen (Pass@1) verbessert, versagt es häufig darin, den Umfang erfolgreicher Schlussfolgerungspfaden zu erweitern. Dies äußert sich in einer Verringerung der Ausgabevielfalt, wobei das Modell auf einen engen Satz von Schlussfolgerungspfaden konvergiert. Bestehende Explorationsmethoden, wie Entropie-Regularisierung oder intrinsische Belohnungen, behandeln die Verteilung des Basismodells oft als feststehend und versuchen, das RL-Ziel oder das Stichprobenverfahren zu modifizieren. Die Arbeit argumentiert, dass diese Methoden unzureichend sind, da RL stark durch die Prior-Verteilung des Basismodells geprägt wird. Darüber hinaus führen passive Explorationsmethoden häufig zu einer Verschlechterung der Generierungsqualität, was zu verrauschten Durchläufen führt, die keinen Beitrag zur effektiven Schlussfolgerung leisten.

Die Kernherausforderung besteht darin, eine effektive Exploration zu fördern – die Entdeckung vielfältiger, aufgabenrelevanter und hochwertiger Schlussfolgerungsverhalten – ohne die Policy in redundante oder minderwertige Trajektorien kollabieren zu lassen und ohne die Rechenkosten der Aktualisierung aller Modellparameter.

2. Methodik: IMAX-Rahmenwerk

Die Autoren schlagen Information-Maximizing Augmented eXploration (IMAX) vor, ein leichtgewichtiges Rahmenwerk, das das Optimierungsziel von den LLM-Parametern auf Soft-Prompt-Tuning verlagert. Anstatt den RL-Prozess auf einem festen Prior aufzubauen, lernt IMAX einen Pool von weichen Präfixen, die die Prior-Verteilung des Modells über Schlussfolgerungspfaden aktiv umgestalten.

2.1 Präfix-konditionierte Schlussfolgerung

Der Kernmechanismus umfasst einen Pool von $C$ weichen Präfixen (kontinuierliche virtuelle Token) $\mathcal{E} = \{e_1, \dots, e_C\}$ . Für einen gegebenen Eingabe-Prompt $x$ wird ein Präfix $e_z$ an die Eingabe-Embedding-Sequenz angehängt. Das Backbone-LLM bleibt eingefroren, und die Policy $\pi_E(y|x, z)$ wird sowohl vom Prompt als auch von der ausgewählten Präfix-Identität $z$ konditioniert.

Initialisierung: Präfixe werden aus einem Pool semantisch bedeutsamer Text-Prompts (z. B. „Führe Variablen explizit ein", „Partitioniere in Fälle") initialisiert, die von einem externen LLM generiert wurden. Dies stellt sicher, dass die Präfixe mit unterschiedlichen Schlussfolgerungsstrategien starten.
Steuerung: Jedes Präfix fungiert als „Regler", der eine unterschiedliche Durchlaufverteilung induziert und das Modell in verschiedene Bereiche seines Schlussfolgerungsraums lenkt (z. B. algebraische vs. diagrammatische vs. code-ähnliche Lösungen).

2.2 Informationsmaximierende (InfoMax) Belohnung

Um zu verhindern, dass der gelernte Präfix-Pool in redundante Steuerungen kollabiert (wobei verschiedene Präfixe identische Trajektorien induzieren), führen die Autoren eine InfoMax-Belohnung ein. Das Ziel ist die Maximierung der gegenseitigen Information (MI) zwischen der Präfix-Identität $Z$ und der generierten Trajektorie $Y$ , konditioniert auf den Prompt $X$ :
$I(Z; Y | X) = H(Y | X) - H(Y | X, Z)$
Intuitiv ermutigt dies verschiedene Präfixe, für dieselbe Frage unterscheidbare, gültige Schlussfolgerungsverhalten zu produzieren.

2.3 Variationale Untere Schranke und Training

Die direkte Berechnung der gegenseitigen Information ist nicht handhabbar. Die Autoren leiten eine variationale untere Schranke unter Verwendung einer variationalen Posterior-Verteilung $q_\phi(z | x, y)$ ab, die ein leichtgewichtiges Klassifikator-Modell ist, das trainiert wird, um vorherzusagen, welches Präfix eine bestimmte Antwort $y$ gegeben Prompt $x$ generiert hat.

Reverse-Form: Sie nutzen die Reverse-Zerlegung der MI: $I(Z; Y | X) = H(Z | X) - H(Z | X, Y)$ .
Formulierung der Belohnung: Die InfoMax-Belohnung wird als $\log q_\phi(z | x, y)$ definiert. Das Gesamtziel für den Präfix-Pool wird zu:
$\max_E \mathbb{E} [R(x, y) + \beta \log q_\phi(z | x, y)]$
wobei $R(x, y)$ die Standard-Belohnung für Überprüfbarkeit (Korrektheit) ist und $\beta$ ein Hyperparameter.

2.4 Alternierende Optimierung

Das Trainingsverfahren folgt einem Schema der alternierenden Optimierung (Coordinate Ascent Variational Inference):

Update Posterior ( $q_\phi$ ): Mit festem Präfix-Pool wird der Klassifikator $q_\phi$ aktualisiert, um die Präfix-Identität aus dem Prompt-Antwort-Paar vorherzusagen (generiert ohne das weiche Präfix, um Informationsleckagen zu verhindern).
Update Präfix-Pool ( $E$ ): Mit festem $q_\phi$ werden die weichen Präfixe unter Verwendung eines Group Relative Policy Optimization (GRPO)-Algorithmus aktualisiert, der um die InfoMax-Belohnung erweitert ist.
Stratifizierte Stichprobenziehung: Während des Trainings wird jeder Prompt mit unterschiedlichen Präfix-Identitäten gepaart, um eine gleichmäßige Abdeckung des Präfix-Raums innerhalb jeder GRPO-Gruppe sicherzustellen.

3. Hauptbeiträge

Leichtgewichtiges RLVR-Paradigma: Die Arbeit stellt eine Methode vor, um Schlussfolgerungen zu verbessern, indem ein Pool weicher Prompts optimiert wird, anstatt aller Modellparameter. Dies gestaltet die bedingte Generierungsverteilung eines eingefrorenen Modells neu, ohne den Rechenaufwand eines vollständigen Fine-Tunings.
InfoMax-Belohnung für Vielfalt: Die Autoren schlagen eine auf Antwortebene angewandte InfoMax-Belohnung vor, die explizit fördert, dass verschiedene Präfixe unterscheidbare, aufgabenrelevante Schlussfolgerungspfaden induzieren, und verhindert, dass der Präfix-Pool in redundante Steuerungen kollabiert.
Empirische Validierung: Umfassende Experimente an Benchmarks für mathematische Schlussfolgerung (GSM8K, MATH-500, Minerva, AMC) über drei Modellgrößen (Qwen2.5-1.5B, Qwen3-4B, Qwen3-8B) zeigen, dass IMAX sowohl die Qualität als auch die Vielfalt der Schlussfolgerungen verbessert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten IMAX gegen mehrere Baselines, darunter Full-Policy GRPO, Text-Prompt-Initialisierung und andere auf Vielfalt ausgerichtete RLVR-Methoden (DIVER, MERCI).

Leistungssteigerungen: IMAX schnitt bei Standard-Baselines für prefix-abgestimmtes RLVR konsistent besser ab.
- Bei Qwen3-4B verbesserte IMAX Pass@4 um bis zu 11,60 % und Avg@4 um 10,57 % im Vergleich zu Standard-Baselines auf spezifischen Benchmarks.
- Bei Qwen3-8B zeigte DAPO+IMAX signifikante Verbesserungen gegenüber DAPO-prefix auf GSM8K, MATH-500 und Minerva.
Vielfalt und Abdeckung:
- t-SNE-Analyse: Visualisierungen von Antwort-Embeddings zeigten, dass durch IMAX induzierte Präfixe im Vergleich zu anderen Methoden zu stärker getrennten Clustern führten, was auf eine stärkere Vielfalt innerhalb der Gruppe hindeutet.
- Schlussfolgerungskomponenten: Heatmaps zeigten, dass verschiedene Präfixe erfolgreich unterschiedliche Schlussfolgerungsmuster induzierten (z. B. Präfix 1 begünstigte algebraische Manipulation, Präfix 2 begünstigte die Partitionierung in Fälle und Verifikation), was mit ihrer semantischen Initialisierung übereinstimmte.
- Oracle-Leistung: Die kombinierte Leistung mehrerer Präfixe (Oracle) übertraf das beste einzelne Präfix, was bestätigt, dass die Präfixe komplementäre erfolgreiche Bereiche des Problemraums abdecken.
Effizienz: IMAX erfordert deutlich geringere Trainingskosten (3,0- bis 6,0-mal weniger GPU-Stunden) im Vergleich zu Full-Parameter GRPO, da nur die leichten Präfix-Embeddings und der Klassifikator-Kopf aktualisiert werden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass wie ein Modell einen Schlussfolgerungsprozess beginnt (der Prior) grundlegend bestimmt, wie es schließt. Indem weiche Prompts als wiederverwendbare Steuerungsvariablen behandelt werden, bietet IMAX eine skalierbare Lösung für das Explorationsproblem in RLVR.

Algorithmus-unabhängig: Das Rahmenwerk ist so konzipiert, dass es nahtlos in bestehende RLVR-Pipelines (z. B. GRPO, DAPO) integriert werden kann.
Strukturierte Vielfalt: Im Gegensatz zu Methoden, die einfach die Zufälligkeit erhöhen, fördert IMAX eine strukturierte Schlussfolgerungsvielfalt und stellt sicher, dass die Exploration zu semantisch unterschiedlichen und hochwertigen Pfaden führt.
Bescheidene Einschränkungen: Die Autoren räumen ein, dass die Methode primär für Schlussfolgerungsaufgaben konzipiert ist und nur begrenzte Gewinne bei allgemeinen Aufgaben zur Befolgung von Anweisungen zeigt. Darüber hinaus hängt die Wirksamkeit von der Qualität der initialen Text-Prompts ab, die möglicherweise ein manuelles Design oder eine Nachjustierung über verschiedene Domänen hinweg erfordern. Die gelernten Präfixe führen zudem einen persistenten, wenn auch geringen, Overhead während der Inferenz ein.

Zusammenfassend zeigt IMAX, dass die Optimierung des „Beginns" des Generierungsprozesses durch weiche Präfixe eine hochwirksame Strategie ist, um die Exploration voranzutreiben und die Schlussfolgerungsfähigkeiten in LLMs zu verbessern, und bietet eine rechnerisch effiziente Alternative zum Reinforcement Learning mit vollständiger Policy.