🤖 AI

Instruction-Conditioned Exploration with Asymmetric Reinforcement Learning and Self-Distillation

Dieses Paper schlägt Instruction-Conditioned Exploration (ICE) in Kombination mit einem asymmetrischen Reinforcement-Learning- und Self-Distillation-Ziel vor, um die Exploration von LLMs zu verbessern und vielfältige Verhaltensweisen auf die Testzeit-Policy zu übertragen, wodurch signifikante Leistungssteigerungen bei mathematischen Aufgaben der logischen Schlussfolgerung erzielt werden.

Ursprüngliche Autoren: Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

Veröffentlicht 2026-08-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, ein kniffliges Rätsel zu lösen. Sie besitzen ein mächtiges Werkzeug namens „Reinforcement Learning“ (RL), das wie ein Videospiel-Coach funktioniert. Der Roboter probiert einen Zug aus, erhält ein „Gut gemacht!“ oder ein „Versuch es nochmal“-Signal und lernt so langsam, zu gewinnen. Aber der Haken dabei ist: In der Welt der Large Language Models (LLMs) – also jener KI-Gehirne, die Texte schreiben und Matheaufgaben lösen – sind die „Züge“ keine einfachen Knöpfe wie „Springen“ oder „Schießen“. Es sind Wörter. Und es gibt Zehntausende von Wörtern zur Auswahl.

Wenn man dem Roboter einfach nur sagt: „Probiere wahllos Dinge aus“, um zu lernen, produziert er meistens nur Kauderwelsch. Das zufällige Vertauschen eines Wortes in einem Satz ist so, als würde man versuchen, einen Automotor zu reparieren, indem man wahllos Ersatzteile auf ihn wirft; das funktioniert selten. Daher neigt der Roboter dazu, immer wieder dieselben wenigen Dinge zu tun, die er bereits kennt, wodurch er clevere neue Wege zur Problemlösung verpasst. Die große Frage für Wissenschaftler lautet: Wie bringen wir diese KI-Gehirne dazu, neue und vielfältige Denkweisen zu erforschen, ohne dass sie einfach nur Unsinn reden? Diese Arbeit widmet sich genau diesem Problem und schlägt einen klugen Weg vor, den Roboter dazu zu zwingen, während des Lernens verschiedene „Strategien“ auszuprobieren, und ihm dann beizubringen, wie er diese Strategien auch dann anzuwenden, wenn die Hinweise fehlen.

Die Strategie der „Geheimen Anweisung“

Die Forscher, Jim Dilkes und sein Team von der University of Southampton, haben eine Methode entwickelt, die sie Instruction-Conditioned Exploration (ICE) nennen. Stellen Sie sich das so vor: Stellen Sie sich vor, Sie trainieren einen Schachspieler. Anstatt nur zu sagen: „Spiele eine Partie“, geben Sie ihm für jede einzelne Partie eine andere „geheime Anweisung“. Auf einem Blatt steht zum Beispiel: „Konzentriere dich heute nur auf den Angriff auf der Königsseite“, während auf einem anderen steht: „Verteidige deine Bauern um jeden Preis.“

In der Methode der vorliegenden Arbeit nehmen sie eine Matheaufgabe und hängen eine von mehreren verschiedenen „Verhaltensanweisungen“ daran an. Dies sind keine Lösungen; es sind lediglich lenkende Hinweise wie „Suche nach Symmetrie in dieser Aufgabe“ oder „Versuche, sie in kleinere Teile zu zerlegen“. Indem sie die KI zwingen, Antworten, während sie diese verschiedenen „Hüte“ trägt, erkundet das Modell eine viel größere Vielfalt an Lösungen, als es dies von sich aus tun würde. Es ist, als würde man einen Schüler zwingen, dieselbe Matheaufgabe fünf verschiedene Male zu lösen, nur um zu sehen, welche Methode am besten funktioniert.

Der Lehrer und der Schüler

Hier geschieht die Magie. Das KI-Modell spielt tatsächlich zwei Rollen gleichzeitig: einen Lehrer und einen Schüler.

Der Lehrer: Diese Version der KI erhält die „geheimen Anweisungen“ (die Instruktionen). Sie versucht, die Probleme unter Verwendung dieser Hinweise zu lösen. Wenn sie eine wirklich gute Antwort findet, erhält sie eine Belohnung.
Der Schüler: Diese Version der KI ist die „echte“, die wir später verwenden wollen. Sie sieht die Anweisungen niemals. Sie sieht nur die reine Matheaufgabe.

Das Team nutzt einen speziellen Trainings-Trick namens Asymmetric-RL/SD. Es ist ein wenig so, als würde ein Meisterkoch (der Lehrer) ein köstliches Gericht mit einer geheimen Gewürzmischung kochen. Der Schüler (der Student) beobachtet den Koch, kostet das fertige Gericht und versucht zu lernen, wie man so gut kocht, dass man diesen köstlichen Geschmack allein mit Grundzutaten reproduzieren kann, ganz ohne die geheime Gewürzmischung.

Die Forscher fanden heraus, dass, indem sie den Lehrer mit den Hinweisen explorieren lassen und dieses Wissen dann an den Schüler „destillieren“ (übertragen), der Schüler viel besser darin wird, Probleme eigenständig zu lösen.

Was sie herausgefunden haben

Das Team testete dies an einem spezifischen KI-Modell namens Qwen3-1.7B (einem „kleinen“ Modell, das auf Laptops und Handys laufen kann), das Matheaufgaben löst. Sie verglichen ihre neue Methode mit einer Standard-Trainingstechnik namens DAPO.

Das Ergebnis: Als das Modell mit ihrer „Geheimen Anweisungs“-Methode (ICE) und dem „Lehrer-zu-Schüler“-Transfer (Asymmetric-RL/SD) trainiert wurde, verbesserte es sich bei der korrekten Lösung von Matheaufgaben beim ersten Versuch um 5,0 % im Vergleich zur Standardmethode.
Der Beweis: Dies war kein Zufall. Sie führten das Experiment fünfmal mit verschiedenen Zufallswerten (Random Seeds) durch (wie beim fünfmaligen Würfeln) und ihre Methode gewann alle 5 Mal. Die Verbesserung war konsistent genug, dass die Forscher sehr zuversichtlich sind, dass es sich um einen echten Effekt und nicht um bloßes Glück handelt.
Das langfristige Ziel: Sie testeten dies auch mit längeren Antworten (8K Kontextlänge), und das Modell verbesserte sich zwar immer noch, aber der Zuwachs war etwas geringer.

Es gibt jedoch eine Grenze. Als sie dies an einem größeren Modell (4B Parameter) testeten, verbesserte die Methode die Ergebnisse im Vergleich zum Standardtraining nicht. Dies deutet darauf an, dass dieser „Anweisungs“-Trick am besten für kleinere Modelle funktioniert, die sich gerade an der Grenze dessen befinden, was sie lösen können, und ihnen hilft, neue Höhen zu erreichen, die sie allein nicht erreichen könnten.

Warum das wichtig ist

Der coolste Teil ist, dass man die Anweisungen nicht mehr benötigt, sobald das Training abgeschlossen ist. Das „Schüler“-Modell ist bereit, Matheaufgaben eigenständig zu lösen, ohne zusätzliche Anweisungen. Das bedeutet, dass Sie eine intelligentere, fähigere KI auf Ihrem Handy oder Laptop erhalten können, ohne eine riesige Liste von Hinweisen mit sich führen zu müssen. Es ist ein Weg, die KI während ihrer „Schulzeit“ kreativer und gründlicher werden zu lassen, damit sie für den Rest ihres Lebens ein besserer Problemlöser wird.

Die Forscher geben zu, dass sie noch herausfinden müssen, wie weit dies genau geht, da es bei dem größeren Modell, das sie getestet haben, nicht funktionierte. Aber für die kleineren, alltäglichen KI-Modelle, die unsere Geräte antreiben, sieht diese „Instruction-Conditioned Exploration“ wie ein vielversprechender neuer Weg aus, um ihnen zu helfen, über den Tellerrand hinauszuschauen.

Technisches Resümee: Instruktionsgesteuerte Exploration mit asymmetrischem Reinforcement Learning und Selbst-Distillation

1. Problemstellung

Das Reinforcement Learning (RL) Post-Training hat sich zu einer Standardmethode zur Verbesserung von Large Language Models (LLMs) entwickelt, insbesondere für Aufgaben mit verifizierbaren Ergebnissen. Die Autoren argumentieren jedoch, dass klassische RL-Explorationsmethoden, die auf stochastischer Aktionsauswahl beruhen (z. B. $\epsilon$ -greedy oder Rauschinjektion), für LLMs ungeeignet sind. Bei LLMs sind „Aktionen“ Token aus riesigen Vokabularen, die kohärente Sequenzen bilden müssen; zufällige Token-Ebene-Perturbationen führen typischerweise zu inkohärentem Text statt zu neuartigen, lebensfähigen Trajektorien.

Darüber hinaus deuten jüngste Studien darauf hin, dass das RL Post-Training dazu neigt, die Ausgabeverteilung des Modells zu „schärfen“, was die Wahrscheinlichkeit bekannter korrekter Antworten erhöht, aber die Abdeckung diverser Verhaltensweisen (Support Shrinkage) reduziert. Dies begrenzt die Fähigkeit des Modells, neue Denkstrategien zu entdecken. Bestehende Explorationsmethoden operieren entweder auf der Token-Ebene (versagen bei der Adressierung semantischer Diversität) oder verlassen sich auf Kontext-Mediation, der es an expliziten Mechanismen mangelt, um Trainingszeit-Verhaltensweisen auf Testzeit-Policies zu übertragen. Die Kernherausforderung besteht darin, während des Trainings eine diverse Exploration zu induzieren, ohne die Performance der unkonditionierten Policy zum Zeitpunkt der Inferenz zu beeinträchtigen.

2. Methodik

Das Paper schlägt ein zweiteiliges Framework vor: Instruction-Conditioned Exploration (ICE) für die Diversität während des Trainings und Asymmetric-RL/SD für den Verhaltenstransfer.

2.1 Instruction-Conditioned Exploration (ICE)

ICE ist ein template-basierter Ansatz zur „Support-Komposition“. Anstatt sich auf zufällige Token-Perturbationen zu verlassen, ergänzt ICE den Task-Prompt $x$ mit einer Verhaltensinstruktion $I$ , die aus einer festen Menge $\mathcal{I} = \{I_1, \dots, I_N\}$ gezogen wird.

Teacher Policy: Während des Trainings generiert das Modell (als Lehrer agierend) Rollouts, die auf $x + I$ konditioniert sind. Diese Instruktionen bieten eine High-Level-Steuerung (z. B. „Frage: Welche Symmetrie weist dieses Problem auf?“), um das Modell in Richtung distinkter Problemlösungsstrategien zu drängen.
Composite Policy: Die Trainings-Policy wird zu einer Mischung: $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$ . Dies verbreitert den Support der generierten Textverteilung im Verhältnis zu einem singulären Task-Prompt.
Trade-off: Während dies die Abdeckung von Strategien erhöht, besteht das Risiko, dass nicht hilfreiche Instruktionen eingeführt werden, welche die Genauigkeit reduzieren.

2.2 Asymmetric-RL/SD

Um die durch die instruktionsgesteuerte Exploration gelernten Verhaltensweisen der instruktionsgesteuerten Teacher-Policy auf die unkonditionierte Testzeit-Policy zu übertragen, führen die Autoren ein Asymmetric-RL/SD-Ziel ein, das Reinforcement Learning und Knowledge Distillation kombiniert.

Teacher ( $\pi^T_\theta$ ): Die instruktionsgesteuerte Policy.
Student ( $\pi^S_\theta$ ): Die unkonditionierte Policy (verwendet zur Testzeit), die dieselben Parameter $\theta$ wie der Teacher teilt.
Zielfunktion: Die Trainingszielgröße $J(\theta)$ $J (θ)$ kombiniert:
1. RL-Term: Einen Reward-maximierenden Term für die Teacher-Policy (unter Verwendung der DAPO-Variante von GRPO).
2. Distillation-Term: Einen Forward-KL-Divergenz-Term ( $J^{KL}_S$ ), der die Student-Policy zu den korrekten Rollouts des Teachers zieht.
Asymmetrie: Im Gegensatz zu Standard-Selbst-Distillation, die oft Rewards für beide Policies ausbalanciert, setzt Asymmetric-RL/SD das Student-Reward-Gewicht auf $\alpha=1$ (Teacher-only Reward Maximization) und wendet den KL-Term nur auf den Student an, wobei die Teacher-Rollouts auf solche mit korrekten Antworten ( $R=1$ ) gefiltert werden. Dies stellt sicher, dass der Student lernt, nützliche, verifizierte Verhaltensweisen zu replizieren, die vom Teacher entdeckt wurden, ohne dafür bestraft zu werden, dass der Teacher auch falsche Pfade exploriert.

3. Zentrale Beiträge

Instruction-Conditioned Exploration (ICE): Eine neuartige Methode zur Induktion diverser Rollouts während des RL Post-Trainings, indem die Generierung auf eine Menge distinkter, High-Level-Verhaltensinstruktionen konditioniert wird, wodurch der Support der Policy während des Trainings erweitert wird.
Asymmetric-RL/SD Objective: Ein neues Trainingsziel, das RL auf einer Teacher-Policy mit Forward-KL Selbst-Distillation an einen unkonditionierten Student kombiniert. Dies überträgt explizit die Vorteile der instruktionsgesteuerten Exploration auf die Testzeit-Policy.
Empirische Validierung: Eine Multi-Seed-Studie über verschiedene Modellskalen (1.7B, 4B) und Kontextlängen (4K, 8K), die die Wirksamkeit des Ansatzes bei mathematischen Reasoning-Aufgaben demonstriert.

4. Ergebnisse

Die Experimente wurden unter Verwendung von Qwen3-Modellen auf Benchmarks für mathematisches Reasoning (AIME, HMMT, MATH-500) durchgeführt.

1.7B / 4K Setting:
- ICE mit Asymmetric-RL/SD verbesserte das held-out pass@1 um 5,0 % im Vergleich zum DAPO-Baseline.
- Diese Konfiguration erreichte 5/5 Benchmark-Siege mit einem 95 % Bootstrap-Konfidenzintervall, das Null ausschließt.
- Die Verbesserung gegenüber der alleinigen Verwendung von RL mit Instruktionen (ohre den Distillation-Term) war kleiner und weniger signifikant, was darauf hindeutet, dass das explizite Distillationssignal entscheidend für den Transfer ist.
- Das Training wurde durch die Einbeziehung diverser Instruktionen nicht verlangsamt.
1.7B / 8K Setting:
- Es wurde eine kleinere, aber beständige Verbesserung von 3,5 % (3/5 Siege) beobachtet, was zeigt, dass die Methode auf längere Kontexte generalisiert, wenn auch der Gewinn schwächer ausfällt.
4B / 4K Setting:
- Die Methode verbesserte DAPO nicht (Ergebnis war eine Änderung von -3,3 %). Die Autoren merken an, dass das 4B-Basismodell möglicherweise bereits über ausreichende Fähigkeiten verfügt, was weniger „Spielraum“ lässt, als explorative Strategien im Vergleich zum 1.7B-Modell einen Mehrwert bieten könnten.
Coverage vs. Accuracy:
- Während RL Post-Training typischerweise pass@1 erhöht, aber pass@k (Coverage) bei hohem $k$ verringert, verbesserte Asymmetric-RL/SD pass@1 gegenüber DAPO bei gleichzeitig vergleichbarer Coverage.
- Das Sampling mit den Verhaltensinstruktionen zur Inferenzzeit (selbst für das Basismodell) stellte eine hohe Coverage wieder her, was darauf hindeutet, dass die Instruktionen selbst korrekte Lösungen unabhängig vom RL-Prozess hervorbringen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass instruktionsgesteuerte Exploration, gepaart mit einem expliziten Selbst-Distillations-Transfermechanismus, die held-out Reasoning-Fähigkeiten kleiner Sprachmodelle (speziell im 1.7B-Maßstab) über Standard-RL-Baselines wie DAPO hinaus verbessern kann.

Die von den Autoren hervorgehobenen zentralen Implikationen sind:

Kosteneffizienz: Die Methode verursacht keine zusätzlichen Inferenzkosten; die Testzeit-Policy ist unkonditioniert und standardisiert. Die Gewinne werden vollständig durch einen modifizierten Trainingsprozess erzielt.
Nutzen für kleine Modelle: Die Verbesserung kleiner Modelle ist entscheidend für den Einsatz auf Consumer-Geräten (Smartphones, Laptops), auf denen größere Modelle nicht praktikabel sind.
Wirkungsmechanismus: Die Ergebnisse legen nahe, dass Parameter-Sharing allein nicht ausreicht, um die Verhaltensweisen des Teachers zu übertragen; das explizite Forward-KL-Distillationssignal ist notwendig, um die entdeckten Strategien des Teachers in die Student-Policy zu integrieren.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass die Gewinne nicht auf das 4B-Modell unter den getesteten Bedingungen übertragbar waren und dass die Studie auf mathematisches Reasoning mit binären Rewards beschränkt ist. Sie positionieren ihre Arbeit als einen Schritt zur Charakterisierung dessen, wo solche Gewinne über verschiedene Modellskalen und Kontexte hinweg Bestand haben.