💬 NLP

EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

Die Arbeit stellt EEPO vor, ein Framework für das Reinforcement Learning von Sprachmodellen, das durch einen zweistufigen Rollout-Prozess mit adaptivem „Vergessen" bereits gesammelter Antworten die Exploration verbessert und so die Entropie-Kollaps-Problematik bestehender Methoden überwindet.

Ursprüngliche Autoren: Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

EEPO: Wie man KI-Modelle daran hindert, sich in einer einzigen Denkweise zu verfangen

Stellen Sie sich vor, Sie versuchen, ein sehr kluges Kind (ein großes KI-Modell) beizubringen, schwierige Mathe-Rätsel zu lösen. Das Ziel ist es, dass es nicht nur eine Lösung findet, sondern die beste Lösung und dabei lernt, flexibel zu denken.

Das Problem, das die Forscher in diesem Papier beschreiben, ist wie folgt:

1. Das Problem: Der „Gedanken-Teppich" (Entropie-Collapse)

Aktuelle Methoden (wie GRPO) funktionieren so: Das Kind versucht viele Lösungen. Wenn es eine Lösung findet, die richtig ist, bekommt es einen großen Applaus (Belohnung). Das Kind freut sich und denkt: „Wow, das war toll! Ich mache das genau so nochmal!"

Das Problem entsteht, wenn das Kind zu schnell lernt, dass nur ein bestimmter Weg zum Erfolg führt. Es verliert die Lust, andere Wege auszuprobieren.

Die Metapher: Stellen Sie sich vor, das Kind läuft jeden Tag den gleichen Weg zur Schule, weil er am schnellsten ist. Es vergisst, dass es auch andere Straßen gibt. Wenn sich die Hauptstraße plötzlich sperrt (weil die Aufgabe anders ist), weiß das Kind nicht mehr weiter. In der KI-Sprache nennt man das Entropie-Collapse: Die Vielfalt der Gedanken verschwindet, das Modell wird starr und überträgt sein Wissen nicht auf neue, unbekannte Situationen.

2. Die alten Lösungen: „Machen wir es einfach chaotisch"

Bisher haben Forscher versucht, dieses Problem zu lösen, indem sie das Kind einfach „verwirrter" machten (z. B. durch höhere Temperatur beim Schreiben).

Die Metapher: Das ist wie wenn man dem Kind eine Brille aufsetzt, durch die alles verschwimmt. Es läuft zwar nicht mehr immer den gleichen Weg, aber es stolpert auch viel herum und findet selten den richtigen Weg. Es ist chaotisch, aber nicht clever.

3. Die neue Lösung: EEPO – „Probieren, Vergessen, Neu-Probieren"

Die Autoren stellen eine neue Methode vor, die sie EEPO nennen. Das Herzstück ist ein cleverer Trick, den sie „Sample-then-Forget" (Probieren und dann Vergessen) nennen.

Stellen Sie sich EEPO wie einen strengen, aber klugen Trainer vor, der zwei Runden des Denkens anordnet:

Runde 1 (Das Probieren): Das KI-Modell denkt sich eine Hälfte der möglichen Lösungen aus.
Der Trick (Das Vergessen): Bevor das Modell die zweite Hälfte denkt, sagt der Trainer: „Moment! Vergiss sofort die Lösungen, die du gerade in Runde 1 gefunden hast! Lösche sie aus deinem kurzfristigen Gedächtnis!"
- Warum? Weil das Modell sonst sofort wieder auf dieselben Lösungen zurückgreifen würde. Durch das „Vergessen" wird es gezwungen, sich nach neuen Wegen umzusehen.
Runde 2 (Das Entdecken): Jetzt muss das Modell die restlichen Lösungen finden. Da es die alten Wege „vergessen" hat, muss es in neue, unbekannte Gebiete des Denkraums vordringen.

Die Analogie:
Stellen Sie sich vor, Sie suchen einen Schatz in einem großen Wald.

Normales KI-Training: Sie laufen immer wieder den gleichen Pfad, auf dem Sie schon einmal einen Stein gefunden haben. Sie denken, das ist der einzige Weg.
EEPO: Sie laufen einen Pfad, finden einen Stein, und dann sagt ein Zauberer: „Vergiss diesen Pfad!" Plötzlich müssen Sie sich umdrehen und einen ganz anderen, vielleicht steinigeren Weg suchen. Am Ende haben Sie nicht nur einen Pfad gefunden, sondern den ganzen Wald erkundet.

4. Warum ist das so gut?

Kein Chaos, sondern Strategie: Im Gegensatz zu den alten Methoden, die das Modell einfach chaotisch machten, zwingt EEPO das Modell gezielt dazu, neue Wege zu gehen, ohne die Qualität der Antworten zu verlieren.
Bessere Generalisierung: Weil das Modell viele verschiedene Wege gelernt hat, funktioniert es auch bei Aufgaben, die es noch nie gesehen hat (z. B. bei sehr schwierigen Mathewettbewerben).
Effizienz: Der Trick kostet kaum Zeit. Es ist wie ein kurzer Gedächtnis-Reset, der keine langen Trainingszeiten erfordert.

Zusammenfassung

Die Forscher haben ein System entwickelt, das KI-Modellen hilft, nicht in einer einzigen Denkweise stecken zu bleiben. Indem sie das Modell zwingen, seine eigenen „erfolgreichen" Lösungen kurzzeitig zu vergessen, zwingen sie es, kreativ zu bleiben und neue, bessere Strategien zu entdecken. Es ist wie ein Trainer, der sagt: „Du hast das schon mal richtig gemacht? Super! Aber jetzt vergiss es und finde einen noch besseren Weg!"

Das Ergebnis: Die KI wird nicht nur besser in Mathe, sondern auch flexibler und robuster bei neuen Herausforderungen.

1. Problemstellung: Das Explorations-Exploitations-Dilemma in RLVR

Das Papier adressiert ein zentrales Problem beim Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) für Large Language Models (LLMs), insbesondere im Bereich des logischen und mathematischen Denkens.

Herausforderung: Bestehende Methoden wie Group Relative Policy Optimization (GRPO) neigen dazu, die Ausbeutung (Exploitation) von hochbelohnten Pfaden zu stark zu betonen. Dies führt zu einem Phänomen, das als Entropie-Kollaps (Entropy Collapse) bezeichnet wird.
Der Mechanismus des Versagens:
1. Die Policy entwickelt eine dominante Antwortweise (ein „dominanter Modus") für eine bestimmte Frage.
2. Da diese Antwort oft belohnt wird, verstärkt die Policy diesen Modus weiter und unterdrückt alternative, potenziell bessere Lösungswege.
3. Dies erzeugt einen selbstverstärkenden Kreislauf: Das Modell sampelt wiederholt denselben dominanten Modus, erhält positives Feedback und wird noch deterministischer.
Folgen: Obwohl die Genauigkeit auf den Trainingsdaten (In-Distribution) steigt, verschlechtert sich die Generalisierungsfähigkeit auf Out-of-Distribution (OOD) Benchmarks (z. B. AMC 2023). Das Modell „overfittet" auf die Trainingsverteilung, anstatt robuste, generalisierbare Denkstrategien zu entdecken.
Limitationen bestehender Lösungen: Herkömmliche Ansätze zur Förderung der Exploration (z. B. Erhöhung der Sampling-Temperatur oder Entropie-Regularisierung) machen die Ausgabe zwar stochastischer, verschieben aber die Wahrscheinlichkeitsmasse nicht effektiv weg von den dominanten Modi. Sie brechen den selbstverstärkenden Kreislauf nicht.

2. Methodik: EEPO (Exploration-Enhanced Policy Optimization)

Die Autoren schlagen EEPO vor, einen Rahmen, der die Exploration durch einen zweistufigen Rollout-Prozess mit adaptivem „Vergessen" (Unlearning) verbessert.

Kernmechanismus: Sample-Then-Forget

Im Gegensatz zu GRPO, bei dem alle $G$ Trajektorien (Antworten) von einem festen Rollout-Modell $\pi_{old}$ gesampelt werden, unterteilt EEPO den Prozess in zwei Stufen:

Stufe 1 (Sampling): Das Modell generiert die Hälfte der Trajektorien ( $G/2$ ).
Unlearning (Vergessen): Das Rollout-Modell durchläuft einen leichten, temporären Unlearning-Schritt, um die gerade gesampelten Antworten zu „unterdrücken".
Stufe 2 (Sampling): Die verbleibenden $G/2$ Trajektorien werden vom aktualisierten Modell generiert. Da die dominanten Antworten der ersten Stufe temporär unterdrückt wurden, ist das Modell gezwungen, andere Bereiche des Ausgaberaums zu erkunden.

Technische Details des Unlearning-Schritts

Um den Unlearning-Schritt effizient und zielgerichtet zu gestalten, werden drei Design-Entscheidungen getroffen:

Entropie-konditionierte Aktivierung: Der Unlearning-Schritt wird nur ausgelöst, wenn die Entropie des Modells einen Schwellenwert $\alpha$ unterschreitet (d. h., wenn der Kollaps beginnt). Bei hoher Entropie wird nichts unternommen, um gesunde Exploration nicht zu stören.
Komplementärer Verlust (Complementary Loss): Anstatt den Standard-Negative-Log-Likelihood (NLL) zu minimieren, wird ein komplementärer Verlust verwendet: $L_{comp} = -\log(1 - p_{clip})$ . Dieser bestraft hochwahrscheinliche Tokens (die dominanten Modi) stärker als niedrigwahrscheinliche. Dies zwingt das Modell, die Wahrscheinlichkeit der dominanten Antworten aktiv zu senken.
Temporäre Einzel-Schritt-Updates: Der Unlearning-Schritt erfolgt als ein einziger Gradienten-Update-Schritt auf dem Rollout-Modell (das zu Beginn der Iteration mit der Policy synchronisiert ist). Dies ist nicht Teil der eigentlichen Policy-Optimierung. Der Effekt ist daher temporär und beschränkt sich auf die aktuelle Rollout-Phase, was die Stabilität der Policy-Schulung nicht beeinträchtigt.

3. Wichtige Beiträge

Identifikation des selbstverstärkenden Kreislaufs: Das Papier liefert eine klare Analyse, wie die Kombination aus Entropie-Kollaps und dominanten Modi zu schlechter OOD-Generalisierung führt, selbst wenn die Trainingsleistung steigt.
Sample-Then-Forget-Mechanismus: Eine neue Architektur für Rollouts, die Exploration nicht durch zufälliges Rauschen, sondern durch gezielte Unterdrückung bereits gesammelter, dominanter Pfade erzwingt.
Entkopplung von Exploration und Optimierung: Die Methode trennt die Exploration (im Rollout-Modell durch temporäres Vergessen) von der eigentlichen Policy-Optimierung (GRPO-Update), was eine stabile und effektive Erkundung ermöglicht.
Ressourceneffizienz: Im Gegensatz zu Methoden, die mehr Rollouts oder längere Trainingszeiten erfordern, fügt EEPO nur einen minimalen Rechenaufwand hinzu (ein einzelner Gradientenschritt).

4. Ergebnisse

Die Autoren evaluierten EEPO auf fünf mathematischen Reasoning-Benchmarks (Minerva Math, OlympiadBench, AMC 2023, AIME 2024, AIME 2025) mit drei verschiedenen LLMs (Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base).

Leistungssteigerung: EEPO übertrifft den Standard-GRPO und andere Explorations-Varianten (höhere Temperatur, Entropie-Regularisierung, DAPO-Clipping) konsistent.
- Qwen2.5-3B: +24,3 % relative Verbesserung im Durchschnitt.
- Llama3.2-3B-Instruct: +33,0 % relative Verbesserung.
- Qwen3-8B-Base: +10,4 % relative Verbesserung.
Generalisierung: EEPO zeigt signifikant bessere Ergebnisse auf OOD-Benchmarks (z. B. AMC 2023), wo GRPO und andere Baselines stagnieren oder abfallen.
Entropie-Dynamik: Während die Entropie bei GRPO schnell kollabiert, bleibt sie bei EEPO während des gesamten Trainings hoch. Besonders die zweite Stufe (Stage 2) zeigt eine höhere Entropie als die erste, was beweist, dass das Modell erfolgreich alternative Modi erkundet.
Effizienz: EEPO erreicht diese Ergebnisse bei vergleichbarer Trainingszeit wie GRPO. Andere Methoden (z. B. höhere Temperatur) führen zu längeren Antwortzeiten und damit zu einer 30%igen Verlangsamung des Trainings.

5. Bedeutung und Fazit

Das Papier stellt EEPO als einen praktischen und effektiven Ansatz vor, um das Explorations-Exploitations-Dilemma im RLVR zu lösen.

Paradigmenwechsel: Statt die Exploration durch zufälliges Rauschen zu erzwingen, nutzt EEPO ein strategisches „Vergessen", um das Modell aktiv aus lokalen Optima zu führen.
Skalierbarkeit: Die Methode funktioniert robust über verschiedene Modellgrößen (von 3B bis 8B Parametern) und Architekturen hinweg.
Zukunftsperspektive: EEPO bietet einen Weg, um die Generalisierungsfähigkeit von LLMs in komplexen Reasoning-Aufgaben zu verbessern, ohne die Trainingsstabilität oder -effizienz zu opfern. Dies ist besonders relevant für die Entwicklung von Modellen, die robustes und kreatives Denken in unbekannten Szenarien benötigen.

Zusammenfassend demonstriert EEPO, dass die gezielte Unterbrechung von selbstverstärkenden Feedback-Schleifen während des Rollout-Prozesses ein mächtiges Werkzeug ist, um die Leistung von RLVR-Systemen über das hinaus zu heben, was durch reine Objektiv-Modifikationen möglich ist.