💻 computer science

One-Way Policy Optimization for Self-Evolving LLMs

Dieser Beitrag stellt One-Way Policy Optimization (OWPO) vor, eine neuartige Methode, die die Selbstentwicklung von Large Language Models stabilisiert und verbessert, indem sie durch asymmetrische Neu-Gewichtung und iterative Referenz-Updates die Optimierungsrichtung von der Aktualisierungsgröße entkoppelt, wodurch die Ineffizienzen bestehender Token-Level-Einschränkungen überwunden und eine kontinuierliche Verbesserung ohne externe Referenzmodelle ermöglicht wird.

Ursprüngliche Autoren: Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma „In der Mitte stecken bleiben"

Stellen Sie sich vor, Sie bringen einem Roboter (der KI) bei, komplexe Mathematikaufgaben zu lösen. Sie haben einen Richter (einen Verifizierer), der am Ende der Lösung nur „Richtig" oder „Falsch" sagen kann.

Das Problem: Da der Richter erst am Ende spricht, verirrt sich der Roboter oft. Er weiß nicht, welcher Schritt falsch war, lernt daher langsam und gerät in Verwirrung.
Die alte Lösung: Um zu helfen, führten Forscher ein Referenzmodell (einen „Lehrer") ein. Sie sagten dem Roboter: „Bleib dem Stil des Lehrers nahe." Dies machte das Training stabil, schuf aber ein neues Problem.
Das neue Problem: Manchmal findet der Roboter einen besseren Weg, ein Problem zu lösen, als der Lehrer es je tat. Doch weil der Roboter gezwungen ist, dem Lehrer nahe zu bleiben, bestraft das System ihn dafür, dass er anders ist. Es ist wie ein Schüler, der einen schnelleren Abkürzungsweg zur Antwort findet, aber der Lehrer schreit: „Nein! Du musst den langen Weg gehen, den ich dir beigebracht habe!" Der Roboter bleibt stecken und kann sich nicht über das Niveau des Lehrers hinaus verbessern.

Die Lösung: One-Way Policy Optimization (OWPO)

Die Autoren schlagen eine neue Methode namens OWPO vor. Stellen Sie sich dies als einen klugen Trainer vor, der Richtung von Geschwindigkeit trennt.

1. Die Regel des Trainers:

Richtung: Der Richter entscheidet, wohin es geht. Wenn der Richter sagt: „Dieser Weg ist gut", geht der Roboter diesen Weg. Wenn der Richter sagt: „Dieser Weg ist schlecht", dreht der Roboter um. Der Lehrer entscheidet niemals über die Richtung.
Geschwindigkeit: Der Lehrer entscheidet, wie schnell man sich bewegt.

2. Die zweispurige Straße (Asymmetrische Neugewichtung):
OWPO behandelt die Versuche des Roboters unterschiedlich, je nachdem, ob sie „schlechter" oder „besser" als die des Lehrers sind.

Szenario A: Der Roboter hinkt hinterher (inferiore Abweichung)
- Situation: Der Roboter ist unsicher oder macht Fehler, wo der Lehrer selbstbewusst war.
- Aktion: Der Trainer beschleunigt das Lernen. Er sagt: „Du bist hier hinter dem Lehrer zurück! Bewege dich schnell und hole auf!" Dies nennt man beschleunigte Ausrichtung.
Szenario B: Der Roboter führt (superiore Abweichung)
- Situation: Der Roboter findet eine bessere Lösung oder ist selbstbewusster als der Lehrer.
- Aktion: Der Trainer verlangsamt die Änderungen. Er sagt: „Du machst hier etwas Großartiges! Verändere dich nicht zu sehr, sonst verlierst du diese gute Idee versehentlich." Dies nennt man Gewinn-Sicherung. Sie schützt die neuen, besseren Ideen des Roboters davor, durch zufälliges Rauschen weggespült zu werden.

Der „Ratschen-Effekt": Die Decke durchbrechen

In der Vergangenheit konnte der Roboter, sobald er so gut wie der Lehrer war, nicht besser werden, weil der Lehrer die Grenze darstellte.

OWPO führt einen Ratschen-Mechanismus ein (wie ein Werkzeug, das sich nur in eine Richtung dreht und nie zurückrutscht).

Alle paar Schritte macht der Roboter eine Pause, betrachtet seine eigene beste Arbeit und sagt: „Okay, ich bin jetzt der Lehrer."
Er aktualisiert das Referenzmodell zu seinem eigenen aktuellen besten Selbst.
Dies erzeugt eine Leiter. Der Roboter klettert hinauf, verriegelt die Sprosse und nutzt seine neue Höhe als Basis, um noch höher zu klettern. Er rutscht nie zurück zum alten, schwächeren Lehrer.

Warum das wichtig ist (Die Ergebnisse)

Das Paper testete dies an Mathematikaufgaben (wie dem AIME-Wettbewerb).

Alte Methoden: Der Roboter würde in der Nähe des Lehrerniveaus stecken bleiben. Wenn der Lehrer 37 % gut war, würde der Roboter bei 37 % oder 38 % schweben.
OWPO: Der Roboter durchbrach die Decke. Er startete bei 30 %, kletterte am Lehrer vorbei und erreichte eine Genauigkeit von über 40 %.
Stabilität: Im Gegensatz zu anderen Methoden, die abstürzen oder instabil werden könnten, wenn sie zu kreativ versuchen, hält OWPO den Roboter stabil, indem es seine guten Ideen „verriegelt".

Zusammenfassende Analogie

Stellen Sie sich einen Wanderer (die KI) vor, der versucht, einen Berg zu besteigen.

Der Richter ist der Kompass, der zum Gipfel zeigt.
Der alte Lehrer war eine Karte, die sagte: „Bleib auf diesem spezifischen Pfad." Wenn der Wanderer eine Abkürzung fand, zwang ihn die Karte zurück auf den alten Pfad.
OWPO ist ein kluger Führer. Der Führer sagt: „Wenn du vom Pfab abgekommen bist und verloren gehst, renne schnell zurück, um wieder aufzukommen. Aber wenn du eine Abkürzung findest, die höher führt, gehe langsam und vorsichtig, damit du nicht ausrutschst, aber gehe diesen neuen Weg weiter. Sobald du einen neuen Höhepunkt erreicht hast, aktualisiere die Karte, um zu zeigen, dass du jetzt der Experte bist, und beginne von dort aus, nach der nächsten Abkürzung zu suchen."

Dies ermöglicht es der KI, sich kontinuierlich weiterzuentwickeln, immer besser zu werden, ohne dass eine externe „Super-Lehrerin" sie für immer an der Hand halten muss.

Technische Zusammenfassung: Einseitige Policy-Optimierung für sich selbst weiterentwickelnde LLMs

1. Problemstellung

Die Arbeit adressiert die Grenzen von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) beim Skalieren der推理fähigkeiten (Reasoning Capabilities) von Large Language Models (LLMs). Während RLVR ein vielversprechendes Paradigma für Aufgaben mit überprüfbaren Ergebnissen (z. B. Mathematik, Code) bietet, steht es vor zwei Hauptherausforderungen:

Spärliche und binäre Signale: Verifizierer-Belohnungen sind typischerweise nur auf Sequenzebene verfügbar, was zu hoher Varianz, geringer Sample-Effizienz und instabiler Optimierung führt.
Der Konflikt der „Kraftumkehrung" in referenzgeführten Methoden: Um das Training zu stabilisieren, führen bestehende Methoden (z. B. KL-regularisiertes RL, On-Policy-Distillation) eine Referenz-Policy ( $\pi_{ref}$ $π_{r e f}$ ) ein, um dichte Token-Level-Constraints bereitzustellen. Diese Methoden verhängen jedoch symmetrische Constraints, die jede Abweichung von der Referenz bestrafen, unabhängig davon, ob die Abweichung die Belohnung verbessert.
- Das Kernproblem: Wenn eine Policy versucht, die Referenz zu übertreffen (eine „überlegene Abweichung"), übt die symmetrische KL-Strafe oder der Distillation-Verlust eine „Zurückzieh-Kraft" in Richtung der Referenz aus. Ist diese Kraft stark genug, kehrt sie die Optimierungsrichtung um und verwandelt einen belohnungsverbessernden Schritt in einen Rückschritt. Dies erzeugt eine Leistungsobergrenze und verhindert, dass sich das Modell über den anfänglichen Prior hinaus entwickelt.

2. Methodik: Einseitige Policy-Optimierung (OWPO)

Die Autoren schlagen One-Way Policy Optimization (OWPO) vor, ein Framework, das die Optimierungsrichtung von der Update-Magnitude entkoppelt.

Grundprinzip

Richtung: Wird ausschließlich vom Verifizierer (über das Advantage-Signal $A_t$ ) diktiert. Der Verifizierer bestimmt, ob ein Token korrekt oder inkorrekt ist.
Magnitude: Wird durch die Referenz-Policy ( $\pi_{ref}$ ) moduliert. Die Referenz dient ausschließlich dazu, die Schrittgröße anzupassen, nicht jedoch die Richtung umzukehren.

Mechanismus: Asymmetrische Gewichtung

OWPO führt ein dynamisches skalares Gewicht $w_t$ ein, das auf das Standard-PPO/DAPO-Ziel angewendet wird. Dieses Gewicht wird durch die Richtungsabweichung ( $\delta_t$ ) bestimmt, definiert als:
$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$
Basierend auf $\delta_t$ wendet OWPO zwei unterschiedliche Regime an:

Beschleunigte Ausrichtung (Unterlegene Abweichungen, $\delta_t < 0$ ):
- Szenario: Die aktuelle Policy $\pi_\theta$ liegt in der korrekten Richtung hinter der Referenz zurück (z. B. geringeres Vertrauen bei korrekten Tokens oder höheres Vertrauen bei falschen Tokens).
- Aktion: Das Gewicht $w_t > 1$ .
- Effekt: Der Gradient wird verstärkt, um diese Rückstände schnell zu korrigieren, wobei der Referenzprior genutzt wird, um Fehler rasch zu beheben.
Gewinnverriegelung (Überlegene Abweichungen, $\delta_t > 0$ ):
- Szenario: Die aktuelle Policy $\pi_\theta$ übertrifft die Referenz in der korrekten Richtung (z. B. höheres Vertrauen bei korrekten Tokens).
- Aktion: Das Gewicht $w_t < 1$ (speziell begrenzt durch $\epsilon_{low}$ ).
- Effekt: Die Update-Schrittgröße wird reduziert. Dies „verriegelt" die spärlichen, hochwertigen Gewinne, indem die Varianz reduziert und verhindert wird, dass hochvarianzrauschen diese vorteilhaften Abweichungen destabilisiert oder umkehrt.

Iterative Selbstentwicklung (Der Ratschen-Effekt)

Um die Engstelle einer festen Referenz-Policy zu überwinden, integriert OWPO einen iterativen Bootstrapping-Prozess:

Am Ende jeder Trainingsphase wird die Referenz-Policy durch einen „Hard Swap" aktualisiert: $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$ .
Dies erzeugt einen Ratschen-Effekt, bei dem jede Iteration die jüngsten Gewinne in eine neue Basislinie konsolidiert und es dem Modell ermöglicht, kontinuierlich zu höheren Belohnungen aufzusteigen, ohne durch den ursprünglichen Prior eingeschränkt zu werden.

3. Hauptbeiträge

Identifikation des Richtungskonflikts: Die Arbeit identifiziert, dass symmetrische Constraints in bestehenden RLVR-Methoden eine „Kraftumkehrung" verursachen, bei der die Referenz-Policy unbeabsichtigt Verbesserungen unterdrückt, die vom Prior abweichen.
Entkopplung von Richtung und Magnitude: OWPO führt ein neuartiges Ziel ein, bei dem der Verifizierer das Gradienten-Vorzeichen (Richtung) diktiert und die Referenz-Policy nur die Gradienten-Magnitude skaliert.
Asymmetrischer Vertrauensbereich: Im Gegensatz zur Standard-symmetrischen KL-Regularisierung konstruiert OWPO einen richtungsbewussten Vertrauensbereich, der die Korrektur unterlegener Abweichungen beschleunigt und gleichzeitig überlegene Abweichungen durch Varianzreduktion schützt.
Framework für iterative Selbstentwicklung: Durch die Kombination des einseitigen Mechanismus mit periodischen Referenz-Updates ermöglicht OWPO kontinuierliche Selbstverbesserung ohne Abhängigkeit von externen Lehrer-Modellen.

4. Experimentelle Ergebnisse

Die Autoren bewerteten OWPO auf den Basis-Modellen Qwen-2.5-Math-7B und Qwen-3-8B unter Verwendung des DAPO-Math-17k-Datensatzes und der AIME24/25-Benchmarks.

Leistung im Vergleich zu Baselines: OWPO übertraf konsistent starke Baselines, einschließlich reiner RLVR-Methoden (GRPO, DAPO) und referenzgeführter Methoden (OPD, MOPD, Sym-DAPO).
- Auf Qwen-3-8B erreichte OWPO einen Pass@1 von 51,90 % (best) und 50,74 % (konvergiert) auf AIME24 und übertraf damit MOPD (46,40 %) und DAPO (45,31 %) signifikant.
- OWPO durchbrach die bei MOPD und OPD beobachtete „Leistungsobergrenze", die dazu neigten, in der Nähe der Leistung der Referenz-Policy zu stagnieren.
Effizienz der Selbstentwicklung: In einem iterativen Setting, das von einem suboptimalen Prior (~30 % Pass@1) startete, erreichte OWPO in 4 Iterationen eine Genauigkeit von ~40 %, während MOPD 6 Iterationen benötigte, um bei einer niedrigeren Genauigkeit von ~37 % zu saturieren.
Generalisierung: Trotz des ausschließlichen Trainings auf Mathematikdaten zeigte OWPO im Vergleich zu anderen Methoden eine überlegene Übertragbarkeit auf allgemeine Wissenschafts-Benchmarks (GPQA und MMLU-Pro).
Ablationsstudien: Das Entfernen der Asymmetrie (Symmetrische Gewichtung) führte zu einer schweren Leistungsregression und bestätigte, dass symmetrische Strafen eine Kraftumkehrung induzieren. Sowohl die Komponenten „Beschleunigte Ausrichtung" als auch „Gewinnverriegelung" erwiesen sich als unverzichtbar.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OWPO den fundamentalen Stabilität-Explorations-Konflikt in RLVR löst. Indem OWPO den „Kraftumkehrung"-Effekt verhindert, der in symmetrischer Regularisierung inhärent ist, ermöglicht es Modellen:

Suboptimale Priors stabil zu transzendieren: Modelle können sich über die Fähigkeiten ihrer anfänglichen Referenz-Policies hinaus entwickeln, ohne zu kollabieren.
Kontinuierliche Selbstentwicklung zu ermöglichen: Der iterative „Ratschen-Effekt" erlaubt eine nachhaltige Leistungsverbesserung ohne externe Lehrer-Modelle.
Verifizierer-Führung zu priorisieren: Das Framework etabliert, dass für verifizierbare推理aufgaben das Signal des Verifiziers der primäre Treiber der Optimierungsrichtung sein sollte, wobei Referenz-Policies nur als Stabilisatoren für die Magnitude dienen.

Die Autoren positionieren OWPO als einen fundamentalen Schritt hin zu skalierbaren, sich selbst weiterentwickelnden推理modellen und weisen darauf hin, dass OWPO zwar derzeit auf Mathematik und verifizierbare推理 fokussiert ist, das Prinzip der richtungsbewussten Optimierung jedoch allgemein auf RLVR anwendbar ist.