🤖 machine learning

OR Else: A Differentiable Trust Region for Policy Optimization

Diese Arbeit untersucht „Output Reset“ (OR) als eine glatte, differenzierbare Alternative zu den Clipped-Surrogate-Objectives in PPO und GRPO für das Post-Training von LLMs und stellt fest, dass OR zwar das Optimierungsverhalten verändert und die Varianz in gruppenrelativen Settings reduziert, jedoch im Vergleich zu den standardmäßigen Clipped-Ansätzen nicht konsistent die Reward-Model-Scores verbessert.

Ursprüngliche Autoren: Chinmay Rane, Kanishka Tyagi, Michael Manry

Veröffentlicht 2026-07-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chinmay Rane, Kanishka Tyagi, Michael Manry

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kunst, einer KI beizubringen, „genau richtig“ zu sein

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas chaotischen Roboter beizubringen, Geschichten zu schreiben, die Menschen tatsächlich gefallen. Dieses Feld wird Reinforcement Learning from Human Feedback (RLHF) genannt. Es ist wie ein Spiel, bei dem der Roboter einen Satz schreibt, ein menschlicher Richter ein Daumen-hoch oder Daumen-runter gibt und der Roboter versucht, aus diesem Feedback zu lernen, um beim nächsten Mal besser zu schreiben. Das Ziel ist es, den Roboter hilfreich und harmlos zu machen, ohne dass er völlig aus dem Ruder läuft.

Um dies zu erreichen, nutzen Wissenschaftler ein „Belohnungsmodell“ (Reward Model) – einen digitalen Richter, der die Texte des Roboters bewertet. Aber es gibt einen kniffligen Teil: Wenn der Roboter versucht, den Richter zu sehr zu gefallen, fängt er vielleicht an, Unsinn zu schreiben, nur um eine hohe Punktzahl zu bekommen, oder er verändert seine Persönlichkeit so drastisch, dass er vergisst, wie man normal spricht. Um dies zu verhindern, verwenden Forscher eine Sicherheitsregel namens „Trust Region“ (Vertrauensbereich). Denken Sie an sie wie an eine Leine. Der Roboter darf umherwandern und lernen, aber die Leine hindert ihn daran, zu weit von seinem ursprünglichen, vernünftigen Selbst wegzulaufen.

Die populärste Methode, um diese Leine zu verwalten, ist eine Methode namens PPO (Proximal Policy Optimization). PPO verwendet einen „Clipping“-Mechanismus (Begrenzungsmechanismus). Stellen Sie sich vor, der Roboter rennt auf ein Ziel zu. Wenn er sich der Grenze der Sicherheitszone nähert, tritt PPO plötzlich auf die Bremse und schneidet jegliche zusätzliche Motivation ab, schneller zu rennen. Es ist effektiv, aber es ist ein bisschen wie ein Lichtschalter: Er ist entweder voll an oder voll aus. Dieses Paper stellt eine einfache Frage: Was wäre, wenn die Leine nicht einfach abrupt zuschnappen würde, sondern sanft auslaufen würde, während der Roboter die Sicherheitsgrenze erreicht? Die Autoren schlagen eine neue Methode namens „Output Reset“ (OR) vor, um zu sehen, ob dieser sanftere Ansatz beim Lehren von Large Language Models (LLLLs), hilfreich zu sein, besser funktioniert.

Die sanfte Leine vs. der gekappte Schalter

Die Forscher Chinmay Rane, Kanishka Tyagi und Michael Manry beschlossen, ihre neue Idee der „sanften Leine“ gegen den Standard-„gekappten Schalter“ in zwei verschiedenen Trainingsszenarien zu testen. Sie nutzten ein kleines, aber fähiges Robotergehirn (ein Llama-3.2-1B Modell) und trainierten es mit einem Datensatz menschlicher Präferenzen (Anthropic hh-rlhf). Sie führten das Experiment dreimal mit unterschiedlichen Zufallswerten (Random Seeds) durch, um sicherzustellen, dass die Ergebnisse nicht bloß Glück waren.

Das Experiment: Zwei verschiedene Welten
Das Team testete ihre neue Methode, die sie PPO-OR und GRPO-OR nennen, in zwei unterschiedlichen Umgebungen:

Die GAE-Welt (PPO): Dies ist der klassische Aufbau, bei dem der Roboter einen „Critic“ (einen Helfer, der zukünftige Belohnungen vorhersagt) hat und lernt, indem er einzelne Token (Wörter) nacheinander verarbeitet.
Die Group-Relative-Welt (GRPO): Dies ist ein neuerer, einfacherer Aufbau, bei dem der Roboter zwei Antworten gleichzeitig generiert, sie vergleicht und aus dem Unterschied lernt, ohne einen Critic zu benötigen.

Die Ergebnisse: Ein Märchen von zwei Ausgängen
Die Ergebnisse waren überraschend und zeigten, dass die „sanfte Leine“ nicht in jeder Situation gleich funktioniert.

In der GAE-Welt (PPO): Die sanfte Methode (PPO-OR) war in Bezug auf die Rohpunktzahlen ein klarer Gewinner. Die Roboter, die mit der neuen Methode trainiert wurden, erreichten eine durchschnittliche Belohnung von 0,500, verglichen mit 0,195 für die standardmäßige gekappte Methode. Das ist ein Sprung von 0,305 Punkten! Es gab jedoch einen Haken: Die Ergebnisse waren etwas „wackeliger“. Die Werte schwankten stärker zwischen den drei Durchläufen (eine Standardabweichung von 0,158 gegenüber 0,110). Es scheint, dass die sanfte Leine dem Roboter half, schneller zu laufen, aber ihren Weg etwas weniger vorhersehbar machte.
In der Group-Relative-Welt (GRPO): Hier brachte die sanfte Methode (GRPO-OR) den Roboter nicht dazu, schneller zu laufen. Tatsächlich sank der Durchschnittswert leicht von 0,488 auf 0,457. Aber der Roboter wurde viel stabiler. Die Variation zwischen den Durchläufen schrumpfte dramatisch von 0,080 auf 0,027. Es war, als ob der Roboter aufhörte zu zittern und einen stetigen Rhythmus fand, selbst wenn er keinen höheren Spitzenwert erreichte.

Die große Überrasung: Die Leine wurde nicht kürzer
Die wichtigste Erkenntnis war jedoch nicht die über die Punktzahlen. Die Forscher waren besorgt, dass die neue Methode den Roboter dazu bringen könnte, zu weit von seiner ursprünglichen Persönlichkeit abzuweichen (ein Problem namens „Policy Drift“). Sie maßen, wie weit der Schreibstil des Roboters von seinem Ausgangsstil abwich.

Sie fanden heraus, dass die Roboter in der Group-Relative-Welt eine enorme Distanz zurücklegten – zwischen 5 und 13 Einheiten –, unabhängig davon, ob sie die alte gekappte Methode oder die neue sanfte Methode verwendeten. Die sanfte Leine (OR) verhinderte den Roboter nicht davor, weit wegzulaufen. Sie änderte lediglich, wie der Roboter reagierte, wenn er die „Sicherheitszone“ erreichte. Das Paper schließt explizit die Idee aus, dass diese sanfte Sättigung als strikte „Trust Region“ fungiert, die den Roboter nah am Ursprung hält. Der Roboter wanderte immer noch ab; die neue Methode änderte nur die Mathematik dahinter, wie er aufhörte, sich zu verbessern, sobald er dort ankam.

Was dies für die Zukunft bedeutet

Die Autoren sind vorsichtig, dies nicht als totalen Sieg zu bezeichnen. Sie fanden heraus, dass die „sanfte Leine“ (Output Reset) die Art und Weise verändert, wie der Roboter lernt, aber sie löst nicht das größte Problem der Group-Relative-Methode: die Tendenz, zu weit von der ursprünglichen Policy abzuweichen.

Im klassischen PPO-Setup half die sanfte Methode dem Roboter, höhere Punktzahlen zu erzielen, wenn auch mit etwas mehr Instabilität. Im neueren Group-Relative-Setup machte sie das Training wesentlich konsistenter, verbesserte aber nicht den Endwert und stoppte den Roboter auch nicht vor dem Abdriften. Das Paper legt nahe, dass das bloße Glätten der Mathematik nicht ausreicht, um das „Drift“-Problem zu lösen; wir benötigen möglicherweise größere Vergleichsgruppen oder andere Sicherheitsregeln, um den Roboter davon abzuhalten, wegzulaufen.

Letztlich zeigt diese Studie, dass es in der Welt des KI-Trainings keine einzige „Wunderwaffe“ gibt. Eine Technik, die in einem Setup wunderbar funktioniert, kann sich in einem anderen ganz anders verhalten. Der sanfte, kontinuierliche Ansatz des Output Reset bietet eine andere Geschmacksrichtung des Lernens an – eine, die je nach Kontext stabiler oder effektiver sein kann – aber er ist keine universelle Lösung, um KI-Modelle unter Kontrolle zu halten. Die Forscher kommen zu dem Schluss, dass, obwohl ihre neue Methode das Verhalten des Trainingsprozesses verändert, die Frage, wie man diese mächtigen Modelle am besten kontrolliert, offen bleibt, insbesondere wenn wir uns auf größere und komplexere KI-Systeme zubewegen.

Technische Zusammenfassung: OR ELSE: EINE DIFFERENZIERBARE VERTRAUENSRADIUS-REGION FÜR DIE POLICY-OPTIMIERUNG

Problemstellung
Reinforcement Learning from Human Feedback (RLHF) für Large Language Models (LLMs) stützt sich häufig auf Proximal Policy Optimization (PPO) und deren Variante Group Relative Policy Optimization (GRPO). Beide Methoden nutzen ein geklipptes Surrogat-Ziel (clipped surrogate objective), um Policy-Updates zu beschränken. Während der Clipping-Mechanismus eine einseitige Null-Gradienten-Region erzeugt, um übermäßige Policy-Drift in die „günstige“ Richtung zu verhindern, ist der Übergang in diese Region geometrisch abrupt: Die Ableitung der Zielfunktion bezüglich des Wahrscheinlichkeitsverhältnisses ändert sich diskontinuierlich an der Clipping-Grenze. Die Autoren untersuchen, ob Output Reset (OR), eine glatte, einseitige Sättigungsregel, die ursprünglich für das Klassifikator-Training entwickelt wurde, eine überlegene Alternative für das Post-Training von LLMs darstellt. Konkret stellt die Arbeit die Frage, ob das Ersetzen des geklippten Surrogats durch einen differenzierbaren OR-basierten Verlust die Optimierungsstabilität und die finalen Reward-Scores verbessern kann, ohne neue Pathologien einzuführen.

Methodik
Die Arbeit führt PPO-OR und GRPO-OR ein, zwei Varianten, die den Standard-geklippten Policy-Term durch einen OR-abgeleiteten quadratischen Margin-Verlust im Raum der Token-Log-Verhältnisse ersetzen.

Kernmechanismus: Anstatt das Wahrscheinlichkeitsverhältnis $r_t(\theta)$ zu verwenden, operieren die Methoden auf dem pro-Token Log-Wahrscheinlichkeitsverhältnis $\rho_t = \log \pi_\theta(a_t|s_t) - \log \pi_{\theta_{old}}(a_t|s_t)$ .
Der OR-Verlust: Für ein Token mit einem nicht-Null geschätzten Vorteil $\hat{A}_t$ wird ein Ziel-Margin $\sigma_t \alpha_{OR}$ gesetzt (wobei $\sigma_t = \text{sign}(\hat{A}_t)$ ). Es handelt sich um einen einseitigen quadratischen Margin: $\ell_{OR,t} = [\max(0, \alpha_{OR} - \sigma_t \rho_t)]^2$ .
Output-Reset-Verhalten: Sobald $\rho_t$ die Margin in die durch das Vorzeichen des Vorteils begünstigte Richtung überschreitet, wird das Ziel auf das aktuelle $\rho_t$ „zurückgesetzt“. Dies führt zu einem Null-Residual und einem direkten Gradientenbeitrag von Null für dieses Token. Die Ableitung nähert sich der Grenze kontinuierlich Null an, wodurch der Verlust $C^1$ -stetig ist (im Gegensatz zum $C^0$ -stetigen, aber nicht differenzierbaren PPO-Clip).
Vorteils-Schätzung (Advantage Estimation):
- PPO-OR: Behält Generalized Advantage Estimation (GAE) mit einem gelernten Value-Head bei.
- GRPO-OR: Behält gruppenspezifische relative Vorteile (berechnet aus $G=2$ Antworten pro Prompt) ohne Kritiker bei.
Experimentelles Setup: Die Studie verwendet Llama-3.2-1B-Instruct auf dem Anthropic hh-rlhf Datensatz. Alle Methoden teilen sich ein einzelnes eingefrorenes Reward-Modell und werden über drei Seeds evaluiert. Die Experimente sind als zwei passende Vergleiche innerhalb der jeweiligen Familie konzipiert: PPO-clip vs. PPO-OR (unter GAE) und GRPO vs. GRPO-OR (unter gruppenspezifischen relativen Vorteilen). Cross-Family-Vergleiche werden als unkontrolliert vermerkt, da Unterschiede in der Vorteilsschätzung, der Verwendung des Kritikers und der Antwortlängen bestehen.

Wesentliche Beiträge

Algorithmischer Vorschlag: Die Einführung von PPO-OR und GRPO-OR, die das gekippte Surrogat durch einen kontinuierlich differenzierbaren, einseitigen quadratischen Margin-Verlust im Log-Verhältnis-Raum ersetzen.
Theoretische Charakterisierung: Formeller Beweis, dass das OR-Ziel an der Sättigungsgrenze $C^1$ -stetig ist und dass die Stichproben-Ebene-Update-Richtung strikt durch das Vorzeichen des Vorteils bestimmt wird und kontinuierlich verschwindet, sobald die Margin überschritten wird.
Empirische Evaluierung: Ein strenger Vergleich von Clipping gegenüber OR innerhalb zweier distinkter Familien der Vorteilsschätzung, wobei hervorgehoben wird, dass die Vorteile von OR nicht uniform sind, sondern vom umgebenden Optimierungspipeline abhängen.
Diagnostischer Einblick: Die Identifizierung, dass das Ersetzen von Clipping durch OR nicht inhärent das Problem der großen kumulativen Policy-Drift löst, die in gruppenspezifischen Settings beobachtet wird, wodurch die Unterscheidung zwischen lokaler Gradienten-Sättigung und globaler Policy-Kontrolle getroffen wird.

Ergebnisse
Die Arbeit berichtet über Trainingszeit-Reward-Modell-Scores und Optimierungsdiagnosen über drei Seeds:

GAE-Familie (PPO-clip vs. PPO-OR):
- Reward Score: PPO-OR erreichte einen höheren mittleren Endwert (+0,500) im Vergleich zu PPO-clip (+0,195), eine Differenz von +0,305.
- Stabilität: PPO-OR wies eine größere Standardabweichung über die Seeds hinweg auf (0,158) im Vergleich zu PPO-clip (0,110).
- Drift: Beide Methoden hielten eine ähnliche, niedrige Rollout-zu-aktuell Log-Verhältnis-Displacement bei (ca. 0,3–0,5).
Gruppen-relative Familie (GRPO vs. GRPO-OR):
- Reward Score: GRPO-OR verbesserte den mittleren Score nicht; er war mit (+0,457) etwas niedriger als GRPO (+0,488).
- Stabilität: GRPO-OR zeigte eine signifikant kleinere Standardabweichung über die Seeds hinweg (0,027) im Vergleich zu GRPO (0,080).
- Diagnostik: GRPO-OR erreichte ein nahezu Null-terminales OR-Residual und einen sinkenden Overshoot-Anteil, während die vergleichbare GRPO-Spur groß und hoch variabel blieb.
- Drift: Entscheidend ist, dass GRPO-OR die große Rollout-zu-aktuell Displacement, die in GRPO beobachtet wurde, nicht reduzierte. Beide gruppenspezifischen Methoden zeigten eine wesentlich höhere Displacement (ca. 5–13) im Vergleich zu den GAE-Methoden.

Bedeutung und Ansprüche
Die Arbeit schließt bescheiden ab und betont, dass die beobachteten Effekte von OR kontextabhängig sind:

Kein universeller Vertrauensradius: Die Autoren stellen explizit fest, dass die glatte Sättigung des OR-Verlusts keinen formellen Vertrauensradius (Trust Region) darstellt. Er unterdrückt den direkten Gradientenbeitrag einzelner Tokens, nachdem sie eine Margin überschritten haben, kontrolliert aber nicht die kumulative Policy-Drift, die durch gemeinsame Parameter, Hilfsverluste oder wechselnde Vorteilssignale über Iterationen hinweg verursacht wird.
Abhängigkeit von der Pipeline: Die Wirksamkeit von OR ist an die Methode der Vorteilsschätzung gebunden. Im GAE-Setting korrelierte OR mit höheren Reward-Scores, erhöhte jedoch die Varianz. Im gruppenspezifischen Setting reduzierte OR die Varianz und stabilisierte die Verlustspur, verbesserte jedoch weder den mittleren Reward-Score noch reduzierte es die Policy-Drift.
Limitierungen: Die Studie räumt ein, dass die Ergebnisse spezifisch für ein leichtgewichtiges 1B-Modell, ein einzelnes eingefrorenes Reward-Modell und eine begrenzte Gruppengröße ( $G=2$ ) sind. Die Ergebnisse charakterisieren diesen spezifischen experimentellen Rahmen und etablieren keine allgemeine Überlegenheit gegenüber PPO oder GRPO. Die Arbeit postuliert, dass die große Policy-Drift in gruppenspezifischen Methoden ein ungelöstes Problem bleibt, das OR allein nicht beheben kann, was darauf hindeutet, dass zukünftige Arbeiten die kumulative Verschiebung durch stärkere Referenz-Regularisierung oder explizite Displacement-Penalties adressieren müssen.

Zusammenfassend zeigt die Arbeit, dass Output Reset eine differenzierbare Alternative zu Clipping bietet, die das Optimierungsverhalten verändert und in spezifischen Kontexten die Reward-Scores verbessern kann, aber nicht inhärent die Herausforderungen der Policy-Stabilität oder des Drifts in gruppenspezifischem RLHF löst.

Die Kunst, einer KI beizubringen, „genau richtig“ zu sein

Die sanfte Leine vs. der gekappte Schalter

Was dies für die Zukunft bedeutet

Mehr davon