🤖 machine learning

Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

Dieser Artikel argumentiert, dass der Erfolg von Off-Policy-Learning im großskaligen Reinforcement Learning für LLMs auf einem impliziten Pessimismus beruht, der konservativere Zielstrategien optimiert, und schlägt eine prinzipielle Modifikation vor, um diese induzierte Verteilung zu stabilisieren und die Leistung zu verbessern.

Ursprüngliche Autoren: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (ein KI-Modell) beizubringen, komplexe Mathematikaufgaben zu lösen. Sie geben ihm eine Reihe von Übungsaufgaben und eine „Bewertung", wie gut er abgeschnitten hat. Das Ziel ist es, ihm zu helfen, aus diesen Bewertungen zu lernen, um zukünftige Probleme besser zu lösen.

Dieser Artikel behandelt ein spezifisches Problem, das auftritt, wenn man versucht, diesen Schüler in großem Maßstab zu unterrichten: Der Schüler lernt aus alten Hausaufgaben.

Das Problem: Lernen aus „veralteten" Hausaufgaben

In der realen Welt großer KI-Systeme dauert die Generierung neuer Übungsaufgaben lange. Bis die KI einen Stapel von Aufgaben bearbeitet und eine Bewertung erhält, hat sich der „Lehrer" (das aktuelle Gehirn der KI) bereits ein wenig verändert. Daher wird die KI mit Daten trainiert, die von einer älteren, leicht unterschiedlichen Version ihrer selbst gesammelt wurden.

In der Welt der KI nennt man dies Off-Policy-Lernen. Die Daten stammen vom „Vergangenen Ich", aber das Lernen findet beim „Gegenwärtigen Ich" statt.

Die meisten aktuellen Methoden versuchen, diese Diskrepanz zu beheben, indem sie einen komplexen mathematischen „Korrekturfaktor" (wie einen übertriebenen Übersetzer) verwenden, um vorzutäuschen, dass die alten Daten tatsächlich neu seien. Die Autoren argumentieren, dass dies unübersichtlich ist. Es führt zu hohem Rauschen, macht das Training instabil und kann dazu führen, dass die KI in Panik gerät und vergisst, wie man kreativ ist (ein Phänomen, das als Entropie-Kollaps bezeichnet wird).

Die Alternative: Die Diskrepanz annehmen

Anstatt zu versuchen, die alten Daten gewaltsam wie neue Daten aussehen zu lassen, schlagen die Autoren vor: Verwenden Sie die alten Daten einfach so, wie sie sind, aber ändern Sie die Art und Weise, wie wir die Bewertungen interpretieren.

Sie untersuchten eine beliebte Methode namens OAPL (die komplexe Korrekturfaktoren überspringt) und fragten: „Was macht diese Methode eigentlich mit dem Gehirn der KI?"

Die Entdeckung: Der „pessimistische" Lehrer

Die Autoren entdeckten, dass die KI, wenn man ohne diese Korrekturfaktoren trainiert, nicht nur die Diskrepanz ignoriert; sie wird tatsächlich pessimistisch.

Hier ist die Analogie:

Der „optimistische" Lehrer (Standardmethode): Wenn die KI bei einer spezifischen Mathematikaufgabe eine perfekte Bewertung erhält, sagt der optimistische Lehrer: „Wow! Das ist der einzige Weg, um sie zu lösen! Vergessen Sie alles andere, machen Sie genau das für immer!" Das ist gefährlich. Wenn diese eine perfekte Bewertung ein Zufallstreffer oder ein seltsamer Randfall war, bleibt die KI stecken und hört auf, etwas Neues zu lernen.
Der „pessimistische" Lehrer (Methode dieses Artikels): Der pessimistische Lehrer sieht eine perfekte Bewertung und sagt: „Okay, das ist eine großartige Lösung. Versuchen wir das, aber setzen wir nicht alles auf eine Karte. Lassen Sie uns einige unserer anderen Ideen am Leben erhalten, falls doch."

Mathematisch stellten die Autoren fest, dass dieses „pessimistische" Verhalten einer spezifischen Kurve folgt, der Lambert-Funktion. Anstatt dass das Vertrauen der KI exponentiell explodiert (wie eine Rakete), wenn sie eine hohe Bewertung sieht, wirkt die Lambert-Funktion wie ein Stoßdämpfer. Sie lässt die KI verbessern, verhindert aber, dass sie sich zu sehr auf ein einziges, potenziell fehlerhaftes, hochbewertetes Beispiel festlegt.

Warum die alte Methode „zufällig" gut war

Der Artikel erklärt eine verwirrende Eigenart der bestehenden OAPL-Methode. Theoretisch deutete die Mathematik darauf hin, dass sich die KI in einer gefährlichen, instabilen Zone befinden sollte. Doch in der Praxis mussten Ingenieure eine Einstellung anpassen (eine „Temperatur"-Zahl ändern), um sie zum Laufen zu bringen.

Die Autoren erkannten, dass diese Anpassung nicht nur eine zufällige Reparatur war; sie drängte die KI zufällig in die „pessimistische" Zone. Sie zwang die KI manuell dazu, weniger aggressiv und stabiler zu sein.

Die Lösung: Eine einfache, prinzipielle Korrektur

Anstatt darauf zu vertrauen, dass Ingenieure die richtige „Temperatur"-Anpassung erraten, schlagen die Autoren eine einfache, integrierte Regel vor: Verschieben Sie den Durchschnittswert der Bewertung um einen winzigen Betrag nach oben.

Stellen Sie es sich so vor:

Alter Weg: „Hier ist Ihre Bewertung. Wenn sie über dem Gruppen-Durchschnitt liegt, erhalten Sie einen Bonus." (Dies kann instabil sein).
Neuer Weg: „Hier ist Ihre Bewertung. Wir tun so, als wäre der Durchschnittswert der Bewertung etwas höher als er wirklich ist, damit Ihr Bonus konservativer berechnet wird."

Diese einfache Verschiebung garantiert, dass die KI automatisch in der „pessimistischen" (sicheren) Zone bleibt. Sie benötigt keine komplexe Abstimmung.

Die Ergebnisse

Die Autoren testeten diesen neuen Ansatz gegen den alten:

Stabilität: Wenn die „Hausaufgaben" sehr alt waren (veraltete Daten), stürzte die alte Methode ab oder die KI hörte auf, kreativ zu sein. Die neue Methode arbeitete weiterhin reibungslos.
Robustheit: Wenn die Regeln für „wie viel zu ändern" sehr streng gemacht wurden (kleine Regularisierung), versagte die alte Methode, aber die neue Methode verbesserte sich weiter.

Das Fazit

Dieser Artikel zeigt, dass Off-Policy-Lernen funktioniert, nicht weil es die Vergangenheit ignoriert, sondern weil es natürlich „pessimistisch" und vorsichtig wird. Durch das Verständnis dessen schufen die Autoren eine einfache Regel, die das KI-Training stabiler macht, weniger anfällig für Abstürze und besser im Umgang mit alten Daten, ohne komplexe mathematische Korrekturen zu benötigen.

Technische Zusammenfassung: Off-Policy-Lernen zum Reasoning funktioniert, weil es pessimistischer ist, als man denkt

Problemstellung

Reinforcement Learning (RL) hat sich zu einem zentralen Werkzeug zur Verbesserung der Reasoning-Fähigkeiten von Large Language Models (LLMs) in Aufgaben wie Mathematik, Programmierung und mehrstufiger Problemlösung entwickelt. Allerdings ist der Trainingspipeline im für moderne LLMs erforderlichen Maßstab inhärent off-policy. Aufgrund der hohen Kosten für die Generierung von Rollouts werden Trainingsdaten häufig von verzögerten Inferenz-Workern oder älteren Modell-Checkpoints statt von der aktuell optimierten Policy erzeugt.

Bestehende Methoden wie PPO und GRPO versuchen, diese Diskrepanz zu behandeln, indem sie das Training als annähernd on-policy betrachten und Gewichtungsfaktoren (Importance Weights), Clipping oder Filterung zur Korrektur von Verteilungsverschiebungen einsetzen. Obwohl diese Ansätze in nahezu on-policy-Szenarien effektiv sind, führen die Korrekturen zu einer hohen Varianz und können die Optimierung destabilisieren, wenn die Policy-Verzögerung signifikant ist. Umgekehrt entfernen neuere ratio-freie Ansätze (z. B. $A^\star$ -PO, OAPL) die Gewichtungsfaktoren und trainieren direkt auf Daten der Verhaltens-Policy (Behavior-Policy). Obwohl diese Methoden empirische Erfolge zeigen, sind ihre theoretischen Grundlagen nicht vollständig verstanden. Insbesondere deuten die nominalen Herleitungen dieser Ziele auf eine Zielverteilung hin, die sich von dem unterscheidet, was praktische Implementierungen (die oft Temperaturen für die Vorteilsberechnung und Regularisierung entkoppeln) tatsächlich erreichen. Die Arbeit zielt darauf ab, zu erklären, warum diese ratio-freien Methoden funktionieren und wie sie weiter stabilisiert werden können.

Methodik und Theoretische Analyse

Die Autoren analysieren eine Klasse von ratio-freien Off-Policy-Zielen, die das Log-Verhältnis der gelernten Policy auf einen Zielvorteil (Target Advantage) zurückführen, ohne Gewichtungsfaktoren zu verwenden. Sie konzentrieren sich auf Ziele der Form:
$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$
wobei $\hat{A}_i$ ein gruppenspezifischer Vorteil (group-relative advantage) und $\beta$ ein Regularisierungsparameter ist.

Theoretische Kernaussage: Lambert-getemperte Ziele
Durch die Analyse des stationären Punkts dieses Ziels leiten die Autoren ab, dass die induzierte Ziel-Policy nicht die Standard-exponentielle (KL-regulierte) Verteilung ist, sondern vielmehr eine Lambert-getemperte Policy:
$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$
wobei $W_0$ der Hauptzweig der Lambert-W-Funktion ist und $\tau_s$ ein Normalisierungsmultiplikator ist, der durch die Vorteil-Baseline bestimmt wird.

Das Verhalten der Ziel-Policy hängt kritisch vom Vorzeichen und der Größe von $\tau_s$ ab, das durch die Art der Vorteil-Normalisierung gesteuert wird:

Pessimistisches Regime ( $\tau_s > 0$ ): Das Ziel ist konservativer als die exponentielle Aktualisierung. Die Lambert-Funktion wächst für große Vorteile logarithmisch, was verhindert, dass sich die Policy exponentiell auf wenige hochbelohnte Stichproben festlegt. Dies mildert den Entropie-Kollaps.
Exponentielle Grenze ( $\tau_s = 0$ ): Das Ziel gewinnt die Standard-exponentielle Neigung zurück. Dieses Regime ist fragil; kleine Fehler in der Vorteil-Baseline können das Ziel in instabile Regime verschieben.
Instabiles Regime ( $\tau_s < 0$ ): Das Ziel wird aggressiver als die exponentielle Aktualisierung, verstärkt hochvorteilhafte Antworten und erhöht die Anfälligkeit für Entropie-Kollaps.

Analyse bestehender Methoden (OAPL/ $A^\star$ -PO)
Die Arbeit zeigt, dass der in OAPL verwendete nominale Vorteilsschätzer (log-sum-exp zentrierter Vorteil) auf Populationsebene aufgrund des Verzerrungseffekts der Jensenschen-Ungleichung bei endlichen Gruppengrößen ein Ziel im instabilen Regime ( $\tau_s \le 0$ ) induziert. Die in OAPL-Implementierungen beobachtete empirische Stabilität wird einer heuristischen „Temperatur-Entkoppelung" zugeschrieben (Verwendung einer höheren Temperatur für die Vorteilsberechnung als für die Regularisierung), die den Vorteil implizit in ein konservativeres Regime verschiebt.

Vorgeschlagene Modifikation
Um Stabilität zu erreichen, ohne sich auf heuristische Temperatur-Entkoppelung zu verlassen, schlagen die Autoren einen $\beta$ -verschobenen Mittelwert-Vorteil vor:
$\hat{A}_i = r_i - \bar{r} + \beta$
Diese einfache Verschiebung stellt sicher, dass der induzierte Lambert-Multiplikator $\tau_s \ge 1$ erfüllt, wodurch die Ziel-Policy konstruktionsbedingt im pessimistischen Lambert-Regime bleibt.

Hauptbeiträge

Charakterisierung ratio-freier Ziele: Die Autoren beweisen, dass ratio-freie Off-Policy-Ziele Lambert-getemperte Ziel-Policies induzieren, wobei der Grad der Konservativität durch die Vorteil-Normalisierung gesteuert wird.
Erklärung von Stabilitätsmechanismen: Sie erklären, dass der Erfolg von Methoden wie OAPL auf implizitem Pessimismus beruht, der durch praktische Implementierungswahl (Temperatur-Entkoppelung) induziert wird, während ihre nominalen theoretischen Herleitungen tatsächlich instabile Ziele nahelegen.
Prinzipielle Stabilisierung: Sie schlagen einen $\beta$ -verschobenen Mittelwert-Vorteil vor, der garantiert, dass das Ziel im stabilen, pessimistischen Lambert-Regime liegt, und eliminieren damit die Notwendigkeit einer hyperparameterintensiven Temperatur-Entkoppelung.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode gegen OAPL unter Verwendung des Qwen3-8B-Modells auf dem DeepScaleR-Datensatz, mit Evaluation auf Mathematik-Benchmarks (Minerva, AIME2025, AMC23, BRUMO).

Empfindlichkeit gegenüber Regularisierung ( $\beta$ ): Bei kleinen Regularisierungsstärken (kleines $\beta$ ) zeigte OAPL einen schnellen Entropie-Kollaps und verschlechterte Belohnungen, während die vorgeschlagene Lambert-Methode stabil blieb und weiterhin Verbesserungen erzielte.
Robustheit gegenüber Policy-Verzögerung: Mit zunehmender Policy-Verzögerung (veraltete Rollouts) (von 32 auf 256 Schritte) wurde OAPL hochgradig empfindlich und zeigte entweder Entropie-Kollaps oder instabiles Entropiewachstum. Die Lambert-Methode behielt eine höhere Entropie bei und konvergierte über alle Verzögerungseinstellungen hinweg zu höheren Belohnungen.
Fazit: Die vorgeschlagene Modifikation verbessert die Robustheit gegenüber sowohl aggressiver Regularisierung als auch großen Policy-Verzögerungen und validiert die Hypothese, dass die Zielsetzung des pessimistischen Lambert-Regimes das Off-Policy-Lernen stabilisiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Wirksamkeit von Off-Policy-Lernen beim Reasoning von LLMs nicht lediglich darauf zurückzuführen ist, dass Verteilungsabweichungen ignoriert werden, sondern dass spezifische Vorteil-Normalisierungen eine Form von implizitem Pessimismus induzieren. Dieser Pessimismus verhindert, dass sich die Policy auf veraltete, hochbelohnte Stichproben überoptimiert, was entscheidend ist, wenn Rollouts von älteren Policies generiert werden.

Die Autoren positionieren ihre Arbeit als Bereitstellung eines prinzipiellen Verständnisses dafür, warum bestimmte Implementierungswahl in aktuellen Off-Policy-Algorithmen funktionieren, und gehen über „Trust-Region"-Heuristiken hinaus zu einem Rahmenwerk basierend auf Lambert-getemperten Zielen. Sie argumentieren, dass die explizite Zielsetzung des pessimistischen Regimes durch einen verschobenen Mittelwert-Vorteil eine stabilere und zuverlässigere Alternative zu bestehenden Methoden bietet, insbesondere im herausfordernden Kontext des großskaligen, asynchronen LLM-Trainings. Die Arbeit schließt mit dem Vorschlag, dass token-level-Varianten dieser Theorie eine vielversprechende Richtung darstellen, um Off-Policy-Reasoning-Algorithmen prinzipieller zu gestalten.