🤖 AI

Retry Policy Gradients in Continuous Action Spaces

Dieses Paper erweitert das auf ReMax basierende Retry-Ziel auf kontinuierliche Aktionsräume durch die Einführung von pfadabhängigen Ablestungsestimatoren, was zum ReMAC-Algorithmus führt, der stochastische Exploration fördert und eine mit SAC vergleichbare Leistung ohne explizite Entropieregulierung erzielt, indem er die Policy-Gradient-Landschaft umgestaltet.

Ursprüngliche Autoren: Soichiro Nishimori, Paavo Parmas

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Soichiro Nishimori, Paavo Parmas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch einen Raum zu laufen. Der Roboter ist blind und kann nur raten, wohin er treten soll. In der Welt der Künstlichen Intelligenz nennt man das Reinforcement Learning (Bestärkendes Lernen). Der Roboter probiert verschiedene Bewegungen aus, erhält eine „Punktzahl“ (Belohnung) für gute Leistungen und lernt aus seinen Fehlern.

Das große Problem ist die Exploration: Wie bringt man den Roboter dazu, neue Dinge auszuprobieren, anstatt immer nur dieselben sicheren, langweiligen Schritte zu wiederholen?

Der alte Weg: Das Hinzufügen von „Rauschen“

Traditionell fügen Wissenschaftler dem Gehirn des Roboters ein wenig „Rauschen“ oder Zufälligkeit hinzu, um den Roboter zur Exploration zu bewegen. Es ist, als würde man dem Roboter sagen: „Hey, wackle manchmal einfach zufällig mit deinen Beinen!“ Das funktioniert zwar, ist aber wie eine Gewürzmischung, die man bei einem Gericht sorgfältig abmessen und schließlich wieder entfernen muss, sonst schmeckt das Gericht seltsam.

Die neue Idee: Die „Retry“-Strategie

Dieses Paper stellt eine neue Art vor, den Roboter zu lehren, die ReMax genannt wird (was für „Retry Maximum“ steht).

Anstatt dem Roboter zu sagen, er solle zufällig sein, ändert ReMax die Regeln des Spiels. Stellen Sie sich vor, Sie machen einen Test.

Der alte Weg: Sie haben nur einen Versuch, um eine Frage zu beantworten. Sie wählen Ihre beste Vermutung, und das ist Ihre Punktzahl.
Der ReMax-Weg: Sie dürfen den Test M mal machen (sagen wir 4 oder 8 Mal) für dieselbe Frage. Sie schreiben alle 8 Antworten auf, wählen die beste davon aus, und das ist Ihre Punktzahl.

Der Roboter lernt, dass er bessere Chancen hat, unter seinen vielen Versuchen auf eine großartige Antwort zu stoßen, wenn er seine Optionen offen hält (indem er etwas „stochastisch“ oder variabel ist). Er benötigt keine spezielle „Rauschen“-Anweisung; das Verlangen, das Beste aus vielen Versuchen zu finden, zwingt ihn ganz natürlich dazu, zu explorieren.

Was passiert in kontinuierlichen Räumen?

Das Paper konzentriert sich auf kontinuierliche Aktionsräume, was eine schicke Art zu sagen ist, dass der Roboter seine Gelenke in jeden beliebigen Winkel bewegen kann, nicht nur nach „links“ oder „rechts“.

Die Autoren haben etwas Überraschendes darüber entdeckt, wie diese „Retry“-Strategie den Lernpfad des Roboters verändert:

Der „Push“ (Richtung): Wenn der Roboter weit vom Ziel entfernt ist und sich steif bewegt (geringe Zufälligkeit), drängt die Mathematik der „Retry“-Strategie ihn ganz natürlich dazu, mehr zufällig zu werden. Es ist, als würde der Roboter realisieren: „Ich stecke in einer Ecke fest; ich muss mehr herumwackeln, um einen Ausweg zu finden.“
Die „Bremse“ (Größe): Wenn der Roboter nahe an der perfekten Lösung ist, wirkt die „Retry“-Strategie wie eine sanfte Bremse. Sie verlangsamt die Lerngeschwindigkeit. Das ist gut, denn es verhindert, dass der Robot zu schnell am perfekten Punkt vorbeirauscht und ihn überschießt. Es hält den Roboter dazu an, noch etwas länger zu explorieren, bevor er sich festlegt.

Der „ReMAC“-Robot

Die Autoren bauten ein spezielles Robotergehirn namens ReMAC (ReMax Actor-Critic), um dies zu testen. Sie nahmen ein Standard-, sehr erfolgreiches Robotergehirn (genannt SAC) und tauschten einfach die „Rauschen“-Anweisungen gegen die „Retry“-Anweisungen aus.

Die Ergebnisse:

Leistung: Der ReMAC-Roboter lernte genauso gut zu laufen wie die besten Roboter der Welt (SAC).
Exploration: Ohne dass er zusätzliche „Rauschen“-Gewürze benötigte, behielt der ReMAC-Roboter seine Bewegungen ganz natürlich länger vielfältiger (höhere Entropie), genau wie die Theorie es vorhersagte.
Der Haken: Die „Retry“-Methode erfordert, dass der Roboter mehrere Ergebnisse gleichzeitig simuliert, was etwas mehr Rechenleistung benötigt.

Der Twist des Adam-Optimierers

Die Autoren bemerkten auch, dass das Computerwerkzeug, das den Roboter trainiert (genannt Adam), über einen winzigen Einstellungswert (einen „Stabilisierungsparameter“) verfügt, der wie ein Lautstärkeregler wirkt.

Wenn der Regler niedrig eingestellt ist, wird der „Brems-Effekt“ der Retry-Strategie abgeschwächt, und der Roboter lernt schnell, setzt sich aber vielleicht zu schnell ab.
Wenn der Regler höher eingestellt ist, ist der Brems-Effekt stärker, wodurch der Roboter länger exploriert.

Zusammenfassend

Dieses Paper zeigt, dass man eine KI nicht dazu zwingen muss, zufällig zu sein, indem man Rauschen hinzufügt. Stattdessen: Wenn man der KI beibringt, auf das Beste aus vielen Versuchen zu optimieren, findet sie ganz natürlich heraus, dass es die klügere Art ist, die beste Lösung zu finden, ein wenig unvorhersehbar zu sein. Es ist eine clevere, eingebaute Methode, um Neugier zu fördern, ohne zusätzliche Regeln zu benötigen.

Technisches Resümee: Retry Policy Gradients in kontinuierlichen Aktionsräumen

Problemstellung

Exploration bleibt eine zentrale Herausforderung im Reinforcement Learning (RL), insbesondere bei der kontinuierlichen Steuerung. Standardansätze verlassen sich typischerweise auf stochastische Policys kombiniert mit expliziter Entropie-Regularisierung (z. B. Soft Actor-Critic, SAC) oder Rauschinjektion. Obwohl diese Methoden effektiv sind, führen sie einen zusätzlichen Entropie-Bonus ein, der die optimale Policy in Richtung höherer Entropie verzerrt, was eine Konvergenz zum wahren deterministischen Optimum verhindern kann.

Kürzlich haben „Retry-basierte“ Zielsetzungen (z. B. pass@K, max@K) in diskreten Aktionsräumen und beim Post-Training von Large Language Models (LLMs) vielversprechende Ergebnisse gezeigt. Diese Zielsetzungen optimieren den maximalen Ertrag, der aus $M$ gesampelten Trajektorien erzielt wird, anstatt den erwarteten Ertrag. Vorherige Arbeiten (ReMax) zeigten, dass diese Zielsetzung in diskreten Räumen die Exploration natürlich fördert, indem sie sich an die Ertragsunsicherheit anpasst, selbst ohne explizite Entropie-Boni. Die theoretischen Eigenschaften von ReMax in kontinuierlichen Aktionsräumen blieben jedoch unerforscht, und bestehende Gradientenschätzer für diskrete Räume lassen sich nicht auf kontinuierliche Domänen übertragen.

Methodik

Theoretischer Rahmen

Die Autoren erweitern die ReMax-Zielsetzung auf kontinuierliche Aktionsräume unter Verwendung eines pfadweisen Ablestungsestimators (pathwise derivative estimator).

Zielsetzung: Gegeben sei eine Q-Funktion $Q(s, a)$ und ein Retry-Budget $M$ , ist die Zielsetzung definiert als:
$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$
Im Gegensatz zu entropie-regularisierten Zielsetzungen bewahrt diese Formulierung die deterministische optimale Policy ( $\pi^*$ ) als globales Optimum und vermeidet die durch Entropie-Boni verursachte Verzerrung hin zur Stochastizität.
Gradientenschätzung: Da die exakte Berechnung in kontinuierlichen Räumen nicht praktikabel ist, verwenden die Autoren einen Reparametrisierungs-Gradientenschätzer (RP). Aktionen werden über $a_i = \mu + \sigma \epsilon_i$ gesampelt (wobei $\epsilon_i \sim \mathcal{N}(0, I)$ ). Die Zielsetzung wird durch Sampling von $B$ Aktionen approximiert, wobei deren Q-Werte sortiert und eine gewichtete Summe der Top- $M$ -Werte berechnet wird. Dies ermöglicht die Backpropagation durch das Q-Netzwerk und die Policy-Parameter.

Theoretische Analyse der Gradientendynamik

Die Arbeit liefert eine detaillierte Analyse darüber, wie der ReMax-Gradient die Optimierungslandschaft für eine Gaußsche Policy $\mathcal{N}(\mu, \sigma^2)$ mit einer quadratischen Belohnung $r(a) = -a^2$ umgestaltet. Zwei Schlüsselmechanismen werden identifiziert, wenn $M > 1$ :

Entropie-Zunahme (Direktionaler Effekt): Wenn der Mittelwert der Policy weit vom Optimum entfernt und die Skala $\sigma$ klein ist, zeigt die Gradientenrichtung natürlich in Richtung einer Erhöhung von $\sigma$ . Dies geschieht, weil der „Max“-Operator über $M$ Samples eine positive erwartete Aufwärtsfluktuation des Ertrags (oder Abwärtsfluktuation der Kosten) erzeugt, die nur durch eine Erhöhung der Policy-Skala zugänglich ist. Dies fördert die stochastische Exploration ohne einen expliziten Bonus.
Gradienten-Dämpfung (Größenordnungseffekt): Wenn sich die Policy dem Optimum nähert, nimmt die Norm des Gradienten ab. Die Auswahl des besten von $M$ Samples reduziert die Abweichung vom Optimum, was die suboptimalen Samples effektiv „verzeiht“ und die Konvergenz verlangsamt. Dieser Dämpfungseffekt hilft dabei, eine höhere Entropie während des Trainings länger aufrechtzuerhalten.

Die Autoren analysieren auch die Interaktion mit dem Adam-Optimizer. Sie zeigen, dass Adams adaptive Normalisierung (speziell der Stabilisierungsparameter $\epsilon$ ) den Gradienten-Dämpfungseffekt kontern kann. Ein kleines $\epsilon$ (Standardwert $10^{-8}$ ) normalisiert die Gradienten, was potenziell die Konvergenz beschleunigt und den Entropie-erhaltenden Effekt reduziert, während ein größeres $\epsilon$ das Dämpfungsverhalten wiederherstellt.

Algorithmus: ReMAC

Die Autoren implementieren diese Erkenntnisse im ReMax Actor-Critic (ReMAC), einem Off-Policy Actor-Critic-Algorithmus.

Critic: Wird mittels Standard-Temporal-Difference-Regression mit Clipped Double Q-Learning trainiert (unter Verwendung von zwei Critics, um Überschätzung zu reduzieren).
Actor: Wird unter Verwendung der pfadweisen Ableitung der ReMax-Zielsetzung optimiert.
Implementierung: ReMAC wird als minimale Modifikation von SAC präsentiert, wobei der Entropie-Bonus aus dem Critic-Target und dem Temperatur-Tuning entfernt und der Actor-Loss durch den ReMax-Loss ersetzt wird.

Kernergebnisse

Theoretische Befunde

Vektorfeld-Analyse: Visualisierungen des Gradienten-Vektorfeldes für 1D-Gaußsche Policies bestätigen, dass für $M > 1$ die Gradienten die Policy zu höherer Entropie treiben, wenn sie weit vom Optimum entfernt ist, während Standard-RL ( $M=1$ ) immer zu niedrigerer Entropie führt.
Konvergenzeigenschaften: ReMax konvergiert zum deterministischen Optimum ( $\mu=0, \sigma=0$ ), während die Entropie-Regularisierung zu einem stochastischen Optimum konvergiert ( $\mu=0, \sigma>0$ ).
Adam-Interaktion: Die theoretische und empirische Analyse eines Toy-Problems zeigt, dass der Dämpfungseffekt sensitiv gegenüber dem $\epsilon$ -Parameter von Adam ist.

Empirische Evaluierung

Experimente wurden auf sechs kontinuierlichen Kontrollaufgaben aus der Brax-Suite (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) über 3 Millionen Schritte durchgeführt.

Performance: ReMAC mit $M > 1$ erreichte eine Performance, die mit SAC vergleichbar ist und PPO generell übertraf. In mehreren Umgebungen (Ant, Reacher, Swimmer, Walker2d) lieferten größere Retry-Budgets ( $M=4, 8$ ) höhere durchschnittliche Erträge als $M=1$ .
Entropie-Dynamik: Konsistent mit den theoretischen Vorhersagen hielt ReMAC mit $M > 1$ während des gesamten Trainings eine höhere Policy-Entropie als $M=1$ (Standard-RL). Die Entropie nahm mit steigendem $M$ generell zu, insbesondere in den Umgebungen Ant und Swimmer.
Vergleich zu SAC: Obwohl ReMAC eine höhere Entropie als Standard-RL ( $M=1$ ) erreichte, blieb seine Entropie niedriger als die von SAC, was angesichts von SACs expliziter Entropie-Maximierung zu erwarten ist.

Bedeutung und Ansprüche

Die Autoren positionieren ihre Beiträge wie folgt:

Theoretische Erweiterung: Es ist die erste Arbeit, die ReMax auf kontinuierliche Aktionsräume erweitert und eine rigorose theoretische Erklärung für dessen explorationsfördernde Eigenschaften via pfadweiser Ableitungen liefert.
Intrinsische Exploration: Es wird demonstriert, dass retry-basierte Zielsetzungen eine stochastische Exploration durch die Geometrie der Gradientenlandschaft (Richtung und Größenordnung) induzieren können, anstatt durch explizite Entropie-Boni. Dies vermeidet die Verzerrung, die die optimale Policy weg von der deterministischen Lösung verschiebt.
Praktische Lebensfähigkeit: Die Einführung von ReMAC zeigt, dass diese theoretischen Eigenschaften in praktische Deep-RL-Settings übertragbar sind und eine SAC-ähnliche Performance mit minimalen architektonischen Änderungen erreichen.
Optimierungs-Einblick: Die Arbeit hebt die entscheidende Rolle von Optimizer-Hyperparametern (insbesondere Adams $\epsilon$ ) hervor, die den Exploration-Exploitation-Tradeoff in Retry-basierten Zielsetzungen modulieren.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs und merken an, dass ihre theoretische Analyse Glattheit und starke Konvexität voraussetzt, was in vielen praktischen Deep-RL-Umgebungen nicht unbedingt gegeben ist. Sie rahmen ReMAC als Proof-of-Concept für stochastische Exploration ein und schlagen vor, dass zukünftige Arbeiten ReMax mit Posterior Sampling über Q-Funktionen kombinieren könnten, um eine „tiefe Exploration“ in Settings mit spärlichen Belohnungen zu ermöglichen.