🤖 machine learning

Distributions as Actions: A Unified Framework for Diverse Action Spaces

Dieser Beitrag stellt ein vereinheitlichtes Reinforcement-Learning-Framework vor, das Aktionen als parametrisierte Verteilungen neu definiert, um einen kontinuierlichen Aktionsraum zu schaffen, wodurch ein varianzarmen Gradientenschätzer und ein effektiver Actor-Critic-Algorithmus (DA-AC) ermöglicht werden, der in diskreten, kontinuierlichen und hybriden Steuerungsaufgaben wettbewerbsfähige Leistung erzielt.

Ursprüngliche Autoren: Jiamin He, A. Rupam Mahmood, Martha White

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiamin He, A. Rupam Mahmood, Martha White

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein Videospiel zu spielen. In der Welt des Reinforcement Learning (RL) ist der Roboter der „Agent" und die Spielwelt die „Umgebung". Jedes Mal, wenn der Roboter einen Zug macht, erhält er eine Belohnung (Punkte) oder eine Strafe. Das Ziel ist es, die besten Züge zu erlernen, um die meisten Punkte zu erhalten.

Normalerweise hängt die Art und Weise, wie wir diese Roboter lehren, vollständig davon ab, welche Art von Zügen sie ausführen können:

Wenn das Spiel diskrete Züge hat (wie „Links", „Rechts" oder „Springen" drücken), verwenden wir eine Art von Mathematik.
Wenn das Spiel kontinuierliche Züge hat (wie das Lenken eines Autos mit unendlicher Präzision), verwenden wir eine andere Art von Mathematik.
Wenn das Spiel eine Mischung aus beidem hat, müssen wir eine komplizierte, maßgeschneiderte Lösung für dieses spezifische Spiel entwickeln.

Dieser Artikel stellt eine neue Denkweise vor, die „Distributions as Actions" (Verteilungen als Aktionen) genannt wird. Es ist wie die Entdeckung eines universellen Übersetzers, der es uns ermöglicht, dieselbe einfache Mathematik für alle Arten von Spielen zu verwenden, unabhängig davon, ob sie diskret, kontinuierlich oder eine Mischung sind.

So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Der große Wandel: Ändern des „Handschlags"

Auf die alte Weise (klassisches RL) entscheidet der Roboter genau, was er tun soll.

Analogie: Stellen Sie sich einen Koch (den Roboter) vor, der dem Kellner (der Umgebung) genau sagt, was zu servieren ist: „Bring mir die rote Suppe." Der Kellner bringt sie einfach.

In diesem neuen Rahmenwerk (Distributions as Actions) entscheidet der Roboter nicht mehr über den exakten Zug. Stattdessen entscheidet er über das Rezept für den Zug.

Analogie: Jetzt sagt der Koch zum Kellner: „Bring mir eine Suppe, die zu 70 % rot und zu 30 % blau ist." Der Kellner wählt dann zufällig eine Schüssel basierend auf diesen Anweisungen aus.
Die Magie: Selbst wenn die finale Suppe entweder „Rot" oder „Blau" ist (diskret), ist die Anweisung des Kochs („70/30") eine glatte, kontinuierliche Zahl. Dies ermöglicht es den Forschern, jedes Problem so zu behandeln, als wäre es ein glattes, kontinuierliches Problem, selbst wenn die tatsächlichen Züge holprig oder diskret sind.

2. Der neue Gradient: Glattere Straßen

Um zu lernen, muss der Roboter wissen, in welche Richtung er sein „Rezept" anpassen muss, um bessere Ergebnisse zu erzielen. Dies wird als „Gradient" bezeichnet.

Das Problem: Auf die alte Weise, wenn der Roboter diskrete Züge errät, ist die Mathematik sehr „verrauscht" (wie das Fahren auf einer holprigen Schotterstraße). Der Roboter macht große, wackelige Schritte und lernt langsam.
Die Lösung (DA-PG): Da der Roboter nun glatte Zahlen (die Rezeptprozentsätze) anpasst, anstatt spezifische Züge zu erraten, wird die Mathematik viel glatter (wie das Fahren auf einer asphaltierten Autobahn).
Das Ergebnis: Der Roboter lernt schneller und stabiler, weil die „Straße", auf der er fährt, weniger Unebenheiten hat. Der Artikel beweist mathematisch, dass diese neue Methode weniger „Rauschen" (Varianz) aufweist als die alten Methoden.

3. Das Dilemma des Kritikers: Der Richter braucht eine Karte

In diesen Systemen gibt es einen „Critic" (einen Richter), der dem Roboter sagt, wie gut ein Zug war.

Die Herausforderung: Da der Roboter nun „Rezepte" (Verteilungen) anstelle spezifischer Züge ausgibt, muss der Richter eine ganze Bandbreite von Möglichkeiten gleichzeitig bewerten. Dies fällt dem Richter schwerer zu lernen. Es ist wie ein Richter, der früher einen einzigen Aufsatz bewertete und nun eine ganze Bibliothek potenzieller Aufsätze bewerten muss.
Die Lösung (ICL): Die Autoren erfanden einen Trick namens Interpolated Critic Learning (Interpoliertes Kritiker-Lernen).
- Analogie: Stellen Sie sich vor, der Richter versucht, das beste Rezept zu lernen. Anstatt nur das genaue Rezept zu betrachten, das der Roboter verwendet hat, betrachtet der Richter auch „dazwischenliegende" Rezepte. Wenn der Roboter eine „70/30"-Mischung verwendete, prüft der Richter auch eine „60/40"-Mischung und eine „80/20"-Mischung.
- Warum es hilft: Dies zwingt den Richter, die Form der Landschaft zu lernen, nicht nur die spezifischen Punkte. Es hilft dem Richter zu verstehen, dass sich „eine leichte Bewegung in Richtung 80/20" vielleicht besser auswirkt, und gibt dem Roboter eine klarere Karte, wie er sich verbessern kann.

4. Das Ergebnis: Ein Algorithmus, der alle regiert

Die Autoren entwickelten einen Roboter-Algorithmus namens DA-AC (Distributions-as-Actions Actor-Critic) unter Verwendung dieser Ideen. Sie testeten ihn in drei sehr unterschiedlichen Welten:

Kontinuierlich: Wie die Steuerung eines Roboterarms mit unendlicher Präzision.
Diskret: Wie das Spielen eines Spiels nur mit „Oben, Unten, Links, Rechts".
Hybrid: Wie ein Spiel, bei dem Sie eine Waffe wählen (diskret) und dann darauf zielen (kontinuierlich).

Die Behauptung: In all diesen verschiedenen Welten schnitt DA-AC genauso gut oder besser ab als die spezialisierten Algorithmen, die zuvor speziell nur für diese bestimmten Welten entwickelt wurden.

Zusammenfassung

Der Artikel argumentiert, dass wir durch die Neudefinition der Grenze zwischen dem „Agenten" und der „Umgebung" – indem wir die Wahrscheinlichkeitseinstellungen eines Zuges als den Zug selbst behandeln – das Reinforcement Learning vereinheitlichen können.

Alte Weise: Unterschiedliche Werkzeuge für verschiedene Aufgaben (ein Hammer für Nägel, ein Schraubenzieher für Schrauben).
Neue Weise: Ein universelles Multifunktionswerkzeug, das gleichermaßen gut bei Nägeln, Schrauben und Bolzen funktioniert, weil es die Art und Weise ändert, wie es mit dem Objekt interagiert, um die Arbeit zu erleichtern.

Die Autoren zeigen, dass dieses „universelle Multifunktionswerkzeug" (DA-AC) nicht nur eine theoretische Idee ist; es funktioniert in der Praxis tatsächlich besser bei einer Vielzahl komplexer Aufgaben.

Technische Zusammenfassung: Verteilungen als Aktionen: Ein einheitlicher Rahmen für diverse Aktionsräume

Problemstellung

Reinforcement-Learning (RL)-Algorithmen werden traditionell nach ihrer Eignung für spezifische Strukturen von Aktionsräumen kategorisiert. Wertbasierte Methoden (z. B. DQN) zeichnen sich in diskreten Räumen durch die Enumeration von Aktionswerten aus, während policy-basierte Methoden (z. B. DPG, SAC) für kontinuierliche Räume konzipiert sind und die Differenzierbarkeit von Aktionswertfunktionen nutzen. Allerdings bleiben aktuelle Algorithmen eng an die spezifische Struktur des Aktionsraums gekoppelt. Die Entwicklung einheitlicher Algorithmen, die über diskrete, kontinuierliche und hybride Aktionsräume hinweg generalisieren, ist schwierig, da für verschiedene Domänen oft unterschiedliche Gradientenschätzer und Architekturen erforderlich sind. Darüber hinaus leiden bestehende Policy-Gradient-Schätzer für stochastische Policies, wie die Likelihood-Ratio (LR) und Reparameterization (RP) Methoden, häufig unter hoher Varianz oder führen zu Verzerrungen, insbesondere in diskreten Settings.

Methodik

Der Rahmen „Verteilungen als Aktionen" (DA)

Die Arbeit führt eine neuartige Formulierung ein, die die Grenze zwischen Agent und Umwelt neu definiert. Im klassischen RL-Rahmen gibt die Policy des Agents $\pi_\theta$ eine Aktion (oder Verteilungsparameter) aus und sampelt die Aktion intern. Im vorgeschlagenen Rahmen „Verteilungen als Aktionen" (DA):

Gibt der Agent Verteilungsparameter $\bar{\pi}_\theta(s)$ (z. B. Mittelwert und Varianz für Gaußsche Verteilungen, Wahrscheinlichkeitsvektoren für kategorische Verteilungen) als seine Aktion aus.
Wird der Sampelprozess $A \sim f(\cdot|\bar{\pi}_\theta(s))$ als Teil der stochastischen Übergangsfunktion der Umwelt behandelt.

Diese Transformation wandelt den ursprünglichen Aktionsraum $\mathcal{A}$ (der diskret, kontinuierlich oder hybrid sein kann) in einen kontinuierlichen Verteilungsparameterraum $\mathcal{U}$ um. Folglich operiert der Agent innerhalb eines neuen Markov-Entscheidungsprozesses (DA-MDP) mit einem kontinuierlichen Aktionsraum $\mathcal{U}$ , unabhängig von der zugrundeliegenden Natur von $\mathcal{A}$ .

Policy-Gradient für Verteilungen als Aktionen (DA-PG)

Aufbauend auf dem DA-MDP leiten die Autoren den DA-PG-Schätzer ab. Durch Anwendung des Deterministic-Policy-Gradient (DPG)-Theorems auf den kontinuierlichen Parameterraum $\mathcal{U}$ erhalten sie einen Gradientenschätzer:
$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$
wobei $\bar{Q}_w$ ein Critic ist, der den erwarteten Return über die durch Parameter $U$ definierte Aktionsverteilung schätzt.

Theoretische Eigenschaften:

Varianzreduktion: Die Arbeit beweist, dass DA-PG der bedingte Erwartungswert sowohl der LR- als auch der RP-Schätzer ist. Gemäß dem Gesetz der totalen Varianz ergibt dies eine strikt niedrigere Varianz als die ursprünglichen Schätzer, sofern die aktionsbedingte oder durch Rauschen induzierte Varianz ungleich null ist.
Einheitlichkeit: Wenn die Verteilung ein Dirac-Impuls ist, reduziert sich DA-PG exakt auf den Standard-DPG-Schätzer, wodurch er als strikte Verallgemeinerung etabliert wird.

Interpoliertes Critic-Lernen (ICL)

Eine Herausforderung im DA-Rahmen besteht darin, dass der Critic $\bar{Q}_w$ in einem höherdimensionalen Eingaberaum (Verteilungsparameter) lernen muss, was schwierig sein kann und zu erhöhter Verzerrung führen kann, wenn der Critic ungenau ist. Um dies zu adressieren, schlagen die Autoren Interpoliertes Critic-Lernen (ICL) vor.

Mechanismus: Anstatt den Critic nur bei den gesampelten Verteilungsparametern $U_t$ zu aktualisieren, nutzt ICL die beobachtete Aktion $A_t$ , um zu inferieren, dass der Übergang auch durch andere Verteilungsparameter generiert worden sein könnte.
Implementierung: Der Critic wird an einem interpolierten Punkt $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$ aktualisiert, wobei $U_{A_t}$ die deterministischen Parameter darstellt, die der beobachteten Aktion $A_t$ entsprechen, und $\omega_t \sim \text{Uniform}[0, 1]$ .
Ziel: Dies ermutigt den Critic, eine glattere Wertelandschaft mit informativer Krümmung zu lernen, was eine bessere Policy-Optimierung im Parameterraum ermöglicht.

DA-AC-Algorithmus

Die Autoren implementieren einen praktischen Deep-RL-Algorithmus, Distributions-as-Actions Actor-Critic (DA-AC), basierend auf der TD3-Architektur. DA-AC integriert den DA-PG-Schätzer für den Actor und das ICL-Update für den Critic, wodurch ein einzelner Algorithmus in der Lage ist, diverse Aktionsräume zu handhaben.

Hauptbeiträge

Einheitlicher Rahmen: Eine Reparameterisierung des RL-Problems, die Verteilungsparameter als Aktionen behandelt und diskrete, kontinuierliche und hybride Steuerung unter einem einzigen kontinuierlichen Aktionsalgorithmus vereinheitlicht.
DA-PG-Schätzer: Ein verallgemeinerter Policy-Gradient-Schätzer mit theoretisch niedrigerer Varianz als Standard-LR- und RP-Schätzer, anwendbar auf beliebige Typen von Aktionsräumen.
ICL-Strategie: Eine einfache, aber effektive Technik zur Verbesserung des Critic-Lernens im DA-Rahmen durch die Nutzung von Updates außerhalb der Verteilung via Interpolation.
Empirische Validierung: Umfassende Evaluierung, die zeigt, dass DA-AC in kontinuierlichen, diskreten und hybriden Steuerungs-Benchmarks im Vergleich zu spezialisierten Baselines wettbewerbsfähige oder überlegene Leistungen erzielt.

Experimentelle Ergebnisse

Die Arbeit evaluiert DA-AC in vier unterschiedlichen Settings:

Kontinuierliche Steuerung: Auf MuJoCo- und DeepMind-Control-Suite-Aufgaben erzielt DA-AC wettbewerbsfähige Leistungen, oft mit besseren Ergebnissen als TD3 und andere Baselines, insbesondere in hochdimensionalen Umgebungen.
Diskrete Steuerung: Auf Gym-classic-control- und MinAtar-Umgebungen performt DA-AC vergleichbar mit DQN und anderen starken diskreten Baselines.
Hochdimensionale diskrete Steuerung: In diskretisierten Versionen kontinuierlicher Steuerungsaufgaben (z. B. Humanoid-v4 mit 17 Dimensionen, diskretisiert in 7 Bins) übertrifft DA-AC Baselines wie ST-AC, LR-AC und PPO signifikant, wobei andere Methoden mit der kombinatorischen Explosion oder hoher Varianz kämpfen.
Hybride Steuerung: Auf Parameterized Action MDPs (PAMDPs) erzielt DA-AC wettbewerbsfähige Ergebnisse gegenüber spezialisierten Algorithmen wie PATD3 und PDQN.

Ablationsstudien:
Experimente in Bandit-Settings und hochdimensionaler diskreter Steuerung zeigen, dass das Entfernen von ICL (DA-AC ohne ICL) zu deutlich schlechteren Leistungen führt, was bestätigt, dass ICL entscheidend für das Erlernen eines effektiven Critics im DA-Rahmen ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Rahmen Verteilungen als Aktionen einen prinzipiellen Weg bietet, den Lernalgorithmus von der spezifischen Struktur des Aktionsraums zu entkoppeln. Durch die Verschiebung der Grenze zwischen Agent und Umwelt ermöglicht er die Anwendung von varianzarmen, deterministisch-artigen Gradientmethoden auf diskrete und hybride Probleme. Die Autoren betonen, dass dieser Ansatz:

Den ersten unverzerrten, varianzarmen Reparameterization-artigen Schätzer für diskrete Verteilungen bereitstellt.
Ein einzelnes algorithmisches Framework (DA-AC) ermöglicht, eine Vielzahl von Steuerungssettings zu handhaben, ohne domänenspezifische architektonische Änderungen vornehmen zu müssen.
Zeigt, dass die Behandlung des Sampelns als Teil der Umwelt das Lernen vereinfachen und neue algorithmische Perspektiven eröffnen kann, insbesondere für komplexe hybride Aktionsräume.

Die Arbeit legt nahe, dass zukünftige Forschung diesen Rahmen auf modellbasierte Methoden, hierarchische Steuerung und fortschrittlichere Critic-Lernstrategien erweitern könnte, doch konzentriert sich der aktuelle Beitrag darauf, die Lebensfähigkeit des Rahmens durch den DA-AC-Algorithmus und seinen empirischen Erfolg zu etablieren.