🤖 machine learning

Bayesian policy gradient and actor-critic algorithms

Dieser Artikel schlägt ein bayessches Framework für Policy-Gradient- und Actor-Critic-Algorithmen vor, das Gradienten und Aktionswertfunktionen mittels Gaußscher Prozesse modelliert, um die Sample-Komplexität zu verringern, Unsicherheitsschätzungen bereitzustellen und geschlossene Posterior-Updates zu ermöglichen, wodurch es konventionellen Monte-Carlo-Methoden in verschiedenen Reinforcement-Learning-Aufgaben überlegen ist.

Ursprüngliche Autoren: Mohammad Ghavamzadeh, Yaakov Engel, Michal Valko

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Ghavamzadeh, Yaakov Engel, Michal Valko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Gehen beizubringen oder einer Videospielfigur die Navigation durch ein Labyrinth. Der Roboter kennt die Regeln der Welt nicht; er weiß nur, was passiert, wenn er eine Aktion ausführt (wie „einen Schritt vorwärts" oder „nach links drehen"). Dies nennt man bestärkendes Lernen (Reinforcement Learning).

Das Ziel ist es, den besten Satz von Anweisungen (eine „Politik") zu finden, der den Roboter so effizient wie möglich zu seinem Ziel führt. Um dies zu tun, muss der Roboter wissen, in welche Richtung er seine Anweisungen anpassen muss, um besser zu werden. Diese Richtung wird als Gradient bezeichnet.

Der alte Weg: Raten im Dunkeln

Traditionell ermitteln Roboter diese Richtung mithilfe einer Methode namens Monte-Carlo. Stellen Sie sich vor, Sie versuchen, den besten Weg durch einen nebligen Wald zu finden. Der alte Weg besteht darin, 1.000 Entdecker loszuschicken, sie alle zufällige Pfade gehen zu lassen und dann zu fragen: „Wer ist am weitesten gekommen?" Sie mitteln ihre Ergebnisse, um zu erraten, welche Richtung „bergauf" führt.

Das Problem? Es ist unglaublich verrauscht. Ein Entdecker könnte Glück haben und eine Abkürzung finden, während ein anderer über eine Wurzel stolpert. Um eine zuverlässige Antwort zu erhalten, benötigen Sie Tausende von Entdeckern, was viel Zeit kostet und viel Energie (Daten) verschwendet.

Die neue Idee: Die bayessche „intelligente Karte"

Dieser Artikel schlägt einen intelligenteren Weg vor, der als Bayesscher Policy Gradient bezeichnet wird. Anstatt nur basierend auf Rohdaten zu raten, erstellt der Roboter eine intelligente Karte (unter Verwendung eines sogenannten Gauß-Prozesses), die zeigt, wie seine Anweisungen seinen Erfolg beeinflussen.

Stellen Sie es sich so vor:

Der alte Weg: Sie fragen 1.000 Menschen nach dem Weg und nehmen den Durchschnitt.
Der neue Weg: Sie fragen 10 Menschen, nutzen aber auch Ihr Vorwissen über das Gelände (die Karte), um die Lücken zu füllen. Sie wissen, dass ein Pfad, der eine Weile bergauf führt, wahrscheinlich weiter bergauf führt. Sie brauchen nicht 1.000 Menschen, um Ihnen das zu sagen; 10 Menschen plus Ihre Karte reichen aus.

Diese „intelligente Karte" ermöglicht es dem Roboter, die richtige Richtung mit wesentlich weniger Stichproben zu lernen. Sie sagt dem Roboter auch, wie sicher er sich bei dieser Richtung ist (die Unsicherheit). Ist die Karte unscharf, weiß der Roboter, dass er vorsichtig sein muss; ist die Karte klar, kann er sich schnell bewegen.

Zwei Ansätze für das Problem

Der Artikel stellt zwei spezifische Methoden vor, um diese intelligente Karte zu erstellen:

1. Der Ansatz „Gesamte Reise" (Bayesscher Policy Gradient)

Stellen Sie sich vor, Sie sind ein Reisebüro. In diesem Ansatz betrachten Sie die gesamte Reise, die ein Reisender von Anfang bis Ende unternommen hat. Sie fragen: „Hat diese gesamte Reise gut funktioniert?"

Die gute Nachricht: Dies funktioniert auch dann, wenn die Welt chaotisch ist oder wenn der Reisende nicht alles sehen kann (wie beim Fahren im dichten Nebel). Sie müssen die genauen Straßenregeln nicht kennen; Sie betrachten einfach das Endergebnis der Reise.
Die schlechte Nachricht: Da Sie die gesamte Reise als einen großen Block betrachten, verpassen Sie die kleinen Details, die schrittweise passieren. Es ist weniger effizient, wenn die Welt doch klaren, vorhersehbaren Regeln folgt (wie ein Standard-Videospiel-Level).

2. Der Ansatz „Schritt für Schritt" (Bayesscher Actor-Critic)

Dies ist eine fortschrittlichere Methode. Stellen Sie sich vor, Sie haben einen Trainer (den Actor) und einen Richter (den Critic).

Der Trainer entscheidet, welchen Zug er macht.
Der Richter beobachtet jeden einzelnen Schritt, den der Trainer macht, und gibt sofortiges Feedback: „Das war ein guter Schritt" oder „Das war ein schlechter Schritt".
Der Richter verwendet eine „intelligente Karte", um den Wert jedes einzelnen Zuges vorherzusagen, nicht nur das Endergebnis.

Da der Richter jeden einzelnen Schritt betrachtet (Zustand-Aktion-Belohnung), ist diese Methode viel effizienter, wenn die Welt vorhersehbaren Regeln folgt. Sie lernt schneller und mit weniger Daten als der Ansatz „Gesamte Reise".

Was haben sie bewiesen?

Die Autoren führten Experimente durch, um zu sehen, ob ihre „intelligenten Karten"-Methoden tatsächlich besser funktionieren als die alten Methoden des „Ratens im Dunkeln". Sie testeten sie an:

Einfachen Spielen: Wie einem Spielautomaten (Bandit-Problem).
Kontrollaufgaben: Wie dem Balancieren eines Pols oder dem Steuern eines Schiffes.

Die Ergebnisse:

Die neuen Methoden lernten viel schneller und mit weniger Daten als die alten Methoden.
Die „Schritt-für-Schritt"-Methode (Actor-Critic) war am effizientesten, insbesondere in vorhersehbaren Umgebungen.
Die Methoden konnten auch Situationen bewältigen, in denen der Roboter nicht das gesamte Bild sehen konnte (teilweise beobachtbare Probleme), was ein häufiges reales Problem ist.

Zusammenfassung

Dieser Artikel handelt davon, Robotern beizubringen, effizienter zu lernen. Anstatt blindlings Tausende von zufälligen Aktionen auszuprobieren, um herauszufinden, was funktioniert, gaben die Autoren den Robotern eine „intelligente Karte" (bayessche Inferenz), die ihnen hilft, die Welt mit weniger Versuchen zu verstehen. Sie zeigten, dass Roboter durch die Kombination dieser Karte mit einem „Trainer-und-Richter"-System komplexe Aufgaben viel schneller und zuverlässiger lernen können als zuvor.

Technische Zusammenfassung: Bayessche Policy-Gradient- und Actor-Critic-Algorithmen

1. Problemstellung

Policy-Gradient (PG)-Methoden sind ein Eckpfeiler des Reinforcement Learning (RL) und optimieren eine parametrisierte Policy, indem sie einem Schätzwert des Leistungsgradienten folgen. Herkömmliche PG-Methoden verlassen sich jedoch stark auf Monte-Carlo (MC)-Techniken zur Schätzung dieser Gradienten.

Hohe Varianz: MC-Schätzer sind erwartungstreu, leiden aber unter hoher Varianz, was eine große Anzahl an Stichproben für genaue Schätzungen erfordert, was zu einer langsamen Konvergenz führt.
Ineffiziente Stichproben: Die Abhängigkeit von frequentistischen Punktschätzungen ignoriert die in den Daten inhärente Unsicherheit und versagt darin, Vorwissen oder die Struktur der Datenverteilung effektiv zu nutzen.
Begrenzungen bestehender Lösungen: Zwar helfen Baselines und natürliche Gradienten (unter Verwendung der Fisher-Informationsmatrix), doch adressieren sie das Varianzproblem oder das Fehlen einer Unsicherheitsquantifizierung in der Gradientenschätzung selbst nicht grundlegend.

Die Arbeit adressiert den Bedarf an einem effizienteren, robusteren und unsicherheitsbewussten Rahmenwerk für die Policy-Gradient-Schätzung und das Actor-Critic-Lernen.

2. Methodik

Die Autoren schlagen ein bayessches Rahmenwerk vor, das die frequentistische MC-Schätzung durch Bayessche Quadratur (BQ) ersetzt. Die Kernidee besteht darin, den Gradienten des erwarteten Returns als Gaußscher Prozess (GP) zu modellieren.

A. Bayesscher Policy Gradient (BPG)

Der BPG-Ansatz behandelt das Gradientenintegral $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ als Integral einer zufälligen Funktion.

Modellierung: Der Integrand wird in einen deterministischen Teil (bezogen auf die Policy-Wahrscheinlichkeit) und einen stochastischen Teil (der Return) aufgeteilt. Der stochastische Teil wird als GP modelliert.
Zwei Modelle:
1. Modell 1 (Vektorwertiger GP): Modelliert die Gradientenkomponenten direkt als vektorwertigen GP. Es verwendet einen quadratischen Fisher-Kernel.
2. Modell 2 (Skalarwertiger GP): Modelliert den Return als skalaren GP und integriert ihn gegen den Gradienten der Policy-Wahrscheinlichkeit. Es verwendet einen standardmäßigen Fisher-Kernel.
Schlüsselmechanismus: Durch das Beobachten von Trajektorien berechnet der Algorithmus die Posterior-Verteilung des Gradienten. Dies liefert nicht nur eine Punktschätzung (den Mittelwert), sondern auch eine Kovarianzmatrix, die die Unsicherheit der Gradientenschätzung repräsentiert.
Kernel-Auswahl: Die Verwendung von Fisher-Kernels (basierend auf der Fisher-Informationsmatrix) ist entscheidend. Sie ermöglicht die Herleitung von geschlossenen Ausdrücken für die Posterior-Momente des Gradienten, was die Berechnung handhabbar macht.
Anwendbarkeit: Da BPG gesamte Systemtrajektorien als Grundeinheit behandelt, benötigt es keine Markov-Eigenschaft und ist somit natürlich auf partiell beobachtbare MDPs (POMDPs) erweiterbar.

B. Bayesscher Actor-Critic (BAC)

Um die Einschränkung zu adressieren, dass BPG die Markov-Eigenschaft nicht ausnutzen kann (was in Markov-Systemen zu höherer Varianz führt), stellen die Autoren einen Bayesschen Actor-Critic-Algorithmus vor.

Critic: Verwendet Gaussian Process Temporal Difference (GPTD)-Lernen. Die Aktionswertfunktion $Q(z)$ wird als GP modelliert.
Actor: Aktualisiert die Policy-Parameter unter Verwendung der Posterior-Momente des Gradienten, die vom GP des Critics abgeleitet wurden.
Integration: Durch die Wahl einer spezifischen Prior-Kovarianzkernel für den GP (Summe aus einem Zustandskernel und dem Fisher-Kernel) leiten die Autoren geschlossene Ausdrücke für den Posterior-Mittelwert und die Posterior-Kovarianz des Policy-Gradienten ab.
Vorteil: BAC verwendet einzelne Zustands-Aktions-Belohnungs-Übergänge als beobachtbare Einheit. Dies ermöglicht es, die Markov-Eigenschaft auszunutzen und die Varianz im Vergleich zum trajektorienbasierten BPG signifikant zu reduzieren, insbesondere bei Problemen mit langer Zeithorizont.

C. Online-Verdünnung (Sparsification)

Sowohl BPG als auch BAC beinhalten Kernel-Matrizen, die mit der Anzahl der Stichproben wachsen ( $O(M^3)$ Komplexität). Die Arbeit integriert Online-Verdünnung (basierend auf Engel et al., 2002), um ein „Wörterbuch" repräsentativer Stichproben zu erhalten. Dies stellt sicher, dass die Algorithmen zeitlich und speichertechnisch effizient bleiben, während der Approximationsfehler über einen Schwellenwert-Parameter kontrolliert wird.

3. Hauptbeiträge

Bayessches Policy-Gradient-Rahmenwerk: Eine neuartige Formulierung von PG-Methoden unter Verwendung von Bayesscher Quadratur und Gaußschen Prozessen, die eine vollständige Posterior-Verteilung über den Gradienten anstelle einer einzelnen Punktschätzung bereitstellt.
Geschlossene Lösungen: Die Herleitung analytischer Ausdrücke für den Posterior-Mittelwert und die Posterior-Kovarianz des Gradienten unter Verwendung von Fisher-Kernels, wodurch die Notwendigkeit numerischer Integration oder Stichprobenziehung für die Gradientenschätzung selbst entfällt.
Unsicherheitsquantifizierung: Die Fähigkeit, die Gradientenkovarianz mit geringem zusätzlichem Aufwand zu berechnen. Dies ermöglicht risikobewusstes Lernen (z. B. Verwendung der Kovarianz zur Anpassung der Schrittweiten).
Bayesscher Actor-Critic (BAC): Ein neuer AC-Algorithmus, der GPTD-Critics mit bayesschen Policy-Aktualisierungen kombiniert und die Markov-Eigenschaft für eine geringere Varianz als BPG nutzt.
Erweiterung auf POMDPs: Der Nachweis, dass der trajektorienbasierte BPG-Ansatz nicht-Markovsche Systeme ohne Modifikation natürlich handhabt.
Umfassende Evaluation: Umfangreiche experimentelle Vergleiche mit klassischen MC-basierten PG- und Actor-Critic-Methoden über diverse Domänen hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden an mehreren Benchmarks:

Bandit-Problem & Linear Quadratic Regulator (LQR):
- BQ (Bayessche Quadratur)-Schätzungen des Gradienten zeigten eine um Größenordnungen geringere Varianz und höhere Genauigkeit im Vergleich zu MC-Schätzungen, insbesondere bei kleinen Stichprobengrößen.
- BPG (unter Verwendung natürlicher Gradienten) schnitt im LQR besser ab als MCPG (Monte-Carlo PG), konvergierte schneller und erzielte bessere finale Returns, insbesondere bei moderaten Stichprobengrößen ( $M=10, 20, 40$ ).
- Eine Variante, die die Gradientenkovarianz zur Anpassung der Schrittweiten verwendet (BPG-var), zeigte die beste Leistung.
Zufallswanderung (10-Zustände):
- BAC schnitt deutlich besser ab als sowohl BPG als auch MCPG. BAC lernte schneller und war robuster gegenüber Änderungen der Lernrate.
- BPG hatte Schwierigkeiten, wenn sich die Trajektorienlängen variierten, wohingegen BAC (unter Verwendung von Zustands-Aktions-Übergängen) stabil blieb.
Mountain Car (Kontinuierlicher Zustand/Diskrete Aktion):
- BAC schnitt MCPG konsistent ab, fand gute Policies mit sehr wenigen Stichproben ( $M=5$ ) und hielt eine niedrige Varianz aufrecht. MCPG benötigte größere Stichprobengrößen, um die Leistung von BAC zu erreichen.
Schiffsführung (Kontinuierlicher Zustand/Kontinuierliche Aktion):
- In diesem komplexen, hochdimensionalen Bereich demonstrierte BAC erneut überlegene Konvergenzgeschwindigkeit und Erfolgsquoten im Vergleich zu MCPG, mit geringerer Leistungsvarianz.

5. Bedeutung und Auswirkung

Stichprobeneffizienz: Die primäre Bedeutung liegt in der drastischen Reduktion der Anzahl der Stichproben, die erforderlich sind, um eine effektive Policy zu erlernen. Durch die Modellierung des Gradienten als GP „lernt" der Algorithmus die Form der Gradientenfunktion, was es ihm ermöglicht, sich von weniger Datenpunkten zu verallgemeinern als MC-Methoden.
Unsicherheitsbewusstes Lernen: Die Bereitstellung der Gradientenkovarianz ermöglicht risikosensitive Policy-Aktualisierungen. Der Algorithmus kann größere Schritte unternehmen, wenn die Unsicherheit gering ist, und kleinere, sicherere Schritte, wenn die Unsicherheit hoch ist – eine Eigenschaft, die in Standard-PG-Methoden fehlt.
Theoretische Strenge: Die Arbeit liefert rigorose Beweise für die geschlossenen Lösungen der Posterior-Momente und schließt die Lücke zwischen bayesschen nicht-parametrischen Methoden und RL.
Vielseitigkeit: Das Rahmenwerk vereinheitlicht die Behandlung sowohl von Markovschen (via BAC) als auch nicht-Markovschen/POMDP-Problemen (via BPG) unter einem einzigen bayesschen Dach.

Zusammenfassend etabliert diese Arbeit eine starke theoretische und empirische Grundlage für Bayessches Reinforcement Learning und zeigt, dass die Behandlung von Policy-Gradienten als Zufallsvariablen, modelliert durch Gaußsche Prozesse, zu effizienteren, stabileren und robusteren Lernalgorithmen führt als traditionelle frequentistische Ansätze.