Guided Policy Optimization under Partial Observability

Die Arbeit stellt Guided Policy Optimization (GPO) vor, ein Framework, das durch das kooperative Training eines Leiters mit privilegierten Informationen und eines Lernenden mittels Imitationslernen die Herausforderungen des Reinforcement Learning in teilweise beobachtbaren Umgebungen effektiv bewältigt und dabei theoretische Optimalität sowie überlegene empirische Leistung nachweist.

Das Wesentliche

Das große Problem: Der blinde Pilot im Nebel

Stellen Sie sich vor, Sie müssen ein Flugzeug fliegen, aber Sie sind blind. Sie sehen nichts außer ein paar blinkenden Lichtern und hören ein Rauschen (das ist die „teilweise Beobachtbarkeit" in der KI). Das ist extrem schwierig.

Normalerweise lernt eine KI (ein Roboter) durch Ausprobieren: Sie fliegt, stürzt ab, lernt daraus und versucht es wieder. Das dauert ewig und ist gefährlich.

Aber während des Trainings haben wir oft einen Super-Piloten (einen Simulator oder einen Experten), der alles sieht. Er kennt den Himmel, die Wolken und die Landebahn perfekt. Er hat „Privilegierte Informationen".

Das Dilemma:
Wenn wir den blinden Schüler einfach nur den perfekten Super-Piloten nachahmen lassen, scheitert es oft.

• Beispiel: Der Super-Pilot weiß genau, wo die Tiger sind, und öffnet sofort die richtige Tür. Der blinde Schüler sieht aber nichts. Wenn er dem Lehrer nur nachschaut, lernt er nicht, warum die Tür gewählt wurde, sondern nur, dass er „Tür A" drücken soll. Aber wenn er Tür A drückt, ohne zu wissen, wo der Tiger ist, ist das Glücksspiel. Der Schüler kann den Lehrer nicht kopieren, weil ihm die entscheidenden Informationen fehlen. Das nennt man die „Imitations-Lücke".

Die Lösung: GPO – Der Tanz zwischen Lehrer und Schüler

Die Autoren dieses Papiers haben eine neue Methode namens GPO (Guided Policy Optimization) entwickelt. Statt einen perfekten Lehrer zu nehmen, der den Schüler überfordert, trainieren sie Lehrer und Schüler gemeinsam.

Stellen Sie sich das wie ein Tanzpaar vor:

1. Der Lehrer (Guider): Er hat alle Informationen (er sieht den Tiger). Er ist sehr gut.
2. Der Schüler (Learner): Er ist blind (sieht nur das Rauschen).
3. Der Tanz: Sie tanzen zusammen. Aber hier ist der Clou: Der Lehrer darf nicht zu weit vorauslaufen.

Wenn der Lehrer einen Schritt macht, den der Schüler nicht nachmachen kann (weil er die Information nicht hat), zieht der Schüler den Lehrer zurück. Der Lehrer muss sich also anpassen und Schritte machen, die der Schüler tatsächlich verstehen und nachahmen kann.

Wie funktioniert das genau? (Die Metapher des „Seils")

Stellen Sie sich vor, Lehrer und Schüler sind durch ein elastisches Seil verbunden.

• Der Lehrer lernt: Er nutzt seine Super-Kräfte (die vollen Informationen), um die beste Route zu finden. Er zieht am Seil.
• Der Schüler lernt: Er versucht, dem Lehrer zu folgen.
• Der Rückzug (Backtracking): Wenn der Lehrer zu schnell ist oder einen Schritt macht, den der blinde Schüler nicht nachvollziehen kann, spannt sich das Seil. Der Schüler „reißt" den Lehrer zurück. Der Lehrer muss dann einen Schritt zurücktreten und eine Route finden, die beide gemeinsam gehen können.

Das Geniale daran:
Durch diesen ständigen „Zieh-Krieg" lernt der Lehrer nicht nur die perfekte Route, sondern eine Route, die für den Schüler machbar ist. Der Lehrer wird nicht „zu perfekt" (unmögliche Perfektion), sondern „genau richtig gut" (machbare Perfektion).

Am Ende hat der Schüler gelernt, die beste Route zu gehen, die er tatsächlich gehen kann, basierend auf dem, was er sieht.

Warum ist das besser als alles andere?

• Früher: Man hat einen perfekten Lehrer gebaut und gesagt: „Kopier ihn!" -> Der Schüler war verwirrt und hat schlecht gelernt.
• Oder: Man hat den Schüler allein trainieren lassen -> Das dauerte ewig und war ineffizient.
• Mit GPO: Der Lehrer hilft dem Schüler, aber der Schüler bestimmt mit, wie schnell und wie weit der Lehrer gehen darf. Das Ergebnis ist ein Schüler, der fast so gut ist wie der Lehrer, aber mit den Fähigkeiten, die er wirklich hat.

Wo wurde es getestet?

Die Forscher haben das an verschiedenen Aufgaben getestet:

1. Tiger-Tür: Ein klassisches Rätsel, bei dem man erst lauschen muss, bevor man eine Tür öffnet. GPO hat gelernt, dass man erst lauschen muss, während andere Methoden nur wild Türen öffneten.
2. Roboter: Ein Roboter, der laufen soll, aber nur verrauschte Sensordaten hat (wie bei einem Sturm). GPO hat den Roboter viel stabiler laufen lassen als andere Methoden.
3. Gedächtnis-Spiele: Aufgaben, bei denen man sich an Dinge erinnern muss, die vor langer Zeit passiert sind (wie ein Kartenspiel). GPO hat hier ebenfalls gewonnen.

Fazit

GPO ist wie ein geduldiger Tanzlehrer, der nicht nur tanzt, sondern sich auch vom Schüler führen lässt.

Anstatt den Schüler zu überfordern, passt sich der Lehrer dem Schüler an, während er gleichzeitig die besten Wege zeigt. So lernt der Schüler schneller, sicherer und erreicht am Ende ein Ergebnis, das fast so gut ist, als hätte er die Super-Kräfte des Lehrers selbst gehabt.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen des Reinforcement Learning (RL) in teilweise beobachtbaren Umgebungen (Partially Observable Markov Decision Processes, POMDPs). In solchen Szenarien trifft ein Agent Entscheidungen basierend auf unvollständigen oder verrauschten Beobachtungen ($o_t$), anstatt den vollen Zustand ($s_t$) zu kennen. Dies führt zu komplexen Lernproblemen unter Unsicherheit.

Ein vielversprechender Ansatz zur Verbesserung des Trainings ist die Nutzung von privilegierten Informationen (z. B. vollständige Zustandsinformationen in Simulationen), die während des Trainings verfügbar sind, aber zur Ausführungszeit (Inference) nicht vorhanden sind.

• Herausforderung: Herkömmliche Methoden wie Imitation Learning (IL) oder Teacher-Student-Learning (TSL) scheitern oft an dem sogenannten „Imitation Gap" (oder „Impossibly Good Teacher"-Problem). Ein Lehrer, der auf privilegierten Informationen basiert, entwickelt eine Strategie, die für den Schüler (der nur teilweise beobachtet) nicht nachahmbar ist. Der Schüler kann die optimale Politik des Lehrers nicht lernen, da die notwendigen Informationen fehlen, was zu suboptimalen Ergebnissen führt.
• Bestehende Lösungen: Ansätze, die RL und IL mischen oder Belohnungen durch den Lehrer formen, nutzen das Wissen des Lehrers oft ineffizient oder verlieren die Vorteile der privilegierten Informationen.

2. Methodik: Guided Policy Optimization (GPO)

Die Autoren stellen Guided Policy Optimization (GPO) vor, ein Framework, das einen Leiter (Guider) und einen Lernenden (Learner) gleichzeitig (co-training) trainiert. Im Gegensatz zu traditionellem TSL, wo der Lehrer oft statisch oder unabhängig trainiert wird, werden beide Agenten in einem iterativen Prozess synchronisiert.

Kernidee

Der Schlüsselgedanke ist, den Lehrer so zu trainieren, dass er zwar von privilegierten Informationen profitiert, aber seine Politik innerhalb des imitierbaren Bereichs des Lernenden bleibt. Dies wird durch einen Backtracking-Mechanismus erreicht, der sicherstellt, dass der Lehrer nicht zu weit vom Lernenden entfernt ist.

Der GPO-Algorithmus (4 Schritte pro Iteration)

1. Datensammlung: Trajektorien werden durch Ausführen der aktuellen Politik des Leiters $\mu^{(k)}$ (mit Zugriff auf $s$) gesammelt.
2. Leiter-Training: Der Leiter wird mittels RL (z. B. PPO) aktualisiert, um die Belohnung zu maximieren ($V_{\mu}$).
3. Lernender-Training: Der Lernende $\pi^{(k+1)}$ wird trainiert, um die Distanz (z. B. KL-Divergenz) zum aktualisierten Leiter $\hat{\mu}^{(k)}$ zu minimieren (Imitation).
4. Leiter-Backtracking: Die Politik des Leiters wird für die nächste Iteration auf die des Lernenden zurückgesetzt (oder stark angenähert): $\mu^{(k+1)}(\cdot|s) = \pi^{(k+1)}(\cdot|o)$. Dies verhindert, dass der Leiter zu „gut" wird und unimitierbar wird.

Zwei Varianten

Das Paper implementiert GPO in zwei Varianten, um die Backtracking-Strategie zu steuern:

• GPO-penalty: Nutzt einen adaptiven KL-Strafterm. Wenn die Distanz zwischen Leiter und Lernendem einen Schwellenwert überschreitet, wird der Strafterm erhöht, um den Leiter zurück zum Lernenden zu ziehen. Zusätzlich kann der Lernende parallel mittels RL (PPO) trainiert werden, um die Lernkurve zu beschleunigen.
• GPO-clip: Inspiriert von PPO-Clip. Hier wird ein „Double-Clip"-Mechanismus verwendet, der Updates des Leiters stoppt, wenn er sich zu weit vom Lernenden entfernt (basierend auf dem Verhältnis der Wahrscheinlichkeiten). Zudem wird ein Maskierungsmechanismus für den Backtracking-Verlust eingeführt, der nur aktiv wird, wenn die Divergenz einen Bereich $\delta$ verlässt. Beide Agenten teilen sich oft ein neuronales Netz, wobei der Eingabevektor um einen Indikator erweitert wird, um zwischen privilegiertem Zustand ($s$) und Beobachtung ($o$) zu unterscheiden.

3. Theoretische Beiträge

• Optimalitätsgarantie: Die Autoren beweisen (Proposition 1), dass GPO unter bestimmten Bedingungen (Update via Policy Mirror Descent) äquivalent zu einem standardmäßigen RL-Update für den Lernenden ist. Der Lernende erreicht somit eine Optimalität, die mit direktem RL-Training vergleichbar ist, obwohl er nur durch Supervision und Backtracking lernt.
• Überwindung des Imitation Gaps: Durch die Rückverfolgung (Backtracking) wird sichergestellt, dass der Lehrer niemals eine Politik annimmt, die der Lernende nicht nachahmen kann. Dies eliminiert das Problem des „unmöglichen Lehrers".
• Varianzreduktion: GPO trennt das Lernen in zwei Phasen: Der Leiter (mit vollem Zustand) übernimmt die komplexen RL-Gradienten, während der Lernende (mit Teilbeobachtung) durch einfacheres Supervised Learning (Imitation) stabilisiert wird. Dies reduziert die Varianz des Gradienten unter Teilbeobachtbarkeit.

4. Experimentelle Ergebnisse

Die Autoren evaluieren GPO in drei Hauptbereichen:

1. Didaktische Aufgaben (TigerDoor):

   • In klassischen POMDP-Beispielen wie „TigerDoor" (wo der Lehrer den Tigerort kennt, der Lernende aber nicht) zeigen herkömmliche TSL-Methoden suboptimales Verhalten.
   • Ergebnis: GPO erreicht die optimale Politik, während reine Imitation (BC) oder statische Lehrer versagen. GPO-naive (nur Imitation) erreicht bereits Optimalität, was die theoretische Garantie untermauert.

2. Kontinuierliche Steuerung (Brax-Domain):

   • Aufgaben wie Ant, Humanoid und Halfcheetah wurden in POMDPs umgewandelt (Entfernung von Geschwindigkeitsdaten, Hinzufügen von Gaußschem Rauschen).
   • Ergebnis: GPO-Clip und GPO-Penalty übertreffen signifikant Baselines wie PPO-asym, ADVISOR, A2D und PPO+BC. Besonders bei hohem Rauschen versagen Methoden mit vortrainierten Lehrern, während GPO robust bleibt.

3. Gedächtnisbasierte Aufgaben (POPGym):

   • Aufgaben, die das Erinnern vergangener Beobachtungen erfordern (z. B. Kartenspiele, Battleship).
   • Ergebnis: GPO zeigt konsistent hohe Leistung. Die Ergebnisse deuten darauf hin, dass der Leiter in der Lage ist, effektiv zu explorieren, ohne den Lernenden zu überfordern, was für Aufgaben mit langem Kontext entscheidend ist.

5. Signifikanz und Fazit

• Effiziente Nutzung privilegierter Informationen: GPO bietet einen neuen Weg, um Simulationsdaten (vollständige Zustände) effektiv für das Training von Agenten in realen, unvollständigen Umgebungen zu nutzen, ohne in die Falle des „Imitation Gap" zu tappen.
• Theoretische Fundierung: Im Gegensatz zu vielen heuristischen Ansätzen bietet GPO theoretische Garantien für die Optimalität des Lernenden.
• Praktische Anwendbarkeit: Die Methode ist rechnerisch effizient (nur ca. 10-20% langsamer als PPO-asym) und erfordert keine zusätzlichen Netzwerke, da sie oft geteilte Architekturen nutzt.
• Zukunftsperspektive: Das Framework eignet sich ideal für Multi-Agenten-Systeme, wo Agenten während des Trainings globale Informationen haben, aber lokal agieren müssen.

Zusammenfassend stellt GPO einen Durchbruch dar, der die Lücke zwischen reinem RL und Imitation Learning schließt, indem es einen dynamischen, gegenseitig abgestimmten Trainingsprozess einführt, der sowohl die Vorteile privilegierter Informationen nutzt als auch die Lernfähigkeit des Agenten unter Unsicherheit respektiert.