Actor-Critic Pretraining for Proximal Policy Optimization

Diese Arbeit stellt ein Verfahren vor, das sowohl den Actor als auch den Critic von Proximal Policy Optimization (PPO) durch Expertendaten vorinitialisiert, wodurch die Probeneffizienz im Vergleich zu keinem Pretraining und zum reinen Actor-Pretraining auf 15 robotischen Aufgaben signifikant gesteigert wird.

Das Wesentliche

Stellen Sie sich vor, Sie wollen jemanden beibringen, ein komplexes Instrument zu spielen – sagen wir, ein Klavier.

Das Problem: Der langsame Anfänger
In der Welt der künstlichen Intelligenz (KI) gibt es eine Methode namens "Reinforcement Learning" (Bestärkendes Lernen). Ein KI-Agent lernt hier durch Ausprobieren, genau wie ein Kind, das versucht, Klavier zu spielen, ohne Noten zu kennen. Es drückt eine Taste, hört den Ton, und wenn es gut klingt, bekommt es einen "Punkt" (Belohnung). Wenn es schief klingt, bekommt es nichts.
Das Problem: Um wirklich gut zu werden, muss der KI-Agent Millionen von Tasten drücken. Das ist extrem ineffizient, teuer und in der Robotik (wo Roboter physisch verschleißen) oft gefährlich.

Die übliche Lösung: Der Klavierlehrer (nur für die Hände)
Bisher haben Forscher versucht, das zu verbessern, indem sie dem KI-Agenten einen "Lehrer" gaben. Dieser Lehrer ist ein Experte, der das Klavier schon perfekt spielt.
Die KI schaut sich an, wie der Experte die Tasten drückt, und kopiert diese Bewegungen am Anfang. Das nennt man "Behavioral Cloning" (Verhaltens-Klonen).

• Der Haken: Die Forscher haben bisher nur den "Spieler" (den Actor) trainiert, also die Hände, die die Tasten drücken. Aber sie haben den "Kritiker" (den Critic) ignoriert.
• Wer ist der Kritiker? Stellen Sie sich den Kritiker als den Musikpädagogen vor, der neben dem Schüler sitzt. Seine Aufgabe ist es, zu beurteilen: "Wie gut war dieser Takt? Wie viele Punkte habe ich dafür?" Wenn der Schüler lernt, muss der Pädagoge wissen, was "gut" ist, um den Schüler richtig zu loben oder zu korrigieren. Wenn der Pädagoge aber völlig ahnungslos ist (zufällig trainiert), gibt er falsche Ratschläge, und der Schüler lernt langsamer oder verlernt sogar, was er schon konnte.

Die neue Idee: Beide vorbereiten (Actor-Critic Pretraining)
Diese neue Arbeit von Andreas Kernbach und seinem Team schlägt vor: Trainieren wir nicht nur den Spieler, sondern auch den Pädagogen!

Hier ist das Konzept in einfachen Schritten:

1. Der Experte (Der Lehrer): Wir haben Daten von einem perfekten Roboter, der die Aufgabe schon kann.
2. Der Spieler (Actor) wird vorbereitet: Wir lassen den KI-Spieler die Bewegungen des Experten nachahmen. Er weiß jetzt schon, welche Tasten er drücken muss.
3. Der Pädagoge (Critic) wird vorbereitet (Das Neue!): Das ist der Clou. Wir lassen den vorbereiteten Spieler eine Runde spielen (ein "Rollout"). Der Pädagoge schaut zu und merkt sich: "Aha, wenn der Spieler so spielt, bringt das genau diese Punkte." So lernt der Pädagogen, die Qualität der Aktionen des Spielers richtig einzuschätzen, bevor das eigentliche Training beginnt.
4. Das Fein-Tuning (PPO): Jetzt starten wir das eigentliche Training. Da der Spieler schon die Grundlagen kennt und der Pädagoge weiß, wie man bewertet, lernen sie extrem schnell.

Warum ist das so genial? (Die Analogie)
Stellen Sie sich vor, Sie lernen eine neue Sprache.

• Ohne Vorwissen: Sie müssen jedes Wort selbst erraten. Das dauert ewig.
• Nur mit Wörterbuch (nur Actor): Sie kennen die Wörter (die Aktionen), aber Sie wissen nicht, ob Sie sie im richtigen Kontext benutzen. Sie machen Grammatikfehler.
• Mit Wörterbuch und Lehrer (Actor + Critic): Sie kennen die Wörter, und Ihr Lehrer weiß genau, welche Sätze korrekt sind. Sie können sofort in fließenden Dialogen üben, statt stundenlang Vokabeln zu pauken.

Was haben die Forscher herausgefunden?
Sie haben das an 15 verschiedenen Roboteraufgaben getestet (vom Laufen lernen bis zum Greifen von Objekten). Die Ergebnisse sind beeindruckend:

• Im Vergleich zum "Nichts tun" (kein Vorwissen) brauchen sie 86 % weniger Versuche, um die Aufgabe zu meistern.
• Im Vergleich zur alten Methode (nur Spieler vorbereiten) sparen sie immer noch 31 % Zeit und Ressourcen.
• Besonders wichtig: Der "Kritiker" verhindert, dass der Roboter vergisst, was er gelernt hat (ein Phänomen, das "katastrophales Vergessen" heißt).

Ein paar technische Feinheiten (in Alltagssprache)

• Die "Erweiterte Schritt-Grenze": Manchmal wird ein Training künstlich abgebrochen, bevor es wirklich zu Ende ist. Das verfälscht die Bewertung. Die Forscher haben eine Formel entwickelt, die sicherstellt, dass der Pädagoge auch die "fernen" Punkte im Blick hat, die erst später kommen.
• Die "Rest-Struktur": Sie haben das neuronale Netz so gebaut, dass es wie ein Rucksack mit einem festen Fach ist. Das Fach (der "Backbone") enthält das Wissen des Experten und wird während des Trainings nicht verändert. Der Rest des Rucksacks (der "Head") kann sich anpassen und Neues lernen. So behält der Roboter die guten Gewohnheiten des Experten, kann aber trotzdem flexibel werden.

Fazit
Diese Arbeit sagt uns: Wenn wir KI-Systeme effizienter machen wollen, dürfen wir nicht nur den "Akteur" (den Ausführenden) vorbereiten. Wir müssen auch den "Kritiker" (den Bewerter) mit ins Boot holen. Es ist wie ein Tanzpaar: Wenn beide Partner die Grundschritte kennen, bevor sie auf die Tanzfläche gehen, ist die Show viel schneller perfekt, als wenn nur einer von ihnen geübt hat.

Technische Zusammenfassung

1. Problemstellung

Reinforcement Learning (RL), insbesondere Actor-Critic-Algorithmen wie Proximal Policy Optimization (PPO), leiden unter einer geringen Sample Efficiency (Proben-Effizienz). Das bedeutet, dass eine enorme Anzahl an Interaktionen mit der Umgebung erforderlich ist, um eine gute Policy zu lernen. Dies ist in der Robotik oft unpraktisch, da reale Interaktionen zeitintensiv sind, Hardwareverschleiß verursachen und unsichere Aktionen (z. B. Kollisionen) riskieren.

Zwar kann Imitation Learning (insbesondere Behavioral Cloning, BC) helfen, indem die Actor-Netzwerke (die Policy) auf Expertendaten vortrainiert werden, um die Suche im Anfangsstadium zu beschleunigen. Allerdings wird in der aktuellen Forschung die Initialisierung des Critic-Netzwerks (das die Wertfunktion schätzt) weitgehend ignoriert. Da der Critic entscheidend für die Policy-Optimierung ist, führt eine zufällige Initialisierung des Critic oft zu ineffizientem Lernen oder Instabilitäten, selbst wenn der Actor gut initialisiert ist.

2. Methodik

Die Autoren schlagen einen Ansatz namens Actor-Critic Pretraining (ACP) vor, der sowohl den Actor als auch den Critic unter Verwendung von Expertendaten initialisiert, bevor das Fine-Tuning mit PPO beginnt.

A. Actor-Vortraining (Behavioral Cloning)

Der Actor wird wie üblich durch Behavioral Cloning auf einem Offline-Datensatz von Expertendemonstrationen ($D_{exp}$) trainiert. Dabei wird die Differenz zwischen den vorhergesagten Aktionen und den Expert-Aktionen minimiert (Mean Squared Error für kontinuierliche Aktionen).

B. Critic-Vortraining

Dies ist der Kerninnovation des Papers. Da die vortrainierte Actor-Policy nur eine Approximation der wahren Expert-Policy ist, entsprechen die Returns aus den Expertendaten nicht unbedingt den Returns der aktuellen Policy.

• Rollouts: Um konsistente Trainingsziele für den Critic zu erhalten, werden mit dem vortrainierten Actor neue Rollouts (Simulationen) durchgeführt, um einen neuen Datensatz $D_{rol}$ zu generieren.
• Zielsetzung: Der Critic wird trainiert, um die State-Value-Funktion $V^\pi(s)$ dieser spezifischen Policy zu approximieren.
• Loss-Funktion: Der Critic minimiert den Mean Squared Error zwischen seiner Vorhersage $v_\phi(s_t)$ und den tatsächlich beobachteten Returns $G_t^{rol}$ aus den Rollouts:
  $$\phi^* = \arg \min_\phi (v_\phi(s_t) - G_t^{rol})^2$$
  Dies stellt sicher, dass der Critic von Anfang an eine genaue Schätzung der Wertfunktion der aktuellen Policy liefert.

C. Erweiterte Schritt-Limitierung (Extended Step Limit)

In vielen Umgebungen werden Episoden künstlich nach einer festen Anzahl von Schritten abgeschnitten (Truncation), was zu einer Verzerrung der Wert-Schätzung führt, da zukünftige Belohnungen ignoriert werden.

• Die Autoren führen eine erweiterte Schritt-Grenze ($T_{ext}$) für die Rollouts ein.
• Diese wird so berechnet, dass der Abschneidefehler (Truncation Error) durch den Diskontfaktor $\gamma$ und die maximale Belohnung $r_{max}$ begrenzt wird, sodass der Fehler unter einer Toleranz $\tau$ bleibt. Dies verbessert die Genauigkeit der Critic-Trainingsziele.

D. Residual-Architektur

Um das Problem des „Catastrophic Forgetting" (Vergessen des Expert-Wissens während des RL-Fine-Tunings) zu mildern, wird eine spezielle Netzwerkarchitektur vorgeschlagen:

• Der Actor besteht aus einem Backbone (verarbeitet die Beobachtung) und einem Decision Head.
• Diese sind über eine Residual-Verbindung verbunden, die dem Head direkten Zugriff auf die rohe Beobachtung $s_t$ gibt.
• Während des PPO-Fine-Tunings werden die Parameter des Backbones eingefroren, während nur der Head aktualisiert wird. Dies bewahrt die vom Experten gelernten „Instinkte", erlaubt aber dennoch Anpassungen durch den Head.

3. Wichtige Beiträge

1. Theoretischer Ansatz: Eine Methode zur Initialisierung beider Netzwerke (Actor und Critic) für PPO unter Verwendung von Expertendaten und Rollouts.
2. Architekturelle Innovation: Einführung einer Residual-Architektur mit eingefrorenem Backbone, um Expert-Wissen zu konservieren und gleichzeitig RL-Lernen zu ermöglichen.
3. Verbesserte Critic-Initialisierung: Demonstration, dass die Berechnung von Value-Targets durch Rollouts der vortrainierten Policy notwendig ist, um den Critic konsistent zu initialisieren.
4. Umfassende Evaluation: Eine empirische Studie über 15 simulierte Robotik-Aufgaben (Manipulation und Fortbewegung).

4. Ergebnisse

Die Methode wurde auf 15 Umgebungen (Gymnasium/Gymnasium-Robotics) getestet und mit drei anderen Ansätzen verglichen:

• NP (No Pretraining): Reines PPO ohne Vortraining.
• AP (Actor-Only Pretraining): Nur Actor wird vortrainiert (BC), Critic zufällig.
• PIRL (State-of-the-Art): Actor vortrainiert und eingefroren, bis Critic konvergiert, dann beide gemeinsam optimiert.
• ACP (Actor-Critic Pretraining): Der vorgeschlagene Ansatz.

Kernergebnisse:

• Sample Efficiency: ACP reduziert die benötigten Umgebungs-Schritte im Durchschnitt um 86,1 % im Vergleich zu NP (kein Vortraining).
• Vergleich mit Actor-Only: ACP ist im Durchschnitt 30,9 % effizienter als AP (nur Actor vortrainiert).
• Vergleich mit PIRL: ACP benötigt im Durchschnitt 20,5 % weniger Schritte als PIRL.
• Konvergenz: In 9 von 15 Umgebungen (60 %) schaffte es PPO ohne Vortraining (NP) gar nicht, das Ziel-Return zu erreichen, während ACP dies in allen Fällen schaffte.
• Stabilität: ACP mildert das „Catastrophic Forgetting" in Umgebungen wie Ant und Walker2D, wo AP zu einem Leistungsabfall unter das Expert-Level führte.
• Ausnahmen: In 3 von 15 Umgebungen (hauptsächlich solche mit sehr hohen Beobachtungsraum-Dimensionen wie Humanoid) brachte die Critic-Initialisierung keinen zusätzlichen Vorteil gegenüber AP.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Initialisierung des Critic-Netzwerks ein kritischer, aber oft übersehener Faktor für die Effizienz von Actor-Critic-RL ist. Durch die Kombination von Behavioral Cloning für den Actor und rollout-basiertem Vortraining für den Critic wird die Lernkurve drastisch verbessert.

Bedeutung für die Robotik:

• Deutliche Reduktion der Trainingszeit und der benötigten Interaktionen mit der realen Welt.
• Erhöhte Sicherheit durch Start bei einem Expert-Level-Policy, was das Risiko katastrophaler Fehler in der frühen Trainingsphase minimiert.
• Der Ansatz ist allgemein auf andere Actor-Critic-Algorithmen übertragbar, wurde hier jedoch spezifisch für PPO und kontinuierliche Aktionsräume optimiert.

Einschränkungen:

• Es werden Expertendemonstrationen benötigt (die nicht immer verfügbar sind).
• Die optimale Menge an Expertendaten und Rollout-Daten ist umgebungsabhängig und nicht trivial zu bestimmen.
• In einigen komplexen Umgebungen (hohe Dimensionalität) bringt der Critic-Teil keinen zusätzlichen Nutzen.

Zusammenfassend bietet dieser Ansatz einen robusten Weg, um die Sample Efficiency von PPO in robotischen Anwendungen signifikant zu steigern, indem er das gesamte Actor-Critic-System intelligent initialisiert.