Technische Zusammenfassung: Ausrichtung der Repräsentationen von Lehrer und Schüler für durch Reinforcement Learning gesteuertes Imitationslernen

Problemstellung

Imitationslernen (IL) wird häufig eingesetzt, um die Sample-Komplexität und den „Fluch der Dimensionalität" zu überwinden, die mit Reinforcement Learning (RL) in hochdimensionalen Beobachtungsräumen verbunden sind, wie sie beispielsweise in der Robotik vorkommen. Ein gängiges Paradigma besteht darin, einen auf RL basierenden „Lehrer" auf niedrigdimensionalen, analytischen Zustandsrepräsentationen zu trainieren und dieses Verhalten anschließend in eine „Schüler"-Politik zu destillieren, die auf hochdimensionalen Beobachtungen (z. B. Bildern) operiert.

Ein erhebliches Problem entsteht jedoch, wenn Lehrer und Schüler isoliert voneinander trainiert werden. Der Lehrer verlässt sich oft auf „privilegierte Informationen" (Zustandsvariablen, die dem Lehrer zur Verfügung stehen, aber nicht aus den Beobachtungen des Schülers ableitbar sind, wie etwa exakte Zielkoordinaten oder verborgene Objektpositionen). Dies erzeugt eine unüberwindbare Imitationslücke: Der Lehrer lernt eine Politik, die für seine privilegierte Sicht optimal ist, aber für den Schüler nicht imitierbar ist, da die notwendigen Informationen in der Eingabe des Schülers fehlen.

Traditionell wird diese Lücke durch eine RL-Nachjustierungsphase des Schülers nach dem IL geschlossen. Dies führt jedoch erneut zu der hohen Sample-Komplexität und Trainingsinstabilität von RL. Alternativ modifizieren einige Methoden die Belohnungsfunktion oder den Aktionsraum des Lehrers, um die Imitierbarkeit zu erzwingen, doch diese Ansätze erfordern oft aufwendiges Feature-Engineering, führen schwer abstimmbare Hyperparameter ein oder verschlechtern die Aufgabenerfüllung des Lehrers.

Methodik

Die Autoren schlagen einen neuartigen, aufgabenagnostischen Algorithmus vor, der einen gemeinsamen Einbettungsraum erlernt, um die Imitationslücke konstruktiv zu überbrücken. Anstatt Belohnungen zu modifizieren oder den Schüler nachträglich nachzujustieren, stellt die Methode sicher, dass der Lehrer eine Politik erlernt, die vom Schüler inhärent imitierbar ist.

Kernarchitektur

Der Ansatz nutzt ein Multi-View-Repräsentationslern-Framework, bei dem Lehrer und Schüler denselben zugrunde liegenden Umweltzustand $s_t$ durch verschiedene Modalitäten ($o_T$ und $o_S$) beobachten. Diese Beobachtungen werden als enthaltend modelliert:

1. Gemeinsame Komponenten ($c_t$): Informationen, die von beiden Agenten geteilt werden (z. B. relative Hindernispositionen).
2. Private Komponenten ($p_T, p_S$): agentspezifische Informationen (z. B. exakte Zielkoordinaten für den Lehrer).

Das Ziel ist es, einen Encoder zu erlernen, der sowohl $o_T$ als auch $o_S$ in einen latenten Raum abbildet, der nur $c_t$ enthält, wodurch private Informationen während des RL-Trainings des Lehrers effektiv verborgen werden.

Trainingsphasen

Das System arbeitet in alternierenden Phasen, die zwei Module umfassen:

1. Kontrastives Repräsentationslernen (Einbettungsmodul):

   • Ziel: Erlernen einer Abbildung von Lehrer- und Schülerbeobachtungen in einen gemeinsamen latenten Raum.
   • Mechanismus: Verwendung des InfoNCE-kontrastiven Verlusts. Gepaarte Beobachtungen $(o_T, o_S)$ aus demselben Zeitschritt werden als positive Paare behandelt, während ungepaarte Beobachtungen im Batch als Negativbeispiele dienen.
   • Ausrichtungsverlust ($L_{alignment}$): Maximiert explizit die Ähnlichkeit zwischen gepaarten Einbettungen, um sicherzustellen, dass das Politiknetzwerk konsistente Repräsentationen für beide Agenten sieht.
   • Stabilitätsverlust ($L_{stability}$): Verhindert große Abweichungen im latenten Raum während des Trainings, indem Verschiebungen der rohen Logits des Politiknetzwerks relativ zu vorherigen Zuständen bestraft werden. Dies ist entscheidend, da RL-Politiken empfindlich auf kleine Einbettungsverschiebungen reagieren.
   • Gradientenisolation: Entscheidend ist, dass Gradienten aus der RL-Politik (Phase 2) nicht durch die Encoder-Netzwerke zurückpropagiert werden. Dies verhindert, dass die Politik „trügt", indem sie lernt, private Informationen aus den rohen Beobachtungen des Lehrers zu extrahieren, um Belohnungen zu maximieren.

2. Reinforcement Learning (Politikmodul):

   • Die Lehrerpolitik ($\pi_T$) wird mittels Proximal Policy Optimization (PPO) trainiert, um die Aufgabenbelohnung zu maximieren.
   • Die Politik operiert jedoch ausschließlich auf den erlernten latenten Einbettungen, nicht auf den rohen Beobachtungen.
   • Da den Einbettungen private Informationen fehlen, wird der Lehrer gezwungen, die Belohnung zu maximieren, indem er nur die dem Schüler verfügbaren gemeinsamen Informationen nutzt.

Wichtige Unterscheidungen zu vorheriger Arbeit

• Im Gegensatz zu SITT [8], das den Lehrer für das Besuchen nicht-imitierbarer Zustände durch einen KL-Divergenz-Term in der Belohnung bestraft, modifiziert diese Methode weder die Belohnungsfunktion noch führt sie Trade-off-Koeffizienten ($\alpha$) ein.
• Im Gegensatz zu Methoden, die Domänenwissen zur Auswahl kontrastiver Paare erfordern, ist dieser Ansatz vollständig aufgabenagnostisch und verlässt sich auf die zeitliche Ausrichtung von Lehrer-Schüler-Trajektorien.

Experimentelle Ergebnisse

Die Methode wurde in zwei Simulationsumgebungen evaluiert, die entwickelt wurden, um die Imitationslücke hervorzuheben:

1. CollectHealth: Eine 3D-Navigationsaufgabe, bei der der Lehrer exakte Boxpositionen kennt, während der Schüler ein begrenztes Sichtfeld (FOV) hat und sich neu orientieren muss, um Ziele zu finden.
2. TunnelVision: Eine Grid-World-Navigationsaufgabe, bei der der Lehrer alle umgebenden Zellen sieht, während der Schüler nur drei Zellen in seiner Vorwärtsrichtung sieht.

Leistungsmetriken

Die Studie verglich die vorgeschlagene Methode mit:

• Behavior Cloning (BC): Standard-IL unter Verwendung eines isoliert trainierten Lehrers.
• SITT: Der State-of-the-Art-Baseline, die nicht-imitierbares Lehrerverhalten bestraft.

Wichtige Erkenntnisse:

• Reduktion der Imitationslücke: Die vorgeschlagene Methode erreichte in beiden Umgebungen eine nahezu null Imitationslücke ($\Delta \approx 0.00$ bis $0.01$) und übertraf BC (Lücke $\approx 0.53-0.81$) sowie SITT (Lücke $\approx 0.19-0.43$) signifikant.
• Schülerleistung: Die destillierten Schülerpolitiken erreichten Erfolgsraten von 1.00 (TunnelVision) und 0.98 (CollectHealth) und entsprachen oder übertrafen die Leistung des Lehrers, ohne dass eine RL-Nachjustierung erforderlich war.
• Lehrerleistung: Im Gegensatz zu SITT, das aufgrund der Belohnungsmodifikation einen Leistungsabfall des Lehrers erlitt, behielt die vorgeschlagene Methode eine hohe Lehrerleistung (1.00 und 0.99) bei, da die ursprüngliche Belohnungsfunktion unberührt blieb.
• Ablationsstudien:
  • Das Entfernen des Ausrichtungsverlusts führte zu einem spürbaren Abfall der Schülerleistung, insbesondere in CollectHealth, was die Notwendigkeit einer expliziten Einbettungsähnlichkeit bestätigt.
  • Das Entfernen des Stabilitätsverlusts verursachte einen signifikanten Abfall in TunnelVision (einer Umgebung mit hoher Sensitivität), was zeigt, dass stabile Einbettungen entscheidend sind, um das Zusammenbrechen der Politik in sensiblen Settings zu verhindern.

Bedeutung und Beiträge

Die Autoren beanspruchen folgende Beiträge:

1. Neuartige aufgabenagnostische Methode: Sie führt einen Plug-and-Play-Ansatz zur Überbrückung der Imitationslücke durch das Erlernen einer gemeinsamen latenten Repräsentation ein und eliminiert damit die Notwendigkeit von Modifikationen der Belohnungsfunktion oder komplexem Feature-Engineering.
2. Konstruktion von Imitierbarkeit: Durch die Beschränkung des Lehrers auf einen gemeinsamen Einbettungsraum mittels kontrastiven Lernens stellt die Methode sicher, dass der Lehrer Verhaltensweisen erlernt, die vom Schüler inhärent reproduzierbar sind, und vermeidet so die durch privilegierte Informationen verursachte unüberwindbare Lücke.
3. Überlegene empirische Leistung: Der Ansatz übertrifft starke Baselines (BC und SITT) konsistent in Bezug auf Schülererfolgsraten und Reduktion der Imitationslücke, während die optimale Aufgabenerfüllung des Lehrers erhalten bleibt.
4. Stabilitätsmechanismen: Die Einführung expliziter Ausrichtungs- und Stabilitätsverluste adressiert die Empfindlichkeit von RL-Politiken gegenüber Repräsentationsverschiebungen und ermöglicht ein robustes Training ohne nachträgliche Nachjustierung.

Die Autoren schließen, dass diese Methode eine robuste Lösung für die Destillation hochdimensionaler Politiken aus privilegierten Lehrern bietet und sich für die Integration in bestehende IL-Rahmenwerke eignet, ohne die fundamentale Belohnungsstruktur der Aufgabe zu verändern.