Technisches Resümee: Decoupled Behavioral Cloning für skalierbare induktive Generalisierung in RL aus Spezifikationen

Problemstellung

Das Paper adressiert die Herausforderung der induktiven Generalisierung im Reinforcement Learning (RL). In diesem Rahmen müssen Agenten Policies erlernen, die auf neue, ungesehene Aufgabeninstanzen innerhalb einer „induktiven Familie“ übertragbar sind. Diese Familien bestehen aus Aufgaben, die eine gemeinsame logische Struktur aufweisen (oft definiert durch temporale Logik-Spezifikationen wie SPECTRL), sich jedoch in der Instanziierung von Low-Level-Prädikaten (z. B. Zielpositionen, Hindernispositionen) basierend auf einem Index $i$ unterscheiden.

Die Kernintuition ist, dass induktiv verwandte Aufgaben auch induktiv verwandte Policies haben sollten. Vorherige Arbeiten, insbesondere GenRL [32], versuchen dies zu erfassen, indem sie eine höherwertige Policy-Evolutionsfunktion $\Omega: \Pi \to \Pi$ lernen, sodass $\pi_{i+1} = \Omega(\pi_i)$. GenRL approximiert $\Omega$ als Polynom über die Policy-Parameter, definiert durch einen Satz von Koeffizienten $\kappa$.

GenRL leidet jedoch unter einem fundamentalen Skalierbarkeitsproblem beim Training. Es lernt die $\kappa$-Koeffizienten über eine gekoppelte RL-Schleife, bei der die Policy für jede Aufgabe durch die aktuelle $\kappa$-Schätzung generiert, ausgeführt und anschließend zur Aktualisierung von $\kappa$ basierend auf aggregierten Belohnungen verwendet wird. Mit steigender Anzahl der Trainingsaufgaben ($|Train|$) wird dieses aggregierte Belohnungsfeedback verrauscht und widersprüchlich. Diese Instabilität verhindert, dass die Trainingsschleife konvergiert, was die Fähigkeit des Agenten schwächt, auf ungesehene Indizes zu generalisieren.

Methodik: DIBS

Die Autoren schlagen DIBS (Decoupled Inductive Behavioral Cloning) vor, ein Framework, das das Skalierbarkeitsproblem löst, indem es das Lernen von aufgabenspezifischen Policies vom Lernen der Evolutionsfunktion trennt. Der Prozess besteht aus zwei distinkten Phasen:

Phase I: Aggregation eines Lehrer-gelabelten Datensatzes

Anstatt Policies und Koeffizienten gleichzeitig zu lernen, lernt DIBS zuerst unabhängig eine „Lehrer“-Policy $\hat{\pi}_i$ für jede Trainingsaufgabe $R_i$ mittels Standard-RL-Algorithmen (z. B. PPO). Um sicherzustellen, dass diese unabhängigen Lehrer durch ein einzelnes Polynom-Template anpassbar sind, adressiert DIBS zwei spezifische Herausforderungen:

1. Cross-Index Teacher Drift (Drift der Lehrer über Indizes hinweg): Unabhängiges Training kann dazu führen, dass benachbarte Lehrer-Policies im Parameterraum beliebig driften, was eine Anpassung mit einem einzelnen glatten Polynom erschwert.

   • Lösung: Die Autoren führen während des Lehrer-Trainings eine Cross-Index-Regularisierung ein. Die Verlustfunktion für den Lehrer $\hat{\pi}_i$ enthält einen Term $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$, wobei $\hat{\pi}_{i-}$ der Lehrer des vorangehenden Index ist. Dies erzwingt eine weiche Kontinuitätsbeschränkung, die den Optimierer zu Lösungen drängt, die sich über Indizes hinweg glatt entwickeln.

2. Abdeckung und unzuverlässige Labels: Standardmäßige On-Policy-Rollouts decken möglicherweise nicht den vollen Zustandsraum ab, der für die Generalisierung des Templates erforderlich ist, während Off-Policy-Daten (z. B. aus Replay-Buffern) Zustände mit geringer Qualität enthalten können, in denen die Aktionen des Lehrers unzuverlässig sind.

   • Lösung: DIBS verwendet einen Konfidenzfilter. Ein neuronales Netzwerk wird trainiert, um zwischen „hochwertigen“ Zuständen (besucht während erfolgreicher, spezifikationserfüllender Rollouts) und „minderwertigen“ Zuständen (aus früher Exploration oder Resets) zu unterscheiden. Nur Paarungen von Zuständen und Aktionen, bei denen die Konfidenzwahrscheinlichkeit $p_{conf}(s)$ einen Schwellenwert $\tau_c$ überschreitet, werden zur Bildung des finalen Datensatzes $\tilde{D}_i$ beibehalten.

Phase II: Lernen von $\kappa$ via Behavioral Cloning

In der zweiten Phase werden die $\kappa$-Koeffizienten mittels Behavioral Cloning (BC) gelernt.

• Der Algorithmus passt das Polynom-Template $\Omega$ (parametrisiert durch $\kappa$) an die aggregierten Lehrer-gelabelten Datensätze $\{\tilde{D}_i\}_{i \in Train}$ an.
• Das Ziel ist es, den quadratischen Fehler zwischen den durch das entrollte Template-Policy generierten Aktionen $\pi_i$ und den Aktionen des Lehrers $\hat{\pi}_i$ zu minimieren:
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• Dies ersetzt das verrauschte Multi-Task-Belohnungs-Aggregation von GenRL durch dichte, stabile überwachte Lernprozesse. Da die Lehrer während dieser Phase fixiert sind, wird die destabilisierende Feedback-Schleife eliminiert.

Zentrale Beiträge

1. Algorithmus (DIBS): Ein entkoppelter Ansatz, der die instabile Multi-Task-RL-Schleife von GenRL durch eine stabile überwachte Lernpipeline ersetzt.
2. Techniken:
   • Cross-index Regularisierung: Stellt sicher, dass sich Lehrer-Policies über Aufgabenindizes hinweg glatt entwickeln, was die Polynom-Anpassung erleichtert.
   • Konfidenzbasierte Datenselektion: Stellt sicher, dass der Behavioral-Cloning-Datensatz nur hochwertige Zustands-Aktions-Paare enthält, wodurch das Risiko gemindert wird, aus unzuverlässigen Lehrer-Aktionen in unexplorierten Zuständen zu lernen.
3. Flexibilität: Im Gegensatz zu GenRL, das eng an den ARS (Augmented Random Search) Algorithmus gekoppelt ist, erlaubt DIBS die Verwendung jeglicher Standard-RL-Algorithmen für die Lehrer-Trainingsphase.

Empirische Ergebnisse

Die Autoren evaluierten DIBS in vier Continuous-Control-Umgebungen mit variierender dynamischer Komplexität: CAR2D (planare Bewegung), REACHER (Manipulation), SIMPLEDRONE und DRONEATTITUDE (3D-Navigation und Attitüdenkontrolle).

• Trainings-Skalierbarkeit: DIBS zeigte eine signifikant bessere Stabilität mit zunehmender Anzahl der Trainingsaufgaben. Aggregiert über die Benchmarks erreichte DIBS eine 3,82-fache Verbesserung im Anteil der gelösten Trainingsindizes im Vergleich zu GenRL.
• Zero-Shot Generalisierung: DIBS übertraf GenRL und andere Baselines (MAML, VariBAD, Standard-BC, ARS) beim Lösen ungesehener Aufgaben. Es erreichte eine 6,19-fache Verbesserung im Anteil der gelösten ungesehenen Indizes im Vergleich zu GenRL.
• Ablationsstudien:
  • Das Entfernen der Entkopplung (Rückkehr zum gekoppelten Loop von GenRL) führte in schwierigeren Umgebungen (z. B. REACHER mit mehr Blöcken) zum Zusammenbruch der Performance.
  • Das Entfernen der Cross-Index-Regularisierung führte zu einem starken Abfall der Generalisierung (z. B. von 26 auf 3 gelöste ungesehene Aufgaben in SIMPLEDRONE), was die Notwendigkeit einer glatten Lehrer-Evolution bestätigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass DIBS die Skalierbarkeitsbeschränkungen bisheriger induktiver Generalisierungsmethoden grundlegend adressiert. Durch die Trennung des Lernens spezifischer Aufgaben-Policies vom Lernen der Generalisierungsregel ermöglicht die Methode:

1. Eliminierung von Instabilität: Sie entfernt die kumulativen Fehler und die verrauschten Belohnungssignale, die inhärent in gekoppelten RL-Schleifen sind.
2. Ermöglichung von Skalierbarkeit: Sie erlaubt es dem System, größere Familien von Aufgaben und komplexere dynamische Umgebungen (Long-Horizon und Branching Tasks) zu handhaben, an denen bisherige Methoden scheiterten.
3. Verbesserung der Generalisierung: Die Stabilität des Trainingsprozesses korreliert direkt mit der Fähigkeit, generalisierbare Strukturen zu extrahieren, was zu einer überlegenen Zero-Shot-Performance führt.

Die Autoren positionieren DIBS als robuste Lösung für Szenarien, in denen Aufgaben systematische Variationen (induktive Familien) aufweisen, die durch temporale Logik definiert sind, und bieten damit einen praktischen Weg zu skalierbaren, generalisierbaren RL-Agenten.