R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

Technische Zusammenfassung: R2BC – Multi-Agenten-Imitationslernen aus Single-Agenten-Demonstrationen

Problemstellung
Imitationslernen (Imitation Learning, IL) ist zu einer tragenden Säule beim Training von Einzelroboter-Agenten geworden, doch seine Anwendung auf Multi-Agenten-Systeme (MAS) stößt auf einen kritischen Engpass: die Anforderung koordinierter, synchroner Demonstrationen. Das traditionelle Multi-Agenten-Imitationslernen (Multi-Agent Imitation Learning, MAIL) setzt voraus, dass ein Experte Demonstrationen im gemeinsamen Aktionsraum bereitstellen kann, wobei alle Agenten gleichzeitig optimal agieren. In realen Szenarien ist diese Annahme unrealistisch; ein einzelner menschlicher Operator kann nicht zuverlässig mehrere Roboter gleichzeitig teleoperieren, da dies die kognitive Belastung erhöht und unteraktualisierte Steuerungsschnittstellen zur Folge hat. Bestehende Methoden verlassen sich oft auf unrealistische Annahmen, wie etwa die synchronisierte menschliche Teleoperation für alle Agenten oder vortrainierte Reinforcement Learning (RL) Policies, die als „Oracle“-Demonstratoren fungieren. Diese Arbeit adressiert die Forschungsfrage: Wie können wir das Imitationslernen auf Multi-Agenten-Systeme erweitern, wenn Menschen nur praktikabel in der Lage sind, Demonstrationen für jeweils nur einen Agenten bereitzustellen?

Methodik: Round-Robin Behavior Cloning (R2BC)
Die Autoren schlagen Round-Robin Behavior Cloning (R2BC) vor, einen Online-Imitationslernalgorithmus, der darauf ausgelegt ist, kooperative Multi-Roboter-Teams ausschließlich durch sequenzielle Single-Agenten-Demonstrationen zu trainieren.

• Kernmechanismus: R2BC arbeitet nach dem Round-Robin-Prinzip. Ein menschlicher Demonstrator teleoperiert einen spezifischen Agenten ($i$), während die verbleibenden $N-1$ Agenten ihre derzeit gelernten Policies autonom ausführen.
• Datenerhebung: Das System durchläuft die Agenten zyklisch ($i = 1 \dots N$). Während der Demonstration von Agent $i$ entwickelt sich der Zustand der Umgebung basierend auf der gemeinsamen Aktion des Experten-gesteuerten Agenten und der autonomen Agenten. Die resultierenden Zustands-Aktions-Paare $(o_{i,t}, a_{i,t})$ werden in einem dedizierten Buffer $D_i$ für Agent $i$ gespeichert.
• Training: Periodisch (alle $k$ Demonstrationen) wird die Policy jedes Agenten $\pi_i$ unabhängig unter Verwendung von Standard-Behavior-Cloning (BC) auf seinem spezifischen Datensatz $D_i$ aktualisiert. Die Verlustfunktion minimiert den quadratischen Fehler zwischen der Ausgabe der Policy und der demonstrierten Aktion: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• Dezentralisierung: Im Gegensatz zu zentralisierten Ansätzen, die globale Zustände auf gemeinsame Aktionen abbilden, pflegt R2BC dezentrale Policies, bei denen jeder Agent seine lokale Beobachtung auf seine individuelle Aktion abbildet.
• Online-Lernen: Die Methode operiert in einem Online-Regime. Während der Demonstrator zwischen den Agenten wechselt, setzt die „Rauschkomponente“ oder Variabilität, die durch die autonomen Agenten (welche imperfekte, gelernte Policies ausführen) eingeführt wird, den demonstrierten Agenten einer diversen Verteilung von Zuständen aus. Dies imitiert den Effekt der Rauschinjektion (ähnlich wie DART) oder der Bereitstellung korrigierender Labels (ähnlich wie DAgger), ohne einen Oracle zu benötigen.

Wesentliche Beiträge

1. Neuartige Problemstellung: Die Arbeit definiert und adressiert „Multi-Agenten-Imitationslernen aus Single-Agenten-Demonstrationen“ und entfernt damit die unrealistische Anforderung koordinierter gemeinsamer Demonstrationen.
2. Algorithmus-Vorschlag: Die Einführung von R2BC, welches es einem einzelnen Menschen ermöglicht, iterativ ein Multi-Agenten-System zu lehren, indem er die Kontrolle wechselt, wodurch das System in der Lage ist, kooperatives Verhalten zu lernen, ohne Zugriff auf den gemeinsamen Aktionsraum zu haben.
3. Leistungsäquivalenz und Überlegenheit: Die Autoren zeigen, dass R2BC die Performance einer „Oracle“ Joint Behavior Cloning (JBC) Methode, die auf privilegierten, synchronisierten gemeinsamen Demonstrationen trainiert wurde, in vier simulierten Multi-Agenten-Domänen erreicht oder übertrifft.
4. Einsatz in der realen Welt: Die Methode wurde erfolgreich auf physischen Robotern (HeRo+) eingesetzt, mit realen menschlichen Demonstrationen trainiert und zeigt eine signifikante Überlegenheit gegenüber zentralisierten BC-Baselines.

Experimentelle Ergebnisse
Die Arbeit evaluiert R2BC gegen drei Baselines: Oracle JBC (zentralisiert, synchronisierte Demonstrationen), Oracle DAgger und Oracle DART (Online-IL-Methoden, die privilegierte gemeinsame Korrekturen erfordern).

• Simulierte Experimente: Unter Verwendung des Vectorized Multi-Agent Simulator (VMAS) wurde R2BC in vier Aufgaben getestet: Navigation (3 Agenten), Balance (3 Agenten, die eine Last tragen), Buzz Wire (2 Agenten mit gekoppelter Dynamik) und Transport (3 Agenten, die ein schweres Objekt schieben).

  • R2BC erreichte konsistent eine Leistungsäquivalenz mit oder übertraf die Oracle JBC Baseline, trotz des fehlenden Zugriffs auf gemeinsame Aktionsdemonstrationen.
  • R2BC zeigte eine Reduktion der Train-Test-Loss-Lücke (Covariate Shift), die vergleichbar mit Online-Baselines wie DART und DAgger ist.
  • Ablationsstudien: Das Entfernen entweder der Dezentralisierung (Verwendung eines zentralisierten Netzwerks) oder des Online-Lernaspekts (verwenden von Offline-, nicht-aktualisierenden Agenten) führte zu einer degradierten oder unzuverlässigen Performance, was bestätigt, dass beide Elemente essenziell für den Erfolg von R2BC sind.

• Physische Roboter-Experimente: Die Autoren setzten R2BC und JBC auf drei HeRo+ Robotern für Navigation- und Block-Schieben-Aufgaben ein.

  • Die Policies wurden auf realen menschlichen Demonstrationen trainiert, die in der Simulation gesammelt und direkt auf die Hardware übertragen wurden.
  • Navigation: R2BC übertraf JBC um den Faktor 3,25 ohne menschliches Eingreifen. Mit einem einzigen menschlichen Eingriff (Korrektur eines „feststeckenden“ Roboters) weitete sich der Abstand auf das 3,92-Fache aus.
  • Block Schieben: R2BC übertraf JBC um den Faktor 5,9 ohne Intervention.
  • Statistische Analysen (Welch t-Test) bestätigten signifikante Unterschiede ($p < 0,05$) zugunsten von R2BC, wenn Supervisor-Interventionen erlaubt waren.

Bedeutung und Behauptungen
Das Paper behauptet, die erste Methode zu sein, die eine Behavior-Cloning-Methode für Multi-Agenten-Systeme vorschlägt und implementiert, welche ausschließlich aus Online-Single-Agenten-Demonstrationen lernt. Die Bedeutung von R2BC liegt in seiner Fähigkeit, die Lücke zwischen Single-Agent-IL und skalierbarem Multi-Agenten-Einsatz zu schließen, indem die Annahme koordinierter menschlicher Teleoperation gelockert wird.

Die Autoren argumentieren, dass R2BC einen praktischen Weg für das Lehren von Multi-Roboter-Teams in realen Umgebungen (z. B. Such- und Rettungsdienste, Lagerautomatisierung) bietet, in denen menschliche Operatoren nicht mehrere Agenten gleichzeitig steuern können. Durch die Nutzung der Variabilität autonomer Agenten während der Demonstrationsphase mildert R2BC natürlich den Covariate Shift und kumulative Fehler ab und übertrifft oft Methoden, die auf „Super-Human“- oder Oracle-Joint-Demonstrationen beruhen. Die Arbeit legt nahe, dass eine realistische, dezentrale Demonstrationserfassung nicht nur machbar ist, sondern oft eine überlegene Robustheit gegenüber traditionellen zentralisierten Ansätzen bietet.