R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

Technische Samenvatting: R2BC – Multi-Agent Imitation Learning vanuit Single-Agent Demonstraties

Probleemstelling
Imitation Learning (IL) is een hoeksteen geworden voor het trainen van single-robot agenten, maar de toepassing ervan op multi-agent systemen (MAS) kampt met een kritieke flessenhals: de vereiste van gecoördineerde, synchrone demonstraties. Traditionele Multi-Agent Imitation Learning (MAIL) gaat ervan uit dat een expert demonstraties kan leveren in de gezamenlijke actieruimte (joint action space), waarbij alle agenten gelijktijdig optimaal handelen. In realistische scenario's is deze aanname onrealistisch; een enkele menselijke operator kan niet betrouwbaar meerdere robots tegelijkertijd teleopereren vanwege de verhoogde cognitieve belasting en onderbediende controle-interfaces. Bestaande methoden vertrouwen vaak op onrealistische aannames, zoals gesynchroniseerde menselijke teleoperatie voor alle agenten of vooraf getrainde reinforcement learning (RL) policies die fungeren als "oracle" demonstratoren. Dit artikel adresseert de onderzoeksvraag: Hoe kunnen we imitation learning uitbreiden naar multi-agent systemen wanneer mensen alleen haalbaar demonstraties aan één agent tegelijk kunnen leveren?

Methodologie: Round-Robin Behavior Cloning (R2BC)
De auteurs stellen Round-Robin Behavior Cloning (R2BC) voor, een online imitation learning algoritme ontworpen voor het trainen van coöperatieve multi-robot teams met behulp van enkel sequentiële, single-agent demonstraties.

• Kernmechanisme: R2BC werkt op een round-robin basis. Een menselijke demonstrator tele opereert één specifieke agent ($i$), terwijl de resterende $N-1$ agenten hun momenteel geleerde policies autonoom uitvoeren.
• Dataverzameling: Het systeem cyclust door de agenten ($i = 1 \dots N$). Tijdens de demonstratie van agent $i$ evolueert de status van de omgeving op basis van de gezamenlijke actie van de door de expert gecontroleerde agent en de autonome agenten. De resulterende status-actie paren $(o_{i,t}, a_{i,t})$ worden opgeslagen in een specifieke buffer $D_i$ voor agent $i$.
• Training: Periodiek (elke $k$ demonstraties) wordt de policy van elke agent $\pi_i$ onafhankelijk bijgewerkt met behulp van standaard Behavior Cloning (BC) op de specifieke dataset $D_i$. De verliesfunctie minimaliseert de kwadratische fout tussen de output van de policy en de gedemonstreerde actie: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• Decentralisatie: In tegen tegenstelling tot gecentraliseerde benaderingen die globale statussen naar gezamenlijke acties mappen, behoudt R2BC gedecentraliseerde policies waarbij elke agent zijn lokale observatie naar zijn individuele actie mapt.
• Online Learning: De methode werkt in een online regime. Naarmate de demonstrator tussen agenten wisselt, legt de "ruis" of variabiliteit geïntroduceerd door de autonome agenten (die imperfecte, geleerde policies uitvoeren) de gedemonstreerde agent bloot aan een diverse distributie van statussen. Dit bootst het effect na van het injecteren van ruis (vergelijkbaar met DART) of het bieden van corrigerende labels (vergelijkbaar met DAgger) zonder dat een oracle nodig is.

Belangrijkste Bijdragen

1. Nieuwe Probleemstelling: Het artikel definieert en adresseert "multi-agent imitation learning vanuit single-agent demonstraties", waarmee de onrealistische vereiste van gecoördineerde gezamenlijke demonstraties wordt weggenomen.
2. Algoritmevoorstel: De introductie van R2BC, wat een enkele mens in staat stelt om iteratief een multi-agent systeem te onderwijzen door de controle te cyclen, waardoor het systeem coöperatief gedrag kan leren zonder toegang tot de gezamenlijke actieruimte.
3. Prestatiegelijkwaardigheid en -overtreffing: De auteurs laten zien dat R2BC de prestaties van een "Oracle" Joint Behavior Cloning (JBC) methode, getraind op geprivilegieerde, gesynchroniseerde gezamenlijke demonstraties, evenaart of overtreft over vier gesimuleerde multi-agent domeinen.
4. Real-world Implementatie: De methode is succesvol ingezet op fysieke robots (HeRo+), getraind met echte menselijke demonstraties, en heeft aangetoont aanzienlijk beter te presteren dan gecentraliseerde BC baselines.

Experimentele Resultaten
Het artikel evalueert R2BC tegen drie baselines: Oracle JBC (gecentraliseerd, gesynchroniseerde demonstraties), Oracle DAgger, en Oracle DART (online IL methoden die geprivilegieerde gezamenlijke correcties vereisen).

• Gesimuleerde Experimenten: Met behulp van de Vectorized Multi-Agent Simulator (VMAS) werd R2BC getest op vier taken: Navigation (3 agenten), Balance (3 agenten die een last dragen), Buzz Wire (2 agenten met gekoppelde dynamica), en Transport (3 agenten die een zwaar object duwen).

  • R2BC bereikte consistent prestatiegelijkwaardigheid met of overtrof de Oracle JBC baseline, ondanks het gebrek aan toegang tot gezamenlijke actie-demonstraties.
  • R2BC vertoonde een reductie in de train-test loss gap (covariate shift) die vergelijkbaar is met online baselines zoals DART en DAgger.
  • Ablatie-studies: Het verwijderen van ofwel de decentralisatie (gebruik van een gecentraliseerd netwerk) ofwel het online leeraspect (gebruik van offline, niet-updatende agenten) resulteerde in gedegradeerde of onbetrouwbare prestaties, wat bevestigt dat zowel elementen essentieel zijn voor het succes van R2BC.

• Fysieke Robot-experimenten: De auteurs hebben R2BC en JBC ingezet op drie HeRo+ robots voor Navigation en Block Pushing taken.

  • Policies werden getraind op echte menselijke demonstraties verzameld in simulatie en direct toegepast op hardware.
  • Navigation: R2BC presteerde 3,25x beter dan JBC zonder menselijke interventie. Met één menselijke interventie (het corrigeren van een "vastgelopen" robot), werd de kloof vergroot naar 3,92x.
  • Block Pushing: R2BC presteerde 5,9x beter dan JBC zonder interventie.
  • Statistische analyse (Welch t-test) bevestigde significante verschillen ($p < 0,05$) in het voordeel van R2BC wanneer supervisor-interventies waren toegestaan.

Betekenis en Claims
Het artikel claimt de eerste te zijn die een behavior cloning methode voor multi-agent systemen voorstelt en implementeert die uitsluitend leert van online single-agent demonstraties. De betekenis van R2BC ligt in het vermogen om de kloof tussen single-agent IL en schaalbare multi-agent deployment te overbruggen door de aanname van gecoördineerde menselijke teleoperatie te versoepelen.

De auteurs stellen dat R2BC een praktisch pad biedt voor het onderwijzen van multi-robot teams in real-world settings (bijv. zoek- en reddingsoperaties, magazijnautomatisering), waar menselijke operators niet gelijktijdig meerdere agenten kunnen besturen. Door de variabiliteit van autonome agenten tijdens de demonstratiefase te benutten, mitigeert R2BC op natuurlijke wijze de covariate shift en cumulatieve fouten, en presteert het vaak beter dan methoden die vertrouwen op "super-human" of oracle gezamenlijke demonstraties. Het werk suggereert dat realistische, gedecentraliseerde demonstratieverzameling niet alleen haalbaar is, maar ook een superieure robuustheid kan opleveren vergeleken met traditionele gecentraliseerde benaderingen.