R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

Sintesi Tecnica: R2BC – Apprendimento per Imitazione Multi-Agente da Dimostrazioni Single-Agente

Definizione del Problema
L'Apprendimento per Imitazione (IL) è diventato una pietra angolare per l'addestramento di agenti robotici singoli, ma la sua applicazione ai sistemi multi-agente (MAS) affronta un collo di bottiglia critico: il requisito di dimostrazioni coordinate e sincrone. L'Imitation Learning Multi-Agente (MAIL) tradizionale presuppone che un esperto possa fornire dimostrazioni nello spazio delle azioni congiunte, dove tutti gli agenti agiscono in modo ottimale simultaneamente. Negli scenari reali, questa assunzione è irrealistica; un singolo operatore umano non può affidabilmente teleoperare più robot contemporaneamente a causa dell'aumento del carico cognitivo e di interfacce di controllo sotto-attuata. I metodi esistenti spesso si basano su assunzioni irrealistiche, come la teleoperazione umana sincronizzata per tutti gli agenti o l'uso di policy di Reinforcement Learning (RL) pre-addestrate che fungono da dimostratori "oracolo". Questo articolo affronta la domanda di ricerca: Come possiamo estendere l'apprendimento per imitazione ai sistemi multi-agente quando gli esseri umani possono solo ragionevolmente fornire dimostrazioni a un agente alla volta?

Metodologia: Round-Robin Behavior Cloning (R2BC)
Gli autori propongono il Round-Robin Behavior Cloning (R2BC), un algoritmo di apprendimento per imitazione online progettato per addestrare team multi-robot cooperativi utilizzando esclusivamente dimostrazioni sequenziali di singolo agente.

• Meccanismo Core: R2BC opera su base round-robin. Un dimostratore umano teleopera un agente specifico ($i$), mentre i restanti $N-1$ agenti eseguono le loro attuali policy apprese autonomamente.
• Raccolta Dati: Il sistema cicla attraverso gli agenti ($i = 1 \dots N$). Durante la dimostrazione dell'agente $i$, lo stato dell'ambiente evolve in base all'azione congiunta dell'agente controllato dall'esperto e degli agenti autonomi. Le coppie stato-azione risultanti $(o_{i,t}, a_{i,t})$ vengono memorizzate in un buffer dedicato $D_i$ per l'agente $i$.
• Addestramento: Periodicamente (ogni $k$ dimostrazioni), la policy di ogni agente $\pi_i$ viene aggiornata indipendentemente utilizzando il classico Behavior Cloning (BC) sul proprio dataset specifico $D_i$. La funzione di perdita minimizza l'errore quadratico tra l'output della policy e l'azione dimostrata: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• Decentralizzazione: A differenza degli approcci centralizzati che mappano stati globali su azioni congiunte, R2BC mantiene policy decentralizzate in cui ogni agente mappa la propria osservazione locale alla propria azione individuale.
• Apprendimento Online: Il metodo opera in un regime online. Man mano che il dimostratore passa da un agente all'altro, il "rumore" o la variabilità introdotta dagli agenti autonomi (che stanno eseguendo policy apprese imperfette) espone l'agente in fase di dimostrazione a una distribuzione diversificata di stati. Ciò imita l'effetto dell'iniezione di rumore (simile a DART) o della fornitura di etichette correttive (simile a DAgger) senza richiedere un oracolo.

Contributi Chiave

1. Nuovo Setting di Problema: L'articolo definisce e affronta l'impostazione di "apprendimento per imitazione multi-agente da dimostrazioni single-agente", eliminando il requisito irrealistico di dimostrazioni congiunte coordinate.
2. Proposta di Algoritmo: L'introduzione di R2BC, che consente a un singolo essere umano di insegnare iterativamente a un sistema multi-agente ciclando il controllo, permettendo al sistema di apprendere comportamenti cooperativi senza accesso allo spazio delle azioni congiunte.
3. Parità e Superamento delle Prestazioni: Gli autori dimostrano che R2BC eguaglia o supera le prestazioni di un metodo "Oracle" Joint Behavior Cloning (JBC) addestrato su dimostrazioni congiunte privilegiate e sincronizzate in quattro domini multi-agente simulati.
4. Deployment nel Mondo Reale: Il metodo è implementato con successo su robot fisici (HeRo+), addestrato utilizzando dimostrazioni umane reali e dimostrato essere superiore ai baseline di BC centralizzati in modo significativo.

Risultati Sperimentali
L'articolo valuta R2BC rispetto a tre baseline: Oracle JBC (centralizzato, dimostrazioni sincronizzate), Oracle DAgger e Oracle DART (metodi di IL online che richiedono correzioni congiunte privilegiate).

• Esperimenti Simulati: Utilizzando il Vectorized Multi-Agent Simulator (VMAS), R2BC è stato testato su quattro compiti: Navigazione (3 agenti), Bilanciamento (3 agenti che trasportano un carico), Buzz Wire (2 agenti con dinamiche accoppiate) e Trasporto (3 agenti che spingono un oggetto pesante).

  • R2BC ha costantemente raggiunto la parità di prestazioni o ha superato la baseline Oracle JBC, nonostante la mancanza di accesso alle dimostrazioni delle azioni congiunte.
  • R2BC ha dimostrato una riduzione del divario tra errore di addestramento e di test (covariate shift) comparabile ai baseline online come DART e DAgger.
  • Studi di Ablazione: Rimuovere la decentralizzazione (usando una rete centralizzata) o l'aspetto dell'apprendimento online (usando agenti offline, non aggiornati) ha portato a prestazioni degradate o inaffidabili, confermando che entrambi gli elementi sono essenziali per il successo di R2BC.

• Esperimenti con Robot Fisici: Gli autori hanno implementato R2BC e JBC su tre robot HeRo+ per i compiti di Navigazione e Spinta di Blocchi.

  • Le policy sono state addestrate su dimostrazioni umane reali raccolte in simulazione e implementate direttamente sull'hardware.
  • Navigazione: R2BC ha superato JBC di 3,25x senza intervento umano. Con un intervento umano (per correggere un robot "incastrato"), il divario è salito a 3,92x.
  • Spinta di Blocchi: R2BC ha superato JBC di 5,9x senza intervento.
  • L'analisi statistica (Welch t-test) ha confermato differenze significative ($p < 0,05$) a favore di R2BC quando sono stati consentiti interventi del supervisore.

Significatività e Rivendicazioni
L'articolo sostiene di essere il primo a proporre e implementare un metodo di behavior cloning per sistemi multi-agente che apprende esclusivamente da dimostrazioni single-agent online. La significatività di R2BC risiede nella sua capacità di colmare il divario tra l'IL single-agent e il deployment multi-agente scalabile, rilassando l'assunzione di teleoperazione umana coordinata.

Gli autori sostengono che R2BC offra una via pratica per l'insegnamento di team multi-robot in contesti reali (ad esempio, ricerca e soccorso, automazione del magazzino) dove gli operatori umani non possono controllare più agenti simultaneamente. Sfruttando la variabilità degli agenti autonomi durante la fase di dimostrazione, R2BC mitiga naturalmente il covariate shift e gli errori cumulativi, superando spesso i metodi che si affidano a dimostrazioni congiunte "super-umane" o da oracolo. Il lavoro suggerisce che la raccolta di dimostrazioni decentralizzate e realistiche non è solo fattibile, ma può produrre una robustezza superiore rispetto ai tradizionali approcci centralizzati.