R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

Resumo Técnico: R2BC – Aprendizado por Imitação Multiagente a partir de Demonstrações de Agente Único

Definição do Problema
O Aprendizado por Imitação (IL) tornou-se um pilar para o treinamento de agentes robóticos individuais, mas sua aplicação a sistemas multiagentes (MAS) enfrenta um gargalo crítico: a exigência de demonstrações coordenadas e síncronas. O Aprendizado por Imitação Multiagente (MAIL) tradicional assume que um especialista pode fornecer demonstrações no espaço de ação conjunta, onde todos os agentes atuam de forma ótima simultaneamente. Em cenários do mundo real, essa suposição é irrealista; um único operador humano não consegue teleoperar múltiplos robôs de forma confiável ao mesmo tempo devido ao aumento da carga cognitiva e às interfaces de controle subatuadas. Métodos existentes frequentemente dependem de suposições irreais, como a teleoperação humana sincronizada para todos os agentes ou políticas de aprendizado por reforço (RL) pré-treinadas atuando como demonstradores "oráculos". Este artigo aborda a seguinte questão de pesquisa: Como podemos estender o aprendizado por imitação para sistemas multiagentes quando os humanos só conseguem fornecer demonstrações para um agente de cada vez?

Metodologia: Clonagem de Comportamento Round-Robin (R2BC)
Os autores propõem o Round-Robin Behavior Cloning (R2BC), um algoritmo de aprendizado por imitação online projetado para treinar equipes multirobóticas cooperativas usando apenas demonstrações sequenciais de agente único.

• Mecanismo Central: O R2BC opera em uma base round-robin. Um demonstrador humano teleopera um agente específico ($i$) enquanto os $N-1$ agentes restantes executam suas políticas aprendidas atualmente de forma autônoma.
• Coleta de Dados: O sistema cicla através dos agentes ($i = 1 \dots N$). Durante a demonstração do agente $i$, o estado do ambiente evolui com base na ação conjunta do agente controlado pelo especialista e dos agentes autônomos. Os pares estado-ação resultantes $(o_{i,t}, a_{i,t})$ são armazenados em um buffer dedicado $D_i$ para o agente $i$.
• Treinamento: Periodicamente (a cada $k$ demonstrações), a política de cada agente $\pi_i$ é atualizada independentemente usando a Clonagem de Comportamento (BC) padrão em seu respectivo conjunto de dados $D_i$. A função de perda minimiza o erro quadrático entre a saída da política e a ação demonstrada: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• Descentralização: Ao contrário das abordagens centralizadas que mapeiam estados globais para ações conjuntas, o R2BC mantém políticas descentralizadas onde cada agente mapeia sua observação local para sua ação individual.
• Aprendizado Online: O método opera em um regime online. À medida que o demonstrador alterna entre os agentes, o "ruído" ou a variabilidade introduzida pelos agentes autônomos (que estão executando políticas aprendidas imperfeitas) expõe o agente demonstrado a uma distribuição diversificada de estados. Isso mimetiza o efeito de injetar ruído (semelhante ao DART) ou fornecer rótulos corretivos (semelhante ao DAgger) sem a necessidade de um oráculo.

Principais Contribuições

1. Novo Cenário de Problema: O artigo define e aborda o "aprendizado por imitação multiagente a partir de demonstrações de agente único", removendo a exigência irrealista de demonstrações conjuntas coordenadas.
2. Proposta de Algoritmo: A introdução do R2BC, que permite que um único humano ensine iterativamente um sistema multiagente ao ciclar o controle, permitindo que o sistema aprenda comportamento cooperativo sem acesso ao espaço de ação conjunta.
3. Paridade e Superação de Desempenho: Os autores demonstram que o R2BC iguala ou supera o desempenho de um método de Clonagem de Comportamento Conjunta (JBC) "Oráculo", treinado com demonstrações conjuntas privilegiadas e sincronizadas, em quatro domínios multiagentes simulados.
4. Implantação no Mundo Real: O método é implantado com sucesso em robôs físicos (HeRo+), treinados usando demonstrações humanas reais, e mostra superar significativamente as linhas de base de BC centralizado.

Resultos Experimentais
O artigo avalia o R2BC contra três linhas de base: JBC Oráculo (centralizado, demonstrações sincronizadas), DAgger Oráculo e DART Oráculo (métodos de IL online que exigem correções conjuntas privilegiadas).

• Experimentos Simulados: Usando o Vectorized Multi-Agent Simulator (VMAS), o R2BC foi testado em quatro tarefas: Navegação (3 agentes), Equilíbrio (3 agentes carregando uma carga), Fio de Arame (2 agentes com dinâmicas acopladas) e Transporte (3 agentes empurrando um objeto pesado).

  • O R2BC consistentemente alcançou paridade de desempenho ou superou a linha de base JBC Oráculo, apesar de carecer de acesso a demonstrações de ação conjunta.
  • O R2BC demonstrou uma redução na lacuna entre o erro de treino e teste (desvio de covariável) comparável às linhas de base online como DART e DAgger.
  • Estudos de Ablação: Remover ou a descentralização (usando uma rede centralizada) ou o aspecto de aprendizado online (usando agentes offline, não atualizáveis) resultou em desempenho degradado ou não confiável, confirmando que ambos os elementos são essenciais para o sucesso do R2BC.

• Experimentos com Robôs Físicos: Os autores implantaram o R2BC e o JBC em três robôs HeRo+ para as tarefas de Navegação e Empurrar Bloco.

  • As políticas foram treinadas em demonstrações humanas reais coletadas em simulação e implantadas diretamente no hardware.
  • Navegação: O R2BC superou o JBC em 3,25x sem intervenção humana. Com uma intervenção humana (corrigindo um robô "preso"), a lacuna aumentou para 3,92x.
  • Empurrar Bloco: O R2BC superou o JBC em 5,9x sem intervenção.
  • A análise estatística (teste t de Welch) confirmou diferenças significativas ($p < 0,05$) a favor do R2BC quando as intervenções do supervisor foram permitidas.

Significância e Alegações
O artigo afirma ser o primeiro a propor e implantar um método de clonagem de comportamento para sistemas multiagentes que aprende exclusivamente a partir de demonstrações de agente único online. A significância do R2BC reside em sua capacidade de preencher a lacuna entre o IL de agente único e o implante multiagente escalável, relaxando a suposição de teleoperação humana coordenada.

Os autores argumentam que o R2BC oferece um caminho prático para ensinar equipes de múltiplos robôs em ambientes do mundo real (ex: busca e salvamento, automação de armazéns) onde operadores humanos não podem controlar múltiplos agentes simultaneamente. Ao aproveitar a variabilidade dos agentes autônomos durante a fase de demonstração, o R2BC mitiga naturalmente o desvio de covariável e erros cumulativos, muitas vezes superando métodos que dependem de demonstrações conjuntas "super-humanas" ou de oráculos. O trabalho sugere que a coleta de demonstrações descentralizada e realista não é apenas viável, mas pode gerar maior robustez em comparação com as abordagens centralizadas tradicionais.