Resumo Técnico: Imitação Assimétrica Sequencial para Aprendizado de Políticas de Robôs Acoplados

Declaração do Problema

A manipulação móvel colaborativa envolvendo dois robôs fisicamente acoplados através de objetos compartilhados (rígidos ou deformáveis) apresenta um desafio de coordenação que transcende as habilidades locais individuais. O sucesso exige o alinhamento preciso das fases da tarefa, adaptação aos atrasos do parceiro e cedência durante conflitos de interação.

As abordagens existentes enfrentam gargalos significativos:

• O planejamento baseado em modelos tem dificuldade com objetos deformáveis, contatos intermitentes e dinâmicas não modeladas.
• O aprendizado por reforço multiagente sofre com recompensas esparsas e dificuldades de transferência da simulação para o mundo real.
• O aprendizado por imitação padrão para tarefas de robôs duplos normalmente requer demonstrações conjuntas sincronizadas, onde dois operadores controlam ambos os robôs simultaneamente com alinhamento temporal preciso. Essa coleta de dados é dispendiosa, exigindo múltiplos canais de teleoperação e interfaces calibradas.

A questão central abordada é: É possível aprender políticas de robôs duplos acoplados a partir de demonstrações de um único teleoperador sem a necessidade de dados de dois operadores sincronizados, aprendizado por reforço ou comunicação explícita entre os robôs?

Metodologia: Imitação Assimétrica Sequencial (SAI)

Os autores propõem a Imitação Assimétrica Sequencial (SAI), um currículo em estágios que aprende comportamentos fisicamente acoplados usando um único teleoperador. O método decompõe o aprendizado de coordenação em três estágios assimétricos, deslocando a "distribuição do parceiro" vista pelos robôs de um suporte complacente para uma interação autônoma.

O Currículo de Três Estágios

A sequência de coleta de dados é definida como: $D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$.

1. Estágio 1: Inicialização do Robô A (Solo com Suporte Humano)

   • Configuração: O Robô A realiza a tarefa enquanto um humano complacente ou um parceiro passivo suporta o outro lado do objeto compartilhado.
   • Técnica: O Robô A aprende competência básica de tarefa (agarrar, puxar, alinhar) via clonagem comportamental.
   • Aumento de Dados: Para evitar o sobreajuste à aparência visual do parceiro humano, aplica-se o aumento de mascaramento de parceiro (partner-masking augmentation). A região do parceiro de suporte nos quadros é substituída por perturbações aleatórias (jitter de cor, desfoque, ruído), forçando a política a focar no estado do objeto em vez da identidade do parceiro.
   • Resultado: Uma política inicial $\pi^{(1)}_A$ capaz de executar a tarefa com suporte externo, mas carente de coordenação com um robô autônomo.

2. Estágio 2: Treinamento do Robô B Contra o Robô A Implantado

   • Configuração: $\pi^{(1)}_A$ é congelada e implantada no Robô A. Um único operador teleopera o Robô B enquanto interage com o Robô A implantado.
   • Técnica: $\pi^{(1)}_A$ é executada com variações limitadas (escalonamento de velocidade, ruído de ação, desvios de tempo) para expor o Robô B a desvios realistas.
   • Resultado: O Robô B aprende a compensar o tempo, o perfil de movimento e os erros residuais do Robô A via clonagem comportamental, produzindo $\pi^{(2)}_B$. Este estágio é assimétrico: o Robô B aprende contra o comportamento real aprendido do Robô A, e não contra um parceiro humano idealizado ou sincronizado.

3. Estágio 3: Ajuste Fino de Intervenção Estilo DAgger

   • Configuração: Ambos, $\pi^{(1)}_A$ e $\pi^{(2)}_B$, são implantados juntos.
   • Técnica: Um único operador realiza intervenções esparsas no Robô A apenas quando ocorrem falhas de coordenação (ex: puxar prematuramente, falha ao ceder, desalinhamento de fase). Isso segue uma abordagem estilo DAgger, onde o aprendiz induz estados e as correções são fornecidas próximo às fronteiras de falha.
   • Refinamento: O conjunto de dados de intervenção $D^{int}_A$ é agregado com as demonstrações solo originais. As intervenções são ponderadas para ensinar comportamentos dependentes do parceiro ao Robô A (esperar, ceder, desacelerar), preservando as habilidades originais da tarefa. O mascaramento opcional de dimensões de ação permite corrigir componentes específicos (ex: movimento da base) sem alterar outros.
   • Resultado: Uma política refinada $\pi^{(3)}_A$ que se adaptou ao comportamento autônomo do Robô B.

Instanciação da Política

O SAI é um framework agnóstico a currículos. Nos experimentos, ele é instanciado com uma política descentralizada do tipo ACT (Action Chunking Transformer):

• Entradas: Observações RGB locais (câmeras de visão superior e de pulso), propriocepção e ações anteriores.
• Arquitetura: Características são extraídas via um backbone DINOv3 congelado, fundidas com características de estado e codificadas por uma janela de histórico GRU ($H=30$ passos).
• Saída: Uma cabeça de ação em cascata prevê comandos de base ($v_x, v_y, \omega$) primeiro, seguidos por comandos de braço condicionados à previsão da base. Isso garante consistência entre base e braço.
• Restrição: Não são utilizados sinais de comunicação inter-robô, estados privilegiados do parceiro ou coordenação centralizada.

Principais Contribuições

1. Imitação Assimétrica Sequencial (SAI): Um currículo de teleoperador único para aprender políticas de robôs duplos fisicamente acoplados sem a necessidade de dados de dois operadores sincronizados, RL ou comunicação explícita.
2. Currículo de Distribuição de Parceiro: Demonstração de que o deslocamento do parceiro de treinamento de suporte complacente $\to$ política aprendida congelada $\to$ execução robô-robô em malha fechada induz o alinhamento de fase e a cedência dependente do parceiro.
3. Validação no Mundo Real: Evidência empírica mostrando que o SAI melhora o sucesso da tarefa, a sincronização de fase e o comportamento de cedência em tarefas ricas em contato envolvendo objetos rígidos e deformáveis, superando o aprendizado por imitação independente e as linhas de base de ablação de currículo.

Resultados Experimentais

O método foi avaliado em quatro tarefas reais de robôs duplos: Espalhamento de Cama, Espalhamento de Toalha de Mesa, Coleta de Lavanderia e Transporte de Pintura.

• Sucesso da Tarefa e Coordenação: O SAI superou significativamente a Imitação Independente (treinar robôs separadamente) e a Imitação Condicionada ao Parceiro (treinar B contra A, mas sem a intervenção do Estágio 3).
  • Exemplo (Coleta de Lavanderia): O SAI alcançou 70,0% de sucesso vs. 50,0% para a Imitação Independente e 63,3% para a Imitação Condicionada ao Parceiro.
  • Métrica de Ceder/Esperar: O SAI mostrou uma melhoria marcante na cedência dependente do parceiro (ex: 71,7% para Lavanderia vs. 31,7% para Imitação Independente), indicando que os robôs aprenderam a desacelerar ou pausar quando o parceiro era retardado.
• Robustez ao Atraso do Parceiro: Em experimentos de atraso controlado (Espalhamento de Toalha de Mesa), a Imitação Independente continuou puxando apesar de o parceiro estar pausado, causando desalinhamento do objeto. O SAI conseguiu desacelerar e esperar pelo parceiro recuperar-se.
• Componentes da Política: Estudos de ablação confirmaram que tokens de histórico temporal e cabeças base-braço em cascata melhoram a confiabilidade da execução (reduzindo a liberação prematura e o abaixamento), mas os ganhos cooperativos são impulsionados principalmente pelo currículo de dados do SAI.
• Compatibilidade de Backbone: O SAI melhorou o desempenho em diferentes backbones de imitação (ACT e Diffusion Policy), confirmando que se trata de uma contribuição de currículo de dados e não um artefato de um decodificador específico.

Significância e Alegações

O artigo afirma que a colaboração fisicamente acoplada pode ser aprendida através da estrutura do currículo de imitação em vez de meio de demonstrações de multi-operadores sincronizados ou mecanismos de coordenação explícitos.

• Acoplamento de Política Implícito: Os resultados sugerem que a "coordenação responsiva ao parceiro" pode emergir de observações locais e interação física compartilhada quando a distribuição de treinamento é estruturada para incluir comportamentos realistas do parceiro (atrasos, desalinhamentos).
• Praticidade: Ao exigir apenas um único teleoperador e evitar hardware de sincronização complexo ou aprendizado por reforço, o SAI oferece um caminho mais escalável para o implante de manipuladores móveis colaborativos.
• Limitações: Os autores observam que o SAI assume que os robôs podem aprender primitivas independentes úteis e que falhas podem ser corrigidas via intervenções de agente único. O conjunto de dados de intervenção atual é relativamente pequeno (~30% do tamanho da linha de base), sugerindo que os comportamentos de recuperação ainda não saturaram e poderiam se beneficiar de uma coleta de dados mais direcionada em torno de modos de falha raros.