X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations

Título: X-DIFFUSION: Treinamento de Políticas de Difusão em Demonstrações Humanas de Corpo Cruzado (Cross-Embodiment)

1. O Problema

A aprendizagem por imitação (IL) é fundamental para ensinar habilidades a robôs, mas a coleta de grandes volumes de dados de demonstração robótica é cara e lenta. Vídeos humanos oferecem uma fonte escalável e abundante de dados. No entanto, existe um desafio fundamental de "corpo cruzado" (cross-embodiment):

• Incompatibilidade Dinâmica: Humanos e robôs possuem morfologias e dinâmicas de movimento muito diferentes. Muitas ações humanas (ex.: deslizar o dedo por baixo de um objeto para pegá-lo) são fisicamente inviáveis para robôs com garras paralelas ou limitações cinemáticas.
• Falha no Treinamento Indiscriminado: Métodos anteriores que tentam treinar políticas misturando dados humanos e robóticos ("co-training" ingênuo) frequentemente resultam em políticas que aprendem estratégias de execução infeasíveis (impossíveis de executar), degradando o desempenho do robô.
• Dilema: Ignorar dados humanos significa perder pistas ricas sobre interação com objetos e intenção da tarefa; usá-los indiscriminadamente introduz ruído dinâmico prejudicial.

2. Metodologia: X-DIFFUSION

O X-DIFFUSION propõe um framework de aprendizado que integra demonstrações humanas no treinamento de Políticas de Difusão (Diffusion Policies) de forma seletiva, baseando-se no conceito de Ambient Diffusion. A premissa central é tratar ações humanas infeasíveis como "dados de baixa qualidade" que só devem ser utilizados quando o ruído adicionado no processo de difusão os torna indistinguíveis das ações do robô.

Componentes Principais:

1. Unificação de Espaço de Estado e Ação:

   • Os dados humanos e robóticos são mapeados para um espaço compartilhado.
   • Estado: Representado por máscaras de segmentação de objetos relevantes (usando Grounded SAM 2) e informações de propriocepção.
   • Ação: Para humanos, as poses das mãos são detectadas (HaMeR) e retargetadas (mapeadas) para o espaço de ação do efetuador final do robô.

2. Classificador de Corpo Cruzado (Human-Robot Classifier):

   • Um classificador é treinado para distinguir se uma sequência de ações "ruidosa" (noised) provém de um humano ou de um robô.
   • O classificador recebe como entrada o passo de difusão $k$, a ação ruidosa $A^k_t$ e o estado atual $s_t$.
   • O objetivo é encontrar o passo de indistinguibilidade mínima ($k^*$): o momento mais cedo no processo de difusão (mais ruído) onde o classificador não consegue mais diferenciar a origem da ação (probabilidade $\geq 50\%$ de ser robô).

3. Integração Seletiva no Treinamento da Política:

   • O treinamento da política de difusão segue o processo reverso (denoising).
   • Regra de Integração:
     • Ações Robóticas: Usadas em todos os passos de difusão.
     • Ações Humanas: Só são incluídas na função de perda (loss) se o passo atual de difusão $k$ for maior ou igual ao passo de indistinguibilidade $k^*$ daquela ação específica ($k \geq k^*$).
   • Lógica:
     • Em passos de baixo ruído ($k < k^*$), as diferenças de corpo (dinâmica, cinemática) ainda são visíveis. Ações humanas infeasíveis são rejeitadas aqui para evitar que o robô aprenda movimentos impossíveis.
     • Em passos de alto ruído ($k \geq k^*$), as diferenças morfológicas são "suavizadas" pelo ruído gaussiano, restando apenas a estrutura da tarefa (intenção, interação com objetos). Aqui, os dados humanos fornecem supervisão de alto nível (guia coarse) sem impor dinâmicas infeasíveis.

3. Principais Contribuições

• Novo Paradigma de Aprendizado: Introduz a visão de que ações humanas infeasíveis são análogas a dados de baixa qualidade que podem ser aproveitados se processados apenas em regimes de alto ruído (inspirado em Ambient Diffusion).
• Mecanismo de Filtro Dinâmico: Desenvolve um classificador que determina automaticamente, para cada demonstração humana, o nível de ruído necessário para torná-la compatível com a dinâmica do robô, eliminando a necessidade de filtragem manual de dados.
• Framework X-DIFFUSION: Um pipeline completo que permite o treinamento de políticas de robôs usando grandes conjuntos de dados humanos não curados, preservando a viabilidade física das ações.

4. Resultados Experimentais

Os autores avaliaram o método em 5 tarefas de manipulação do mundo real (ex.: fechar gaveta, colocar frigideira em prato, empurrar prato, encaixar caneca, endireitar garrafa).

• Comparação com Baselines:
  • O X-DIFFUSION superou consistentemente o treinamento apenas com dados robóticos e várias baselines de co-training (como Point-Policy, Motion Tracks e DemoDiffusion).
  • Melhoria de Desempenho: Houve um aumento médio de 16% na taxa de sucesso em comparação com o co-training ingênuo e filtragem manual.
• Análise de Viabilidade:
  • Baselines ingênuas frequentemente geraram ações infeasíveis (ex.: tentar agarrar objetos lateralmente com uma garra paralela), falhando nas tarefas.
  • O X-DIFFUSION evitou essas falhas ao excluir ações humanas infeasíveis dos passos de baixo ruído.
• Transferência Positiva:
  • O método demonstrou "transferência positiva" (melhoria de desempenho ao adicionar dados humanos) em todas as tarefas.
  • A quantidade de dados humanos utilizados varia conforme a tarefa: tarefas com maior compatibilidade dinâmica (ex.: "Mug On Rack") utilizaram uma fração maior de dados humanos do que tarefas com maior incompatibilidade (ex.: "Bottle Upright").

5. Significado e Conclusão

O X-DIFFUSION resolve um dos maiores gargalos na robótica: a escassez de dados de treinamento. Ao permitir o uso seguro e eficaz de vídeos humanos abundantes e de fácil coleta, o método:

1. Escalabilidade: Permite treinar políticas complexas sem a necessidade de teleoperação massiva de robôs.
2. Segurança Dinâmica: Garante que o robô não aprenda movimentos que quebrariam sua cinemática ou causariam colisões, filtrando o "ruído" de incompatibilidade de corpo.
3. Generalização: Demonstra que é possível extrair sinais úteis de intenção e interação de objetos de demonstrações humanas, mesmo quando a execução física é radicalmente diferente.

Em resumo, o trabalho estabelece que, ao alinhar o momento de integração de dados heterogêneos com o nível de ruído no processo de difusão, é possível superar o "gap" de corpo cruzado e criar políticas de robôs mais robustas e generalizáveis.