Resumo Técnico: MirrorDuo

Definição do Problema

A clonagem de comportamento (BC) baseada em imagens oferece um caminho escalável para a aquisição de habilidades robóticas, mas enfrenta restrições significativas de eficiência de dados, particularmente ao generalizar através de variações espaciais em layouts de espaço de trabalho ou configurações de cena assimétricas. Métodos que utilizam entradas 3D (ex: nuvens de pontos) podem explorar a equivariância de transformação rígida SE(3) para sintetizar demonstrações transformadas, mas aplicar tais transformações a imagens RGB 2D frequentemente produz resultados inconsistentes. Tentativas existentes de aproximar a simetria em 2D, como a rotação SO(2) de imagens em terceira pessoa, são limitadas a configurações de domínio interno e falham em suportar uma generalização mais ampla. Além disso, a simetria de reflexão — uma propriedade natural de muitas tarefas de manipulação (ex: variantes de esquerda-direita de pick-and-place) — permanece subexplorada em políticas baseadas em imagem devido aos desafios de manter a consistência semântica entre imagens espelhadas e ações de efetuador final (end-effector) de 6-DoF, especialmente quando presentes artefatos visuais (ex: assimetria do pulso do robô, texturas de fundo).

Metodologia: MirrorDuo

Os autores propõem o MirrorDuo, uma formulação geral para incorporar a simetria de reflexão no aprendizado visuomotor. A inovação central é uma transformação baseada em reflexão que opera conjuntamente sobre observações RGB (tanto eye-in-hand quanto terceira pessoa), estados proprioceptivos e ações de efetuador final de 6-DoF completos para gerar um contraparte espelhada semanticamente e fisicamente consistente para cada demonstração original.

Componentes Técnicos Principais

1. Espelhamento de Espaço de Pose:

   • Para garantir a consistência com o espelhamento de imagem (flip horizontal), os autores definem uma operação de espelhamento no espaço de pose. Para uma pose de efetuador $X_H$ no frame da câmera, a pose espelhada $X^*_H$ é derivada via $X^*_H = X_C E X^{-1}_C X_H E$, onde $E = \text{diag}([-1, 1, 1, 1])$.
   • Independência de Extrínsecos da Câmera: Para evitar a dependência de extrínsecos de câmera frequentemente indisponíveis ($X_C$), o método re-parametriza as poses em sistemas de coordenadas locais (pose delta $\Delta X_H$ ou pose relativa $\delta X_H$). Isso permite que a operação de espelhamento seja expressa como $\Delta X^*_H = E \Delta X_H E$, tornando a abordagem independente do dataset.
   • Tratamento de Descontinuidade SO(3): A reflexão em SO(3) pode causar mudanças abruptas na rotação. Para garantir que o robô inicie a habilidade espelhada a partir de uma configuração quase idêntica, o método impõe uma rotação de alinhamento constante $Q$ que mapeia o eixo da ferramenta média das poses iniciais para o eixo X do mundo, mitigando descontinuidades.

2. Operador de Espelhamento Unificado ($M$):

   • O método define um operador unificado $M$ que aplica o flipping horizontal às imagens ($M_I$) e a multiplicação elemento a elemento por um vetor de padrão de sinal $\rho$ às poses e ações vetorizadas. Isso cria um conjunto de dados pareado de tuplas originais e espelhadas $(o_t, a_t)$ e $(M(o_t), M(a_t))$.

3. Duas Aplicações Complementares:

   • MirrorAug (Aumento de Dados): Uma estratégia onde, durante a amostragem de lote (batch sampling), uma parte dos dados de treinamento é substituída por sua contraparte espelhada. Isso expande a distribuição de treinamento para incluir configurações espelhadas sem modificar a arquitetura da rede.
   • MirrorDiffusion (Prior Estrutural): Uma política de difusão reflexo-equivariante onde a transformação de reflexão é incorporada como um viés indutivo dentro do processo de difusão latente. A rede de política utiliza CNNs direcionáveis (Steerable CNNs) E(n)-equivariantes para garantir que a função de predição de ruído comute com transformações de reflexão ($\pi(M(o)) = M(\pi(o))$).

4. Lidando com Assimetria Visual:

   • Os autores reconhecem que o espelhamento introduz artefatos visuais fora de distribuição (OOD) (ex: um robô destro aparecendo canhoto no espelho, ou texturas de mesa assimétricas).
   • Para mitigar isso, a abordagem combina o MirrorDuo com Random Overlay (aumento de fundos) e backbones visuais pré-treinados (ResNet-18 no ImageNet) para aumentar a robustez a variações irrelevantes para a tarefa.

Principais Contribuições

• Formulação Consistente com Reflexão: Um novo método para gerar pares de demonstração espelhados que são consistentes entre imagens 2D, propriocepção 3D e ações de 6-DoF, alcançando efetivamente o "cole um, ganhe um de graça".
• Utilidade Dupla: O framework serve tanto como uma estratégia de aumento de dados (MirrorAug) quanto como um prior estrutural para aprendizado de política equivariante (MirrorDiffusion), adaptável a pipelines padrão como Behavior Cloning (BC) e Diffusion Policies.
• Generalização para Espelhos Não Vistos: O método permite a transferência eficiente de habilidades para workspaces espelhados com tão poucas quanto zero ou cinco demonstrações no arranjo alvo, superando significativamente os baselines padrão em regimes de poucos dados.
• Robustez à Assimetria: O artigo demonstra que a simetria de reflexão pode ser aproveitada mesmo na presença de assimetrias visuais significativas (design do robô, texturas de fundo) quando combinada com técnicas leves de generalização visual.

Resultados Experimentais

Os autores avaliaram o MirrorDuo no dataset MimicGen (simulação) e em uma configuração real com Franka Emika para duas tarefas: um pick-and-place de um brinquedo de pelúcia (um lado) e empilhamento de blocos (dois lados).

• Transferência de Um Lado (Simulação e Real):

  • Em configurações com demonstrações confinadas a um lado do workspace, políticas padrão treinadas nos dados originais falharam em generalizar para o lado espelhado (taxas de sucesso próximas a 0% para alguns baselines).
  • O MirrorAug combinado com generalização visual (Random Overlay + pesos pré-treinados) permitiu que as políticas alcançassem performance próxima ao domínio interno no lado espelhado com apenas 5 demonstrações adicionais do lado oposto.
  • O MirrorDiffusion (equivariante) falhou na transferência zero-shot devido à injeção de ruído que quebra a simetria global durante o processo de difusão reversa, mas recuperou a performance com dados mínimos do lado oposto.

• Eficiência de Dados de Dois Lados:

  • Quando as demonstrações estavam distribuídas pelos dois lados, o MirrorDuo melhorou significativamente a eficiência de dados.
  • Em regimes de poucos a médios dados (50–200 demos), o MirrorAug e o MirrorDiffusion produziram ganhos consistentes de performance (ex: +31% no Square D0) sobre os baselines.
  • Em regimes de muitos dados, os ganhos de performance estagnaram e, em algumas tarefas de horizonte longo mais complexas, uma leve queda de performance foi observada, atribuída a fronteiras de decisão fragmentadas causadas por distribuições de observação conflitantes de tarefas quase idênticas.

• Validação no Mundo Real:

  • Na tarefa real do brinquedo de pelúcia, a Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pré-treinado) alcançou 83,3% de sucesso no setup espelhado com apenas 5 demos espelhadas, igualando sua performance de domínio interno.
  • A Diffusion Policy padrão treinada em dados de um lado alcançou apenas 3,3% no setup espelhado.
  • Os autores observam que, embora o MirrorDiffusion seja teoricamente elegante, a Diffusion Policy padrão com MirrorAug e técnicas de generalização visual provou ser mais prática, oferecendo performance superior sob condições visuais desafiadoras e convergência de treinamento mais rápida.

Significância e Alegações

O artigo afirma que o MirrorDuo estabelece a simetria de reflexão como um viés indutivo poderoso e subexplorado para o aprendizado robótico escalável e generalizável. Ao alavancar a sobreposição entre domínios originais e espelhados, a abordagem permite que robôs generalizem para configurações de workspace não vistas com o mínimo de dados adicionais.

Os autores enfatizam que, embora projetar reflexões 3D em observações visuais 2D introduza complexidade (assimetrias visuais), esses desafios podem ser gerenciados efetivamente. O trabalho demonstra que o aprendizado consistente com reflexão é altamente compatível com pipelines baseadas em imagem, oferecendo uma solução prática para o alto custo de coleta de diversas demonstrações robóticas. O artigo conclui que combinar a simetria de reflexão com técnicas leves de generalização visual permite que as políticas tolerem assimetrias visuais tanto do robô quanto do ambiente, facilitando o deployment robusto em ambientes reais variados.