It's Not Just More Demos: Counterfactual Action Sensitivity Coverage for Data-Efficient Robust Robot Imitation

Resumo Técnico: Cobertura de Sensibilidade de Ação de Perturbação Contrafactual para Imitação Robótica Eficiente em Dados

Declaração do Problema
A aprendizagem de imitação visuomotora alcançou um sucesso significativo em tarefas de manipulação, mas as políticas treinadas frequentemente permanecem frágeis quando implantadas sob perturbações visuais que preservam a tarefa (ex: mudanças de iluminação, mudanças de fundo, objetos distratores ou variações de textura de superfície). Embora essas perturbações não alterem o estado subjacente da tarefa ou a ação especialista necessária, elas causam uma degradação substancial no desempenho das políticas treinadas em dados "limpos". A comunidade robótica tem abordado isso tradicionalmente através da escala de coleta de dados ou do uso de randomização de domínio. No entanto, aumentar cegamente a diversidade de dados é ineficiente; muitas vezes cobre variações que a política já lida, enquanto perde condições visuais específicas que induzem respostas frágeis. O desafio central é identificar, para uma política treinada específica, quais pontos de dados adicionais são mais informativos para reparar sua robustez sem exigir rollouts custosos online ou intervenção de especialistas.

Metodologia: Clonagem de Comportamento de Perturbação Contrafactual (CFNBC)
Os autores propõem o CFNBC, um framework de seleção de dados offline projetado para reparar políticas visuomotoras visando seus modos específicos de fragilidade. O pipeline opera em três estágios:

1. Geração de Contrafatuais Pareados: Partindo de uma política nominal ($\pi_{\theta_0}$) treinada em demonstrações limpas, o método gera observações pareadas para o mesmo estado da tarefa: uma limpa ($s^c_t$) e uma com uma perturbação visual ($s^n_t$). Crucialmente, a ação do especialista $a^*$ permanece invariante entre o par.
2. Medição de Deriva de Ação: As ações previstas pela política para as entradas limpa e com perturbação são comparadas em um espaço de ação normalizado. A deriva de ação ($d_i$) é definida como a magnitude da mudança na ação prevista pela política entre as entradas pareadas. Uma deriva alta indica que a política é sensível a mudanças visuais irrelevantes para a tarefa. Adicionalmente, um recurso de resposta ($r_i$) captura o tipo de mudança de ação induzida, permitindo a comparação de diferentes modos de falha.
3. Seleção de Reparo Guiada por Resposta: Em vez de simplesmente selecionar os exemplos com a maior deriva (que podem ser redundantes), o CFNBC seleciona um conjunto de reparo compacto ($R_K$) que cobre modos de resposta de alta sensibilidade diversos. Usando uma abordagem de otimização gananciosa (greedy), o algoritmo maximiza a cobertura do espaço de resposta candidato sob um orçamento fixo $K$. Isso garante que os dados selecionados abordem uma ampla variedade de padrões de fragilidade, em vez de apenas os outliers mais extremos.
4. Ajuste Fino (Fine-Tuning): As observações de perturbação selecionadas são pareadas com suas ações especialistas originais (herdadas das demonstrações limpas) para formar um conjunto de dados de reparo contrafactual. A política nominal é ajustada finamente em uma mistura dos dados limpos originais e deste conjunto de reparo selecionado. Este processo não requer novos rótulos de especialista, rótulos de sucesso de rollout ou recompensas.

Principais Contribuições

• Formulação da Robustez como Seleção de Dados: O artigo enquadra o reparo de políticas visuomotoras não como um problema de gerar mais dados, mas de selecionar os exemplos contrafatuais mais informativos para uma política específica.
• Sinal de Deriva de Ação: A introdução da "deriva de ação" como um sinal de sensibilidade offline e específico da política. Esta métrica classifica as condições de perturbação por fragilidade sem exigir rollouts de ambiente ou rótulos de sucesso.
• Seleção Guiada por Resposta: Uma estratégia de seleção inovadora que prioriza a diversidade nos modos de resposta da política sobre a magnitude bruta da deriva, garantindo que o conjunto de reparo cubra um amplo espectro de comportamentos de falha.
• Validação Empírica: Demonstração de que esta abordagem direcionada supera significativamente a seleção de dados aleatória e a seleção baseada apenas em alta deriva sob orçamentos baixos de dados.

Resultos Experimentais
O framework foi avaliado em duas tarefas de manipulação simuladas: transferência de cubo bimanual no MuJoCo e empilhamento de cubos no SimplerEnv, utilizando Action Chunking with Transformers (ACT) como a arquitetura base.

• Confirmação de Fragilidade: Políticas nominais alcançaram alto sucesso (~90-96%) em domínios limpos, mas sofreram degradação severa (taxas de sucesso caindo para 0-44%) sob perturbações visuais que preservam a tarefa.
• Deriva como um Proxy: A deriva de ação correlacionou-se fortemente com as taxas de falha de rollout (correlações de Spearman de $\rho=0.95$ e $\rho=0.88$), validando-a como um indicador offline confiável de fragilidade.
• Eficiência de Dados: No regime de baixo orçamento (20–30 candidatos selecionados), o reparo guiado por resposta superou substancialmente a seleção aleatória de orçamento correspondente.
  • No Transferência de Cubo, o método proposto alcançou uma taxa de sucesso de 0.96 em todas as perturbações com 20 candidatos, enquanto a seleção aleatória exigiu ~100–500 amostras para atingir desempenho similar.
  • No Empilhamento de Cubos, o método melhorou o sucesso em todas as perturbações em +0.44 sobre a política nominal, comparado a +0.28 para a seleção aleatória.
• Generalização: As políticas reparadas mantiveram alto desempenho em dados limpos, indicando que a robustez foi ganha sem sacrificar o comportamento nominal. Embora o desempenho em condições de perturbação não testadas tenha variado, o método consistentemente melhorou a transferência dentro do pool de candidatos testado.

Significância e Alegações
O artigo argumenta por uma visão "centrada em dados" do reparo de robustez. Alega que os dados mais úteis para reparar uma política não são necessariamente os mais numerosos, visualmente diversos ou obviamente difíceis. Em vez disso, os dados mais eficazes são aqueles que cobrem os modos de resposta frágeis da política atual. Ao usar a geração contrafactual como uma auditoria offline em vez de aumento não estruturado, o CFNBC permite a construção de conjuntos de reparo compactos e de alto impacto que melhoram significativamente a robustez com overhead mínimo de dados, evitando os custos e riscos de segurança associados a rollouts de falha online.