Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

Resumo Técnico: Pose6DAug

Problema
As políticas de Visão-Linguagem-Ação (VLA) demonstraram um potencial significativo para manipulação robótica de propósito geral, mas frequentemente falham ao encontrar objetos novos, fora da distribuição (OOD), com variações de aparência ou geometria. O remédio padrão — coletar novos dados de teleoperação multivistas para cada caso de falha — é proibitivamente caro e demorado, criando um gargalo para a escala do aprendizado robótico. As estratégias de aumento de dados existentes enfrentam trade-offs críticos: métodos baseados em simulação (ex: MimicGen) frequentemente falham em gerar trajetórias válidas para geometrias de objetos complexas devido à necessidade de busca exaustiva ou amostragem de rejeição, enquanto modelos generativos de vídeo 2D (ex: VACE) carecem de consciência 3D explícita. Consequentemente, abordagens de edição 2D têm dificuldade em manter a consistência multivista e a plausibilidade física, particularmente sob forte oclusão e pontos de vista egocêntricos, levando a sinais visuais conflitantes durante o treinamento.

Metodologia
Os autores introduzem o Pose6DAug, um framework de aumento de dados orientado por falhas e consciente de 3D que sintetiza demonstrações contrafatuais direcionadas a partir de episódios bem-sucedidos existentes sem a necessidade de nova coleta de dados. O insight central é que episódios bem-sucedidos já codificam trajetórias de ação fisicamente válidas e observações multivistas calibradas; ao trocar apenas o objeto manipulado enquanto preserva essa trajetória, novas demonstrações fundamentadas podem ser geradas.

O pipeline opera em três estágios:

1. Reconstrução de Malha Alvo e Extração de Pose 6D: O método reconstrói uma malha 3D do objeto alvo usando um modelo de percepção externo (ex: SAM3D) a partir de uma única observação, em vez de depender de assets de simulador de verdade fundamental (ground-truth). Ele extrai uma trajetória de pose 6D temporalmente coerente ($T^w_o(t)$) do episódio de origem, seja de estados do simulador ou de estimadores de pose externos. Essa trajetória é transformada para o quadro de referência de cada câmera usando extrínsecos conhecidos, garantindo o ancoramento espacial.
2. Aumento de Objeto: Para aumentar a diversidade de dados, o método aplica perturbações geométricas à malha alvo enquanto mantém a plausibilidade física. Isso inclui rotações/espelhamentos aleatórios, translações ao longo do eixo de aproximação da garra e escalonamento vertical para garantir que o objeto permaneça dentro de um alcance de preensão em relação à garra.
3. Composição de Vídeo Guiada por Malha 3D e Pose: Em vez de edição generativa independente de quadros, o método compõe o vídeo aumentado usando renderização guiada por geometria. O objeto original é removido via máscaras de segmentação, e o fundo é restaurado usando inpainting de vídeo. A malha alvo é então renderizada nos quadros inpainted com base na trajetória de pose 6D extraída. Uma camada estrita de ordem de profundidade (fundo $\to$ objeto alvo $\to$ robô/garra) garante a oclusão correta e a consistência multivista.

Principais Contribuições

• Troca de Objeto Consciente de 3D: Ao contrário dos modelos generativos 2D, o Pose6DAug opera diretamente no espaço 3D, ancorando o objeto alvo com uma malha explícita impulsionada por uma trajetória de pose 6D cinematicamente consistente. Isso garante a consistência geométrica em todas as vistas de câmera e passos de tempo.
• Aumento Orientado por Falhas: O framework visa especificamente modos de falha, reaproveitando episódios bem-sucedidos de objetos dentro da distribuição para gerar demonstrações para objetos novos e difíceis.
• Plausibilidade Física: Ao preservar a trajetória de ação original e impor o acoplamento rígido entre o robô e o objeto, o método garante que as interações sintetizadas (ex: pontos de preensão) permaneçam fisicamente admissíveis.
• Escalabilidade: A abordagem elimina a necessidade de novos dados de teleoperação ou buscas complexas de trajetória baseadas em simulação, oferecendo um caminho escalável para a generalização.

Resultados Experimentais
O método foi avaliado no benchmark RoboCasa, especificamente na tarefa de pick-and-place "Counter-to-Cabinet" envolvendo diversos objetos domésticos.

• Desempenho Geral: Em episódios de falha (onde a política base inicialmente falhou), o Pose6DAug alcançou uma taxa de sucesso média de 22,8%, superando a linha de base VACE (16,4%) e a linha de base baseada em simulação MimicGen (15,8%).
• Recuperação de Amostras Difíceis: Quando avaliado exclusivamente nas 8 instâncias de objetos OOD mais desafiadoras, o Pose6DAug alcançou uma taxa de sucesso de 21,2%, superando significativamente o VACE (15,0%) e o MimicGen (5,7%).
• Razão de Conversão: O Pose6DAug converteu 24,5% das instâncias anteriormente intratáveis em execuções (rollouts) bem-sucedidas, comparado a 18,2% para o VACE e 17,2% para o MimicGen.
• Análise Qualitativa: Comparações visuais demonstraram que o Pose6DAug mantém a identidade do objeto, geometria e pontos de contato consistentes entre as vistas esquerda, direita e do pulso (egocêntrica), enquanto as linhas de base exibiram deriva de identidade, inconsistências de escala e trajetórias fisicamente implausíveis.

Significância e Alegações
O artigo afirma que o aumento multivista e fisicamente consistente é um caminho prático e eficaz para a generalização de VLA em escala. Ao unir a validade cinemática e o fotorrealismo visual através do ancoramento 3D explícito, o Pose6DAug permite que as políticas generalizem para novos objetos sem o custo proibitivo de nova coleta de dados. Os resultados destacam que manter a consistência 3D e a admissibilidade física é crítico para o aprendizado de políticas robustas, pois aumentos 2D inconsistentes podem introduzir supervisão ruidosa que degrada o desempenho. Os autores postulam que fundamentar o aumento visual na geometria 3D é uma direção promissora para escalar o aprendizado robótico em diversos ambientes do mundo real.