Resumo Técnico: Um Demo Vale por Mil Trajetórias: Aumento de Ação-Visão para Políticas Visuomotoras

Declaração do Problema

Políticas visuomotoras treinadas via aprendizado por imitação frequentemente exibem fragilidade ao serem implantadas em ambientes do mundo real. Desvios menores na configuração inicial do robô ou a presença de obstáculos não vistos podem levar a observações fora da distribuição (OOD). Esses estados OOD frequentemente resultam em erros de execução e falhas na tarefa. Embora a coleta extensiva de demonstrações humanas sob diversas configurações espaciais possa mitigar isso, o processo é tedioso, dispendioso e muitas vezes impraticável. As técnicas de aumento de dados existentes em visão computacional (ex: jittering de cor, recorte) falham em abordar os requisitos únicos da robótica, especificamente a necessidade de manter a consistência ação-visão e respeitar restrições físicas (colisões 3D e dinâmica de contato) simultaneamente. Além disso, o aumento baseado em estado padrão geralmente delega a invariância visual à estimativa de estado, enquanto métodos anteriores de aumento visual-ação são limitados a visões estáticas de terceira pessoa, com câmera pinhole, ou modificações de passo único que não conseguem gerar desvio de obstáculos suave em nível de trajetória.

Metodologia: O Framework 1001 DEMOS

Os autores propõem o 1001 DEMOS, um framework de aumento de dados offline que gera milhares de trajetórias ação-visão visualmente realistas e fisicamente viáveis a partir de uma única demonstração humana do mundo real. O sistema utiliza uma garra paralela portátil equipada com uma única câmera fisheye de amplo campo de visão (FoV). O framework opera através de três módulos primários:

1. Reconstrução de Cena 3D a partir de Vídeo Fisheye Eye-in-Hand

O sistema processa sequências de imagens fisheye capturadas durante o escaneamento da cena e a demonstração da tarefa para criar duas representações:

• Nuvem de Pontos da Cena: Reconstruída usando COLMAP para planejamento de movimento e verificação de colisão.
• Fisheye 3D Gaussian Splatting (Fisheye-3DGS): Uma adaptação novel de 3D Gaussian Splatting (3DGS) para lidar com câmeras fisheye de amplo FoV.
  • Amostrador de Raios Fisheye: Os autores substituem o amostrador de raios pinhole padrão por um amostrador de raios fisheye baseado em KB8. Para cada pixel fisheye $(u, v)$, a direção do raio $r_d$ é computada via modelo KB8, então projetada através das intrínsecas da câmera $K$ para obter coordenadas pinhole $(u_p, v_p)$.
  • Otimização: Para preservar a eficiência do 3DGS (estrutura bloco-thread CUDA), o sistema redistribui as atribuições de tiles dos raios pinhole para os raios fisheye, particionando os raios fisheye no layout original de 256 raios por tile. Isso permite uma rasterização rápida enquanto modela com precisão a distorção fisheye.

2. Geração de Ação via Otimização de Trajetória

Usando a nuvem de pontos 3D reconstruída e a trajetória de demonstração original, o sistema gera dois tipos de trajetórias inéditas via otimização de trajetória:

• Trajetórias de Espaço Livre: Geradas com diferentes poses de câmera iniciais amostradas dentro de um cone de quaternion em torno do ponto de vista original.
• Trajetórias de Desvio de Obstáculos: Geradas introduzindo nuvens de pontos de obstáculos (amostradas do Objaverse) na cena e planejando caminhos que desviem deles.

O problema de otimização minimiza uma função de perda composta:
$$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$$

• $\mathcal{L}_{funnel}$: Uma perda de delta funnel que garante que as trajetórias convirjam para a mesma pose pré-contato da demonstração original, preservando a dinâmica de contato.
• $\mathcal{L}_{collision}$: Utiliza uma Função de Distância Assinada Truncada (TSDF) da cena (incluindo obstáculos aumentados) para penalizar colisões.
• $\mathcal{L}_{render}$: Uma perda de consistência de visão que mantém as poses geradas próximas à distribuição das visões de escaneamento e demonstração originais para evitar artefatos de "flutuadores" (floaters) e reconstruções borradas comuns em 3DGS ao renderizar de novos pontos de vista.
• $\mathcal{L}_{smooth}$: Penaliza o jerk (variação de aceleração) da velocidade para garantir trajetórias suaves.

3. Geração de Visão e Treinamento de Política

• Geração de Visão: As trajetórias 6D otimizadas são renderizadas usando o Fisheye-3DGS treinado para produzir observações visuais correspondentes. Para cenários de obstáculos, o 3DGS da cena original é aumentado com o 3DGS treinado dos obstáculos adicionados.
• Compilação de Dados: Os dados aumentados são compilados segmentando a garra usando SAM2 e sobrepondo-a às imagens renderizadas. A largura de abertura da garra é mantida da demo original, enquanto as poses 6D do efetuador final são extraídas da trajetória otimizada.
• Treinamento: Uma Diffusion Policy é treinada no conjunto da união das demonstrações expert originais e do conjunto de dados aumentado gerado.

Principais Contribuições

1. Framework de Aumento de Ação-Visão: Um método que aumenta conjuntamente as observações visuais e as trajetórias de ação, garantindo consistência entre ambas enquanto respeita restrições físicas.
2. Fisheye-3DGS: Uma formulação novel estendendo o 3D Gaussian Splatting para câmeras fisheye de amplo FoV, permitindo renderização de novos pontos de vista de alta fidelidade e rápida para sistemas eye-in-hand.
3. Desvio de Obstáculos em Nível de Trajetória: A capacidade de gerar trajetórias suaves e livres de colisão que navegam ao redor de obstáculos não vistos, uma capacidade ausente em métodos anteriores de aumento de passo único ou de terceira pessoa.
4. Aumento Consciente de Contato: Um mecanismo que detecta eventos de contato e restringe o aumento às fases pré-contato, preservando assim as dinâmicas de contato críticas da demonstração original.

Resultados Experimentais

O framework foi avaliado tanto em simulação (tarefa "square" do RoboMimic) quanto em cenários do mundo real (tarefa de servir copo).

• Simulação (RoboMimic):

  • Ganho de Desempenho: O aumento de ação-visão melhorou as taxas de sucesso da tarefa em uma média de 56% comparado a políticas treinadas sem aumento.
  • Comparação com Baselines: O método superou o "Aug Action Only" (que perturba ações mas mantém visuais fixos) em até 35% e o método baseado em NeRF de passo único, SPARTN, em 15% na taxa de sucesso média.
  • Limite Superior (Upper Bound): O desempenho acompanhou de perto uma política "oráculo" treinada com renderização de novo ponto de vista de verdade fundamental (ground-truth), com uma lacuna de apenas 8-11%.

• Avaliação no Mundo Real:

  • Robustez a Configurações OOD: O aumento de espaço livre melhorou as taxas de sucesso em 55% sobre as políticas não aumentadas ao enfrentar configurações iniciais de robô não vistas.
  • Desvio de Obstáculos: Políticas treinadas com aumento consciente de obstáculos alcançaram uma taxa de sucesso de 100% em tarefas com obstáculos não vistos, superando significativamente o aumento de espaço livre (10%) e o sem aumento (5%). Isso demonstrou a capacidade da política de aprender comportamentos de desvio de colisão não presentes nas demonstrações humanas originais.

Significância e Alegações

O artigo afirma que o 1001 DEMOS efetivamente dota os robôs de habilidades não explicitamente demonstradas, especificamente desvio de obstáculos e robustez a novas configurações iniciais. Ao gerar demonstrações ação-visão, de nível de trajetória e eye-in-hand, fisicamente viáveis a partir de uma única demonstração humana, o framework aborda os problemas de escassez de dados e fragilidade inerentes ao aprendizado de políticas visuomotoras. Os autores enfatizam que sua abordagem faz a ponte entre a invariância visual e a consistência física, permitindo que as políticas generalizem para pontos de vista e ambientes OOD sem a necessidade de coleta exaustiva de dados manuais.

Os autores reconhecem modestamente as limitações, observando que o pipeline atual é restrito a cenas estáticas devido à cobertura de visão da câmera única em movimento e que as trajetórias geradas não consideram inerentemente os limites cinemáticos do robô de implantação a jusante, embora sejam limitadas para garantir a viabilidade no espaço de tarefa. Sugere-se que trabalhos futuros explorem configurações de múltiplas câmeras e otimização de trajetória consciente da embodiment (embodiment-aware).