Vid2Sid: Videos Can Help Close the Sim2Real Gap

Resumo Técnico: VID2SID

1. O Problema: A Lacuna Sim2Real e a Calibração de Física

A transferência de políticas de controle treinadas em simulação para robôs físicos (problema sim2real) é frequentemente bloqueada pela discrepância entre os parâmetros físicos do simulador (atrito, amortecimento, rigidez do material) e o hardware real.

• Desafios Atuais:
  • Ajuste Manual: Lento, não escalável e depende de especialistas.
  • Otimizadores de Caixa-Preta (Black-box): Métodos como Otimização Bayesiana ou CMA-ES automatizam a busca de parâmetros, mas são "cegos": eles reduzem o erro sem explicar qual discrepância física causou o erro.
  • Limitações de Sensoriamento: Quando o sensoriamento é limitado a câmeras externas, o ruído de percepção e a ausência de medições diretas de força tornam a identificação do sistema ainda mais difícil.
  • Robôs Moles (Soft Robots): A calibração é particularmente difícil devido à dificuldade de medir propriedades de materiais in situ e à complexidade da dinâmica contínua.

2. Metodologia: VID2SID (Video-to-System Identification)

O VID2SID é um pipeline de identificação de sistema acionado por vídeo que combina percepção baseada em modelos fundamentais (Foundation Models) com um otimizador guiado por Modelos de Linguagem Visuais (VLMs). O processo é um loop fechado iterativo que não requer simuladores diferenciáveis nem treinamento específico para a tarefa.

O pipeline é dividido em duas camadas principais:

• Camada de Percepção:

  • Extrai trajetórias estruturadas a partir de vídeos pareados (simulação vs. real).
  • Robôs Rígidos: Rastreamento de marcadores (ex: ponta do dedo).
  • Robôs Moles: Uso do SAM3 (Segment Anything Model 3) para segmentação sem marcadores e extração da linha central (centerline) do tentáculo.
  • As trajetórias são alinhadas temporalmente e comparadas usando Erro Médio Absoluto (MAE).

• Camada de Raciocínio (VLM-in-the-loop):

  • Um VLM (Google Gemini 2.5 Pro) analisa os vídeos pareados, as métricas de erro e o histórico de iterações.
  • O VLM diagnostica discrepâncias físicas específicas (ex: "o tentáculo simulado oscila muito rápido" ou "o dedo simulado é excessivamente amortecido").
  • Com base no diagnóstico, o VLM propõe atualizações para os parâmetros físicos (ex: reduzir o atrito, aumentar a densidade) e fornece rationais em linguagem natural.
  • O VLM também pode sugerir ajustes nos parâmetros de controle (amplitude do motor) para elicitar movimentos mais informativos (Active Learning).

Algoritmo Iterativo:

1. Envia-se o mesmo sinal de controle para o simulador e o robô real.
2. Grava-se o vídeo de ambas as execuções.
3. Extrai-se as trajetórias e calcula-se o erro.
4. O VLM analisa os dados e recomenda novos parâmetros físicos e de controle.
5. O processo repete-se por um orçamento fixo (10 iterações), mantendo o melhor conjunto de parâmetros encontrado.

3. Contribuições Principais

1. Vídeo como Modalidade para Raciocínio Sim2Real: Validação de que VLMs podem inferir discrepâncias físicas complexas diretamente de vídeos pareados, fornecendo explicações interpretáveis sobre a causa do erro (ex: rigidez incorreta vs. atrito excessivo).
2. Pipeline de Identificação de Sistema Acionado por Vídeo: Introdução do VID2SID, que funciona em diferentes sistemas físicos e backends de simulação (MuJoCo para corpos rígidos, PyElastica para corpos contínuos) sem exigir simuladores diferenciáveis ou anotação manual.
3. Demonstração Cross-Morfologia: Avaliação bem-sucedida em um dedo articulado (rígido) e um tentáculo contínuo (mole), demonstrando generalização para perfis de controle não vistos durante o treinamento (holdout).

4. Resultados Experimentais

Os autores avaliaram o VID2SID em três cenários: validação sim2sim, calibração sim2real no ar e um teste de estresse sim2real subaquático.

• Desempenho em Generalização (Holdout):

  • O VID2SID alcançou o melhor ranking médio em todas as configurações.
  • No dedo rígido, reduziu o erro de holdout em 10% em relação à melhor base (Golden-CD).
  • No tentáculo no ar, o desempenho foi comparável ao CMA-ES (o melhor baseline), mas com a vantagem única de fornecer diagnósticos interpretáveis.
  • Sim2Sim (Recuperação de Parâmetros): Onde o "ground truth" é conhecido, o VID2SID recuperou os parâmetros com muito mais precisão (erro relativo médio <13%) comparado aos métodos de caixa-preta (28–98%). Os métodos de caixa-preta frequentemente encontravam combinações de parâmetros que compensavam erros, mas não representavam a física real.

• Análise de Regimes de Calibração:
  O estudo revelou três regimes distintos:

  1. Percepção Limpa + Simulador Expressivo (Dedo): O raciocínio do VLM impulsiona ganhos significativos.
  2. Percepção Ruidosa (Tentáculo no Ar): O VID2SID permanece competitivo, mas o vídeo introduz ruído de segmentação. Neste caso, o modo apenas texto (sem vídeo) pode ser preferível para interpretabilidade.
  3. Má Especificação do Modelo (Tentáculo Subaquático): Quando o modelo físico não consegue capturar efeitos hidrodinâmicos complexos, todos os otimizadores convergem para erros similares, indicando que o limite é a expressividade do modelo, não o otimizador.

• Ablação:

  • A entrada de vídeo é o componente mais impactante para o dedo (+66% de erro sem vídeo).
  • Para o tentáculo, a remoção de componentes (histórico, vídeo) às vezes melhorou o desempenho, sugerindo que o ruído de percepção pode ser propagado pelo VLM em cenários complexos.

5. Significado e Impacto

• Interpretabilidade: Diferente dos otimizadores de caixa-preta, o VID2SID fornece justificativas em linguagem natural para cada ajuste, permitindo que engenheiros depurem o simulador (ex: identificar que falta uma força de arrasto ou que o atrito está subestimado).
• Agnóstico ao Simulador: Não requer derivadas do simulador, tornando-o aplicável a qualquer motor de física que produza saída visual (incluindo simuladores de corpos moles complexos como PyElastica).
• Custo e Eficiência: O custo computacional adicional do VLM é baixo (~11 segundos por iteração, totalizando ~7,7 minutos para 10 iterações), tornando-o viável para uso offline.
• Futuro: O trabalho abre caminho para calibração online em tempo real e sugere que modelos fundamentais podem ser usados não apenas para planejamento de tarefas, mas para a identificação fundamental de sistemas físicos.

Em suma, o VID2SID demonstra que a combinação de visão computacional de ponta e raciocínio de linguagem natural pode fechar a lacuna sim2real de forma mais eficiente e compreensível do que os métodos tradicionais de otimização.