Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer

1. O Problema

A transferência de simulação para a realidade (Sim-to-Real) é um desafio crítico na robótica, especialmente para robôs aquáticos macios (soft robots). A calibração de simuladores para esses sistemas é particularmente difícil devido a:

• Acoplamento não linear: A interação fluido-estrutura cria um espaço de parâmetros caótico e difícil de otimizar manualmente.
• Limitações dos modelos: Modelos de fluidos simplificados introduzem uma lacuna persistente entre a simulação e a realidade.
• Dificuldade experimental: Experimentos controlados em ambientes aquáticos são complexos e difíceis de reproduzir.
• Abordagens anteriores: Trabalhos anteriores exigiam etapas de busca manualmente projetadas e decomposição de parâmetros (ex: usar FFT para rigidez, busca em grade para geometria, otimização bayesiana para coeficientes), o que requer intervenção humana significativa e conhecimento de domínio específico.

O objetivo é criar um pipeline totalmente automático que, a partir apenas de vídeos de natação do robô real, calibre todos os parâmetros do simulador sem intervenção manual, permitindo a transferência de políticas de Aprendizado por Reforço (RL) para o hardware físico.

2. Metodologia: O Pipeline Swim2Real

O Swim2Real é um pipeline de identificação de sistema guiado por Modelos de Linguagem e Visão (VLMs). Ele substitui a busca manual por um ciclo iterativo inteligente.

A. Formulação do Problema

O objetivo é encontrar o vetor de parâmetros $\theta^*$ que minimize a diferença entre as trajetórias de marcadores no simulador e no robô real, através de múltiplas frequências de atuação. A função de perda $L(\theta)$ é calculada comparando posições de marcadores simulados e reais.

B. Calibração Guiada por VLM

Ao contrário de otimizadores de caixa-preta que usam apenas sinais de erro escalar, o Swim2Real utiliza um VLM (especificamente o Gemini 2.5 Pro) que recebe duas entradas a cada iteração:

1. Vídeo: Sobreposições de esqueletos (simulado vs. real) em várias frequências.
2. Dados Numéricos: Erros L2 por marcador, velocidades, histórico de propostas anteriores e limites dos parâmetros.

O VLM é instruído a:

• Identificar discrepâncias físicas visuais (ex: "a cauda dobra demais", "empuxo insuficiente").
• Raciocinar sobre quais parâmetros do simulador causam esses erros.
• Propor um novo vetor de parâmetros.

C. Busca de Linha com Retrocesso (Backtracking Line Search)

Uma limitação comum dos VLMs é que eles identificam corretamente a direção da atualização, mas frequentemente superestimam a magnitude do passo. Para resolver isso, o Swim2Real implementa uma busca de linha com retrocesso:

• O VLM propõe uma direção $\Delta$.
• O algoritmo testa o passo completo e, se falhar, reduz geometricamente o tamanho do passo ($\beta^k \cdot \Delta$) até encontrar uma melhoria na função de perda.
• Isso recupera propostas que estariam rejeitadas se apenas o passo completo fosse avaliado, triplicando a taxa de aceitação de propostas.

D. Espaço de Parâmetros

O sistema calibra simultaneamente 16 parâmetros sem etapas pré-definidas, cobrindo:

• 5 coeficientes de fluidos (arrasto, sustentação).
• 1 comprimento do braço do motor.
• 5 rigidezes de dobradiça (por articulação).
• 5 amortecimentos de dobradiça (por articulação).

3. Contribuições Principais

1. Pipeline End-to-End: Um sistema que calibra todos os 16 parâmetros de um simulador de peixe robótico diretamente a partir de vídeos, eliminando a necessidade de etapas de busca projetadas à mão ou seleção de métodos por parâmetro.
2. Validação Sim-to-Real Abrangente: O simulador calibrado alcança a menor taxa de erro de velocidade em comparação com o peixe real em todas as frequências de motor (MAE = 7.4 mm/s), superando o segundo melhor método em 43%.
3. Transferência de RL para o Mundo Real: Políticas treinadas no simulador calibrado pelo Swim2Real foram transferidas com sucesso para o peixe físico, nadando 12% mais longe do que políticas treinadas em simuladores calibrados por Otimização Bayesiana (BayesOpt).

4. Resultados Experimentais

Os experimentos foram conduzidos em um robô peixe de 0,6m com 16 parâmetros, comparando o Swim2Real com BayesOpt, CMA-ES e busca aleatória, utilizando um orçamento de 40 avaliações de simulação.

• Precisão de Calibração:
  • Swim2Real: Erro médio de 51.3 mm com variância extremamente baixa (todos os 5 seeds entre 50.2 e 53.2 mm).
  • BayesOpt: Erro médio de 52.4 mm (comparável, mas com maior variância).
  • CMA-ES: Falhas catastróficas em 2 de 5 seeds, com erros chegando a 254 mm.
• Eficiência de Amostra:
  • O uso da busca de linha aumentou a taxa de aceitação de propostas do VLM de 14% (sem linha) para 42%.
  • O Swim2Real alcançou o erro final com apenas ~16 chamadas de VLM, enquanto a versão sem linha de busca precisou de ~39 chamadas.
• Desempenho de RL (Natação para Frente):
  • Políticas treinadas com Swim2Real nadaram 7.6 metros, superando BayesOpt (6.8m) e CMA-ES (4.0m).
  • A correspondência de velocidade (não usada como objetivo de calibração) foi a melhor, com erro médio absoluto (MAE) de 7.4 mm/s, metade do erro do BayesOpt.
• Deploy no Mundo Real:
  • Comandos de motor gerados na simulação foram transferidos para o robô físico a 50 Hz. O robô executou trajetórias direcionadas com sucesso, embora tenha havido um desvio lateral (bias) devido a atritos mecânicos não modelados, o que confirma que a calibração capturou a dinâmica corporal essencial.

5. Significado e Conclusão

O Swim2Real demonstra que Modelos de Linguagem e Visão (VLMs) podem atuar como "raciocinadores de física" eficazes para identificação de sistemas, substituindo a necessidade de funções de custo manuais e etapas de otimização complexas.

• Automação: Remove a necessidade de o engenheiro decidir quais parâmetros calibrar, quais métodos usar e em que ordem.
• Interpretabilidade: Ao contrário de otimizadores de caixa-preta, o VLM fornece diagnósticos físicos explicáveis (ex: "o amortecimento está alto demais em altas frequências"), permitindo correções fundamentadas.
• Fechamento da Lacuna Sim-to-Real: O pipeline fecha a lacuna diretamente a partir do vídeo, permitindo a transferência zero-shot de políticas de RL para robôs físicos sem identificação de sistema manual.

O trabalho sugere que, embora os VLMs introduzam um custo computacional adicional (tempo de inferência), o ganho em robustez, precisão e eliminação de intervenção humana torna-os uma ferramenta viável e superior para a calibração de robôs complexos em ambientes dinâmicos.