Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation

O artigo apresenta o Phys2Real, um pipeline de aprendizado por reforço que combina estimativas de parâmetros físicos inferidas por modelos de visão e linguagem com adaptação online baseada em incerteza para superar os desafios de transferência simulação-realidade em tarefas de manipulação robótica.

O essencial

Imagine que você está tentando ensinar um robô a empurrar um objeto estranho e pesado pela mesa, como um martelo ou um bloco em forma de "T". O problema é que o robô nunca viu esse objeto antes e não sabe onde está o seu "centro de gravidade" (o ponto onde ele é mais pesado). Se ele empurrar do lugar errado, o objeto gira e a tarefa falha.

Antes, os robôs tinham duas opções ruins:

1. Adivinhar e tentar de novo: Eles tentavam aprender no mundo real, o que era lento, caro e perigoso (o robô podia quebrar coisas).
2. Treinar na simulação: Eles aprendiam em um videogame perfeito, mas quando chegavam ao mundo real, falhavam porque o mundo real tem atrito, peso e luz diferentes do jogo.

O Phys2Real é a nova solução inteligente que os pesquisadores criaram. Pense nele como um "treinador de robôs" que usa três truques de mestre:

1. A Foto Mágica (O "Olho" do Robô)

Antes de tocar no objeto, o robô tira fotos dele. Em vez de apenas ver a forma, ele usa uma Inteligência Artificial Avançada (chamada VLM) que funciona como um "especialista em física visual".

• A Analogia: É como se você olhasse para um martelo e dissesse: "Pelo formato e pelo material, acho que o cabo é leve e a cabeça é pesada, então o centro de gravidade deve estar aqui". O robô faz isso, mas com matemática. Ele cria uma estimativa inicial, mas admite: "Estou 70% seguro, mas posso estar errado".

2. O Treino no "Simulador Perfeito" (O "Gêmeo Digital")

O robô não usa apenas qualquer modelo 3D. Ele usa uma tecnologia chamada Gaussian Splatting para criar uma cópia digital tão perfeita do objeto real que parece uma foto em 3D.

• A Analogia: É como se você escaneasse o objeto real e criasse um "gêmeo digital" idêntico dentro do computador. O robô treina milhões de vezes empurrando esse gêmeo digital, aprendendo exatamente como ele se move.

3. O "Sentido de Toque" e a Fusão (A Adaptação)

Aqui está a parte mais genial. Quando o robô vai para o mundo real, ele não confia cegamente na foto (que pode enganar) nem apenas no treino (que pode não ser perfeito).

• O Processo:
  • O robô começa a empurrar.
  • Ele usa uma "caixa de ferramentas" de sensores para sentir como o objeto reage.
  • O Truque da Incerteza: O robô tem dois conselheiros:
    1. O Especialista Visual (VLM): "Acho que o centro de gravidade é aqui, mas tenho dúvidas."
    2. O Especialista de Toque (Adaptação): "Estou empurrando e sentindo que ele está girando mais rápido do que o visual sugeriu. O centro de gravidade deve estar mais para a esquerda!"
  • A Fusão: O robô combina as duas opiniões. Se o "Especialista Visual" estiver muito confiante, ele segue a foto. Se o "Especialista de Toque" sentir algo estranho, ele ajusta a estratégia em tempo real. É como dirigir um carro: você olha para o mapa (VLM), mas se sentir o carro derrapando (Toque), você vira o volante imediatamente.

Por que isso é incrível?

Os testes mostraram que, ao usar essa mistura de "olho esperto" + "mão sensível":

• O robô conseguiu empurrar um bloco "T" com sucesso em 100% dos casos (enquanto outros métodos falhavam em 20% a 80% das vezes).
• Ele foi 15% mais rápido em tarefas difíceis.
• Ele aprendeu a lidar com objetos que nunca viu antes, apenas olhando para eles e sentindo como eles se movem.

Resumo da Ópera:
O Phys2Real ensina o robô a não ser apenas um "leitor de mapas" (que ignora o terreno) nem apenas um "cego que tateia" (que não tem plano). Ele é um explorador que usa a intuição visual para ter um plano inicial e o sentido de toque para corrigir o curso instantaneamente, tornando-se um mestre em manipular objetos do mundo real.

Resumo técnico

Resumo Técnico: Phys2Real

1. O Problema

A transferência de políticas de manipulação robótica treinadas em simulação para o mundo real (sim-to-real) permanece um desafio fundamental, especialmente para tarefas que exigem dinâmicas físicas precisas.

• Limitações da Randomização de Domínio (DR): Embora a DR treine políticas robustas a variações aleatórias, elas frequentemente falham em se adaptar a propriedades físicas específicas de objetos fora da distribuição de treinamento, recorrendo a comportamentos "médios" que não são ótimos para casos específicos.
• Identificação de Sistema Online: Métodos que tentam identificar parâmetros físicos apenas através da interação (como RMA - Rapid Motor Adaptation) podem falhar em cenários de manipulação não preênseis (ex: empurrar objetos), onde os históricos de contato são intermitentes e pouco informativos.
• Falta de Grounding Físico em Modelos de Fundação: Modelos Visão-Linguagem (VLMs) possuem raciocínio físico, mas geralmente são usados apenas para planejamento de alto nível, não sendo integrados diretamente ao controle de baixo nível em tempo real.

O objetivo é criar um sistema que combine a robustez da simulação com a capacidade de adaptação online, utilizando tanto a percepção visual quanto a interação física para estimar parâmetros críticos (como o Centro de Massa - CoM).

2. Metodologia

O Phys2Real propõe um pipeline Real-to-Sim-to-Real em três estágios principais, focado na fusão de estimativas de parâmetros físicos com consciência de incerteza.

A. Reconstrução Real-to-Sim (Gêmeos Digitais Físicos)

• Para objetos sem malhas conhecidas, o sistema utiliza uma pipeline de reconstrução:
  1. Captura de vídeo e segmentação do objeto usando SAM-2.
  2. Treinamento de 3D Gaussian Splatting (GSplat) nas imagens segmentadas.
  3. Extração de uma malha watertight (fechada) usando SuGaR (Surface-Aligned Gaussian Splatting).
  4. Refinamento da malha para criar ativos de simulação geometricamente precisos.

B. Aprendizado de Política Condicionada a Parâmetros Físicos
O treinamento da política de RL ocorre em três fases inspiradas no RMA, mas com uma mudança crucial: a política é condicionada diretamente em parâmetros físicos interpretáveis (ex: CoM, atrito) em vez de vetores latentes aprendidos.

1. Fase 1: Treinamento da política em simulação condicionada aos parâmetros físicos de ground truth.
2. Fase 1.5 (Opcional): Fine-tuning da política com parâmetros ruidosos para robustez.
3. Fase 2: Congelamento da política e treinamento de um ensemble de modelos de adaptação (M=10) que preveem os parâmetros físicos a partir do histórico de estados e ações.
   • Quantificação de Incerteza: O ensemble calcula incerteza epistêmica (desacordo entre modelos) e aleatória (ruído nos dados), fornecendo uma estimativa de variância total ($\sigma^2_{rma}$).

C. Transferência Sim-to-Real com Fusão de Incerteza
No momento de execução (inferência), o sistema funde duas fontes de informação:

1. Priori do VLM: O modelo de linguagem (GPT-5) analisa imagens do objeto e estima o parâmetro físico (ex: CoM) e sua própria incerteza ($\sigma_{vlm}$).
2. Estimativa de Adaptação (RMA): O ensemble de modelos estima o parâmetro baseado na interação histórica ($\theta_{rma}, \sigma_{rma}$).

Mecanismo de Fusão:
As estimativas são combinadas usando ponderação por inversa da variância (Inverse-Variance Weighting). Se a interação for incerta (alta variância do RMA), o sistema confia mais no VLM, e vice-versa.
$$\hat{\theta} = \frac{\theta_{vlm}/\sigma^2_{vlm} + \theta_{rma}/\sigma^2_{rma}}{1/\sigma^2_{vlm} + 1/\sigma^2_{rma}}$$
Essa estimativa fundida ($\hat{\theta}$) é usada para condicionar a política de RL em tempo real.

3. Contribuições Chave

1. Fusão Consciente de Incerteza: Integração inovadora de priores visuais (VLM) com adaptação interativa online, utilizando quantificação de incerteza para decidir o peso de cada fonte dinamicamente.
2. Estimativa de Parâmetros Interpretáveis: Ao contrário de métodos que aprendem latentes abstratos, o Phys2Real estima parâmetros físicos reais (como CoM), permitindo a combinação direta com priores de modelos de fundação.
3. Pipeline de Reconstrução Física: Combinação de Gaussian Splatting e estimativa online de propriedades físicas para criar "gêmeos digitais" que capturam tanto a geometria quanto a dinâmica do objeto real.
4. Validação em Tarefas Não Preênseis: Demonstração de sucesso em tarefas de empurrar objetos (T-block e Martelo), onde o contato é intermitente e a adaptação puramente baseada em interação é difícil.

4. Resultados Experimentais

Os experimentos foram realizados com um braço robótico UFactory xArm em duas tarefas: empurrar um bloco em "T" (com pesos variando o CoM) e empurrar um martelo.

• Bloco em "T" (Peso no Topo - Cenário Difícil):

  • Phys2Real: 57,14% de taxa de sucesso.
  • Randomização de Domínio (DR): 23,81%.
  • Apenas RMA (sem VLM): 14,29%.
  • Apenas VLM (sem adaptação): 4,76%.
  • Conclusão: A fusão é essencial; nenhuma fonte isolada é suficiente para tarefas complexas.

• Bloco em "T" (Peso na Base - Cenário Mais Fácil):

  • Phys2Real: 100% de sucesso (igual ao limite superior de ground truth).
  • DR: 79,17%.

• Empurrar Martelo (Objeto Real Reconstruído):

  • Tanto Phys2Real quanto DR alcançaram 100% de sucesso.
  • Eficiência: O Phys2Real completou a tarefa 15% mais rápido (77,79s vs 90,65s) que a DR, demonstrando trajetórias mais eficientes.

• Análise de Erro: O Phys2Real apresentou erros de posição e orientação consistentemente menores e distribuições de erro mais concentradas em comparação com baselines, aproximando-se do desempenho de uma política com conhecimento privilegiado (privileged oracle).

5. Significado e Impacto

O trabalho Phys2Real representa uma mudança de paradigma na robótica de manipulação:

• Superando a "Média" da DR: Em vez de treinar uma política robusta a todas as variações possíveis (que é subótima para casos específicos), o sistema adapta-se especificamente ao objeto em questão.
• Ponte entre Semântica e Física: Demonstra que modelos de fundação (VLMs) contêm "priors" físicos úteis que, quando refinados por interação e calibrados por incerteza, podem guiar o controle de baixo nível de forma eficaz.
• Adaptabilidade em Cenários Reais: O método permite que robôs lidem com objetos desconhecidos e propriedades físicas variáveis sem necessidade de calibração manual ou modelos físicos prévios precisos, abrindo caminho para sistemas robóticos mais gerais e adaptáveis.

Em resumo, o Phys2Real valida que a combinação de raciocínio visual de alto nível (VLM) com aprendizado de interação de baixo nível (RL Adaptativo), mediada por uma fusão probabilística de incerteza, é uma estratégia superior para a transferência sim-to-real em manipulação robótica.