PhyCo: Learning Controllable Physical Priors for Generative Motion

1. Declaração do Problema

Os modelos modernos de difusão de vídeo alcançaram sucesso notável na síntese de texturas realistas, iluminação e continuidade de movimento. No entanto, eles lutam significativamente com a consistência física. Falhas comuns incluem:

• Objetos deslizando ou caindo em velocidades irreais sob a gravidade.
• Colisões sem rebote realista (restauração).
• Objetos macios falhando em se deformar de acordo com as propriedades do material.
• Falta de Controlabilidade: Embora os modelos fundamentais sejam treinados em vastos conjuntos de dados, eles não podem ser manipulados de forma controlada para gerar variações específicas em propriedades físicas (por exemplo, alterar o atrito ou a magnitude da força) sem retreinamento ou orientação externa complexa.

As soluções existentes dividem-se em duas categorias, ambas com limitações:

1. Simulação Explícita: Métodos que acoplam modelos de difusão com solucionadores de física (por exemplo, dinâmica de corpos rígidos, MPM) exigem reconstrução de geometria 3D ou materiais pré-definidos na inferência, limitando a escalabilidade e a generalização.
2. Priors Implícitos: Métodos que usam prompts de linguagem ou trajetória melhoram a consistência semântica, mas carecem de controle contínuo e de alta granularidade sobre diversos atributos físicos como deformação, restauração e atrito.

2. Metodologia

O PhyCo introduz um framework que permite controle contínuo, interpretável e fundamentado fisicamente sobre a geração de vídeo, sem exigir simuladores ou reconstrução de geometria na inferência. A abordagem consiste em três componentes principais:

A. Conjunto de Dados em Grande Escala Fundamentado Fisicamente

• Escala e Diversidade: Os autores construíram um conjunto de dados com mais de 100.000 vídeos de simulação fotorealista usando o framework Kubric, PyBullet (física) e Blender (renderização).
• Cenários: O conjunto de dados cobre seis cenários controlados (por exemplo, tijolos deslizando, bolas quicando, impactos de corpos macios) abrangendo desde colisões rígidas até dinâmicas deformáveis.
• Anotações: Diferentemente de conjuntos de dados anteriores, o PhyCo fornece mapas de propriedades físicas alinhados a pixels para quatro atributos-chave:
  1. Atrito ($\mu_f$)
  2. Restauração ($e$)
  3. Deformação (Parâmetros Neo-Hookeanos: $\mu, \lambda, \gamma$)
  4. Força Aplicada (Magnitude e direção)
• Design: As simulações são visualmente limpas, mas fisicamente ricas, permitindo que o modelo dispare a aparência visual da dinâmica subjacente.

B. Ajuste Fino Supervisionado por Física (Etapa 1)

• Arquitetura: Os autores ajustam finamente uma base de difusão pré-treinada (Cosmos-Predict2-2B) usando uma arquitetura ControlNet.
• Condicionamento: O processo de remoção de ruído é condicionado a mapas de propriedades físicas alinhados espacialmente ($p$). Esses mapas são tokenizados e projetados via uma rede adaptadora para corresponder à base DiT (Transformer de Difusão).
• Estratégia de Treinamento: Apenas as camadas do ControlNet são ajustadas finamente; os pesos do modelo base e do tokenizador permanecem congelados para preservar as representações pré-treinadas. O modelo é treinado em subconjuntos do conjunto de dados onde propriedades físicas específicas se manifestam na dinâmica.

C. Otimização de Recompensa Guiada por VLM (Etapa 2)

• Motivação: O ajuste fino supervisionado sozinho pode não garantir alta fidelidade de controle. Para superar isso, um Modelo Visão-Linguagem (VLM) é usado como um sinal de recompensa diferenciável.
• Processo:
  1. Rollout: Em vez de avaliar etapas intermediárias ruidosas, o modelo realiza um rollout de remoção de ruído de $N$ passos para gerar um vídeo previsto $\hat{x}_0$.
  2. Avaliação: Um VLM ajustado finamente (Qwen2.5-VL-3B) analisa o vídeo gerado usando um "Banco de Questões de Física" curado. As consultas são binárias (Sim/Não) ou baseadas em regressão (por exemplo, "A magnitude da força está entre 0,2 e 0,4?" ou "O movimento está dentro do setor azul?").
  3. Sinal de Recompensa: Os logits do VLM para respostas corretas versus incorretas são convertidos em uma perda de recompensa diferenciável ($L_{VLM}$).
  4. Otimização: O ControlNet é ajustado finamente adicionalmente usando essa perda de recompensa para alinhar a dinâmica gerada com as propriedades físicas pretendidas.

3. Contribuições Principais

1. Conjunto de Dados PhyCo: Um conjunto de dados novo e em grande escala (mais de 100K vídeos) com anotações contínuas para atrito, restauração, deformação e força, projetado para dispare a aparência visual da dinâmica física.
2. Condicionamento Físico Controlado: Um método para injetar mapas de propriedades físicas alinhados espacialmente em um modelo de difusão via ControlNet, permitindo controle contínuo sobre múltiplos atributos físicos simultaneamente.
3. Alinhamento Guiado por VLM: Uma nova etapa de treinamento onde um VLM ajustado finamente fornece feedback diferenciável sobre a consistência física, melhorando significativamente a fidelidade de controle sem exigir solucionadores de física explícitos na inferência.
4. Generalização: O framework demonstra forte generalização composicional, gerando movimento fisicamente consistente em cenas estilizadas ou do mundo real (por exemplo, uma pessoa pulando em um trampolim), apesar de ser treinado exclusivamente em dados sintéticos.

4. Resultados Experimentais

Os autores avaliaram o PhyCo no benchmark Physics-IQ e através de estudos de preferência humana.

• Benchmark Physics-IQ:

  • O PhyCo superou significativamente bases fortes (SVD-XT, LTX-Video, CogVideoX, VLIPP) em cinco domínios: Mecânica dos Sólidos, Dinâmica de Fluidos, Óptica, Magnetismo e Termodinâmica.
  • Pontuação: O modelo PhyCo completo (ControlNet + Perda VLM) alcançou uma Pontuação IQ de 43,6 (vs. 34,6 para VLIPP e 29,7 para SG-I2V).
  • Generalização: Mesmo quando testado em sequências de 120 quadros (mais longas que os dados de treinamento de 57 quadros), o modelo manteve um realismo físico superior.

• Estudos com Usuários (2AFC):

  • Em comparações pareadas, avaliadores humanos preferiram o PhyCo em relação às bases para realismo físico e controlabilidade.
  • O PhyCo mostrou taxas de preferência de 90,9% para atrito, 93,2% para restauração e 91,3% para deformação sobre o modelo Cosmos base.

• Estudos de Ablação:

  • Impacto do VLM: Adicionar a otimização de recompensa VLM reduziu o desvio angular da direção da força de ~38° (apenas ControlNet) para 22,5°.
  • Direção da Força: O PhyCo alcançou um erro direcional médio de 15,2°, significativamente melhor que o Force-Prompting (40,5°).
  • Controle Composicional: O modelo lidou com sucesso com combinações de atributos (por exemplo, Força + Atrito) e generalizou para objetos e cenários não vistos.

5. Significado

O PhyCo representa um caminho escalável em direção a modelos generativos de mundo consistentes fisicamente. Seu significado reside em:

• Eficiência de Inferência: Elimina a necessidade de solucionadores de física explícitos ou reconstrução 3D durante a inferência, tornando-o mais rápido e flexível do que abordagens de simulação híbrida.
• Interpretabilidade: Ao usar mapas explícitos de propriedades físicas, o controle é interpretável e alinha-se com os parâmetros padrão de simulação física.
• Escalabilidade: O método generaliza de dados de treinamento sintéticos para cenários do mundo real e diversas categorias de objetos, sugerindo que a incorporação de priors físicos é uma estratégia viável para construir modelos visuais inteligentes que compreendem as leis da física.

Em resumo, o PhyCo conecta com sucesso a lacuna entre realismo visual e plausibilidade física, oferecendo um framework controlável para gerar vídeos que obedecem às leis da física através da manipulação contínua de atributos.