ProPhy: Progressive Physical Alignment for Dynamic World Simulation

1. O Problema

Apesar dos avanços recentes na geração de vídeo (especialmente com modelos baseados em Diffusion Transformers), os modelos atuais ainda lutam para produzir resultados fisicamente consistentes, especialmente em cenários de grande escala ou dinâmicas complexas. As limitações principais identificadas são:

• Alinhamento Isotrópico: Os modelos existentes respondem de forma uniforme a prompts físicos, falhando em alinhar o conteúdo gerado com pistas físicas localizadas.
• Falta de Priors Explícitos: Abordagens anteriores dependem da internalização implícita de leis físicas durante o treinamento, sem orientação explícita durante a inferência.
• Roteamento Coarse (Grosso): Métodos como o WISA utilizam roteamento de nível de vídeo inteiro, o que impede o raciocínio físico fino quando múltiplos fenômenos ocorrem simultaneamente ou em regiões localizadas (ex: água respingando vs. poeira levantada por uma bola).

2. Metodologia: ProPhy

O ProPhy (Progressive Physical Alignment) é um framework projetado para habilitar a geração de vídeo anisotrópica e consciente da física. Ele introduz um mecanismo de Mixture-of-Physics-Experts (MoPE) em duas etapas e uma estratégia de alinhamento físico progressivo.

A. Arquitetura do Framework

O modelo é construído sobre backbones de difusão de vídeo (como Wan2.1 e CogVideoX) e adiciona um Ramo Físico (Physical Branch) dedicado, composto por:

1. Bloco de Especialistas Semânticos (Semantic Expert Block - SEB): Opera no nível do vídeo. Utiliza um conjunto de mapas de base física aprendíveis e um roteador semântico que, baseado no prompt de texto, ativa os especialistas relevantes para inferir princípios físicos de alto nível (ex: combustão, gravidade).
2. Bloco de Especialistas de Refinamento (Refinement Expert Block - REB): Opera no nível de token. Contém especialistas lineares e um roteador de refinamento que prediz as leis físicas associadas a cada token individual, permitindo que diferentes regiões do vídeo respondam a pistas físicas localizadas.

B. Alinhamento Físico Progressivo

A inovação central é a transferência de capacidades de raciocínio físico de Modelos Visão-Linguagem (VLMs) para os especialistas de refinamento do gerador:

• Alinhamento Semântico (Coarse): Os pesos de roteamento do SEB são alinhados com categorias físicas globais (usando dados anotados do WISA-80K) para garantir que prompts semelhantes ativem especialistas semelhantes.
• Alinhamento Fino (Fine-grained): Utiliza-se um VLM (Qwen2.5-VL) para gerar mapas de atenção que localizam fenômenos físicos específicos no vídeo. O roteador do REB é treinado para alinhar suas previsões de distribuição de probabilidade com esses mapas de atenção do VLM. Isso permite que o gerador aprenda onde e como aplicar leis físicas em nível de pixel/token.

C. Função de Perda

O treinamento otimiza uma função de perda combinada:

• Perda de Difusão padrão.
• Perda de Alinhamento Semântico ($\mathcal{L}_{coarse}$): Garante coerência entre prompts e especialistas ativados.
• Perda de Alinhamento Fino ($\mathcal{L}_{fine-align}$): Alinha a distribuição de tokens com a localização física inferida pelo VLM.
• Perda de Balanceamento de Carga ($\mathcal{L}_{fine-balance}$): Evita o colapso de modo, garantindo que diferentes especialistas sejam utilizados.

3. Principais Contribuições

1. Mecanismo MoPE em Duas Etapas: Um design inovador que extrai priores físicos hierárquicos (semânticos e token-level), permitindo representações físicas mais discriminativas e expressivas.
2. Estratégia de Alinhamento Físico Fino: Uma abordagem pioneira que transfere a capacidade de localização espacial de VLMs para o processo de geração, permitindo que o modelo responda anisotropicamente a pistas físicas localizadas.
3. Validação Experimental Abrangente: Demonstração de que o alinhamento fino é crucial para a consistência física, superando métodos que usam apenas alinhamento global ou implícito.

4. Resultados Experimentais

O ProPhy foi avaliado no benchmark VideoPhy2 (focado em senso comum físico e aderência semântica) e no VBench (qualidade visual).

• Desempenho no VideoPhy2:

  • Ao ser aplicado ao CogVideoX-5B, o ProPhy alcançou o melhor desempenho geral, com um aumento de +19.7% na taxa de aprovação conjunta (Joint Pass Rate) em comparação ao modelo base.
  • Superou consistentemente métodos State-of-the-Art (SOTA) como WISA, VideoREPA, HunyuanVideo e Cosmos, especialmente no subconjunto "HARD" (cenários desafiadores).
  • Melhorias significativas foram observadas tanto em Senso Comum Físico (PC) quanto em Aderência Semântica (SA).

• Qualidade Visual (VBench):

  • O ProPhy manteve ou melhorou a qualidade visual geral, com destaque notável na dimensão Grau de Dinamismo (Dynamic Degree), confirmando que o framework melhora a captura de comportamentos físicos altamente dinâmicos sem sacrificar a estética.

• Análise Qualitativa:

  • Em cenários como "bola de basquete batendo na areia" ou "colisão de bolas de ferro", métodos anteriores geravam violações físicas (ex: poeira levantada incorretamente, violação da conservação de momento). O ProPhy corrigiu esses erros, gerando interações fisicamente plausíveis.

5. Significado e Conclusão

O trabalho ProPhy representa um avanço significativo na transição de geradores de vídeo para simuladores de mundo real. Ao demonstrar que a injeção explícita de priores físicos, combinada com um alinhamento espacial fino guiado por VLMs, supera as limitações dos métodos atuais, o artigo estabelece um novo paradigma para a geração de vídeo fisicamente coerente.

A descoberta de que especialistas distintos no MoPE capturam priores físicos específicos (validado através de experimentos de manipulação de logits) sugere um potencial futuro para o controle explícito de atributos físicos na geração de vídeo. Embora existam limitações quanto ao ruído nas anotações regionais, o framework abre caminho para a integração de equações diferenciais físicas interpretáveis em modelos de geração.