PhysVid: Physics Aware Local Conditioning for Generative Video Models

Resumo Técnico: PhysVid

1. O Problema

Os modelos generativos de vídeo (Text-to-Video ou T2V) alcançaram recentemente alta fidelidade visual e realismo estético. No entanto, eles frequentemente violam princípios físicos básicos (como gravidade, inércia, dinâmica de fluidos e interações sólido-líquido), limitando sua confiabilidade em aplicações do mundo real.

• Limitações das abordagens anteriores: Métodos existentes tentam injetar física no processo de geração, mas geralmente o fazem de duas formas inadequadas:
  1. Condicionamento Global: Usam prompts de texto globais que são muito grosseiros e ruidosos para capturar dinâmicas finas que ocorrem em curtos intervalos de tempo.
  2. Condicionamento por Quadro Único: Usam sinais de quadro individual que são específicos demais e de curto alcance, perdendo a coerência temporal de longo prazo.
• Consequência: A atenção cruzada global (global cross-attention) aplicada a todos os quadros de forma idêntica falha em alinhar o texto com eventos físicos locais específicos, resultando em vídeos com movimentos estáticos, incoerentes ou fisicamente implausíveis.

2. Metodologia: PhysVid

O PhysVid propõe um esquema de condicionamento local consciente da física que opera sobre "chunks" (blocos) contíguos de quadros temporais, em vez de tratar o vídeo como um todo global ou quadro a quadro isolado.

A. Anotação de Dados e Geração de Prompts Locais (Treinamento)

• Segmentação: Os vídeos de treinamento são divididos em fragmentos temporais contíguos (chunks).
• Análise com VLM: Um Modelo de Linguagem e Visão (VLM), especificamente o VideoLLama3-7B, analisa cada chunk individualmente junto com o prompt global.
• Extração de Física: O VLM é instruído a identificar fenômenos físicos visíveis em três categorias principais:
  1. Dinâmica: Movimento, forças, energia, momento.
  2. Forma: Deformação, elasticidade, integridade estrutural.
  3. Óptica: Iluminação, reflexos, sombras, refrações.
• Prompting Estruturado: O VLM gera um prompt de texto conciso e estruturado para cada chunk, descrevendo como as leis da física se manifestam naquele segmento específico.

B. Arquitetura do Modelo

• Base: O modelo é construído sobre a arquitetura Wan2.1 (base de 1.3B parâmetros), utilizando Flow Matching em vez de difusão tradicional.
• Atenção Cruzada Consciente de Chunk (Chunk-Aware Cross-Attention):
  • Novas camadas de atenção cruzada são inseridas em cada bloco do transformador.
  • RoPE (Rotary Positional Embeddings): Aplica-se RoPE tanto aos tokens de vídeo quanto aos tokens de texto local.
  • Grid 2D: Define-se uma grade de texto onde a primeira dimensão é o índice do chunk e a segunda é a posição intra-chunk. Isso permite que o modelo saiba exatamente a qual segmento temporal cada parte do prompt de física pertence.
  • Isso permite que o modelo atenda a informações físicas locais específicas para cada parte do vídeo, mantendo a coerência global.

C. Inferência com Guia Contrafactual (Counterfactual Guidance)

• Durante a inferência, não há vídeo de entrada para o VLM. Portanto, o VLM gera os prompts locais e os prompts de física baseados apenas no prompt global de texto.
• Prompts Negativos (Contrafactuais): O sistema gera um conjunto de prompts que descrevem explicitamente a violação das leis físicas observáveis naquele chunk (ex: "o carro flutua", "a água sobe contra a gravidade").
• Guia de Classificador Livre (Classifier-Free Guidance - CFG): A geração é guiada usando tanto os prompts positivos (física correta) quanto os negativos (física incorreta). A fórmula de guia combina a geração condicional com a subtração ponderada da geração condicional negativa, "empurrando" o modelo para longe de trajetórias implausíveis.

3. Principais Contribuições

1. Condicionamento Local por Chunk: Introduz um caminho de condicionamento de texto separado que atua em grupos de quadros (chunks), preservando informações temporais locais necessárias para observar leis físicas, sem ser poluído por informações irrelevantes do prompt global.
2. Pipeline de Anotação Automatizado: Criação de prompts de física específicos para cada chunk usando VLMs, alinhando a descrição textual com a dinâmica visual local.
3. Guia Contrafactual Local: Durante a inferência, o uso de prompts que descrevem violações físicas locais para guiar a geração, uma técnica inovadora aplicada em nível de fragmento temporal.
4. Eficiência e Desempenho: Demonstra que é possível obter ganhos significativos em realismo físico com um modelo muito menor (1.7B parâmetros) comparado a modelos massivos (14B+).

4. Resultados

O método foi avaliado nos benchmarks VideoPhy e VideoPhy2, focados em senso comum físico.

• Desempenho Quantitativo:
  • No VideoPhy, o PhysVid (1.7B) superou o modelo base Wan-14B (14B) em ~33% na métrica de Senso Comum Físico (PC).
  • No VideoPhy2, houve uma melhoria de ~8% em relação ao Wan-14B.
  • O PhysVid superou consistentemente modelos maiores (até 14B) e outros métodos state-of-the-art (como WISA, PhyT2V, VideoREPA), mesmo tendo menos de 1/8 dos parâmetros do modelo de comparação mais próximo em tamanho.
• Desempenho Qualitativo:
  • Vídeos gerados mostram melhorias visíveis em interações sólido-fluido (ex: vinho sendo derramado), dinâmica de objetos (ex: carrinhos de skate em superfícies irregulares) e efeitos ópticos (reflexos em água).
  • A ablação mostrou que a remoção do guia contrafactual reduz o desempenho, confirmando a importância dos prompts negativos locais.
• Eficiência: O PhysVid (1.7B) tem uma latência de inferência de ~93 segundos por vídeo, comparado a ~310 segundos do Wan-14B, sendo mais rápido apesar do overhead de geração de prompts.

5. Significado e Impacto

O PhysVid representa um passo significativo rumo a modelos de vídeo fundamentados na física.

• Mudança de Paradigma: Demonstra que a simples escalada de tamanho do modelo não é a única solução para problemas de física; a arquitetura de condicionamento temporal local é crucial.
• Aplicabilidade: Ao extrair física diretamente dos dados de vídeo (em vez de depender apenas de simulações externas ou loss functions complexas), o método é mais generalizável para conjuntos de dados genéricos.
• Relevância para o Futuro: Para que os modelos generativos de vídeo se tornem verdadeiros "simuladores de mundo" úteis em áreas de alto risco (robótica, saúde, sistemas autônomos), a aderência estrita às leis físicas é essencial. O PhysVid oferece uma via eficiente e escalável para alcançar essa aderência.

Em resumo, o PhysVid resolve o problema da "alucinação física" em vídeos gerados ao introduzir uma camada de inteligência física local e temporalmente alinhada, superando modelos muito maiores com uma abordagem arquitetural mais inteligente.