Resumo Técnico: Proprio: Autoavaliação Latente e Refinamento em Tempo de Inferência para Geração de Vídeo Fisicamente Plausível

1. Declaração do Problema

Modelos generativos de vídeo modernos, particularmente arquiteturas baseadas em difusão, alcançaram fidelidade visual notável. No entanto, eles frequentemente violam princípios físicos básicos, produzindo vídeos com colisões irreais, interações de objetos impossíveis ou dinâmicas inconsistentes. Essas falhas limitam sua utilidade como modelos de mundo confiáveis para aplicações subsequentes, como robótica e simulação.

As soluções existentes para este problema geralmente dependem de mecanismos de feedback externo:

• Intervenções no tempo de treinamento: Injeção de priores físicos ou uso de conjuntos de dados curados (ex: [35, 24]).
• Avaliadores externos no tempo de inferência: Uso de Modelos Visão-Linguagem (VLMs) ou modelos de mundo latentes pré-treinados (ex: V-JEPA [37, 41]) para pontuar ou guiar a geração.

Os autores identificam duas limitações críticas no paradigma de feedback externo:

1. Viés e Desalinhamento: VLMs frequentemente confundem plausibilidade física com alinhamento texto-imagem ou estética visual. Modelos de mundo pré-treinados operam em seus próprios espaços de representação, criando uma incompatibilidade com o espaço latente do gerador.
2. Falta de Consistência Intrínseca: Avaliadores externos são treinados com objetivos diferentes e não se alinham às dinâmicas específicas de remoção de ruído do gerador, potencialmente perdendo inconsistências específicas do gerador através das etapas de amostragem.

O artigo postula uma questão central: Um gerador de vídeo pode aproveitar suas próprias dinâmicas de remoção de ruído como um sinal autocontido para avaliar e melhorar a plausibilidade física de suas saídas?

2. Metodologia: Proprio

Os autores propõem Proprio, um framework sem treinamento e em tempo de inferência que permite que um gerador de vídeo congelado avalie e refine suas próprias saídas. Inspirado na propriocepção biológica (o senso do próprio movimento), o método trata o resíduo de fluxo interno do modelo sob perturbações controladas como um sinal de autoavaliação.

2.1 Conceito Central: Resíduos de Fluxo como Autoavaliação

O método baseia-se na observação de que amostras consistentes com a distribuição aprendida pelo gerador (ou seja, dinâmicas naturais) devem induzir resíduos menores e mais estáveis quando perturbadas.

• Perturbação: Para um vídeo latente gerado $z_0$, o método constrói latentes perturbados $z_t$ em vários passos de agendamento $t$ usando ruído controlado $\epsilon$.
• Cálculo do Resíduo: O modelo prevê um campo de fluxo $\hat{v}_\theta(z_t, t, c)$. O transporte alvo é $v^*(z_0, \epsilon) \approx \epsilon - z_0$. O resíduo de fluxo é a discrepância:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• Pontuação: A norma quadrada deste resíduo serve como uma pontuação local. Resíduos menores indicam que o modelo pode "explicar" melhor a amostra sob perturbação, implicando maior plausibilidade física.

2.2 Agregação de Sinal e Refinamento

Para criar uma pontuação robusta, o Proprio agrega resíduos através de múltiplas dimensões:

1. Múltiplas Perturbações e Múltiplos Passos de Tempo: A pontuação é média sobre múltiplas realizações de ruído e passos de tempo para reduzir a sensibilidade a instâncias específicas de ruído.
2. Ponderação por Variância Inversa: Passos de tempo com alta variância nos resíduos (estimativas instáveis) são subponderados, enquanto passos de tempo estáveis são priorizados.
3. Mascaramento Espaciotemporal Dinâmico: Uma máscara $\mathcal{M}$ é aplicada para focar a pontuação em regiões relevantes para o movimento, filtrando o ruído de fundo estático que é menos informativo para a plausibilidade física. Três estratégias de mascaramento são exploradas:
   • Máscara de Movimento: Baseada em diferenças temporais em quadros decodificados.
   • Máscara Consciente de Texto: Baseada em mudanças de atenção cruzada entre tokens latentes e prompts.
   • Máscara Baseada em Atenção: Baseada em mudanças nas características de autoatenção.

2.3 Estratégias em Tempo de Inferência

O Proprio utiliza a pontuação computada $S(z_0)$ em dois modos principais:

1. Busca Best-of-N: Gere $N$ latentes candidatos e selecione aquele com a menor auto-pontuação.
2. Auto-Refinamento: Em vez de retreinar o gerador, o método otimiza o ruído de amostragem inicial. Ele parametriza o ruído como $\zeta = \mu + \sigma \odot \zeta_0$ (onde $\zeta_0$ é o ruído base) e usa descida de gradiente para atualizar $\mu$ e $\sigma$ para minimizar a pontuação Proprio. Um regularizador de divergência KL garante que o ruído otimizado permaneça próximo ao prior gaussiano original.

3. Contribuições Principais

1. Autoavaliação Nativa do Gerador: Introdução de um framework sem treinamento que reutiliza o resíduo de remoção de ruído de um gerador congelado como um proxy intrínseco para plausibilidade física, eliminando a necessidade de modelos de recompensa externos.
2. Autoalinhamento em Tempo de Inferência: Um mecanismo para transformar essa auto-pontuação em um objetivo de otimização, refinando as saídas atualizando apenas os parâmetros de ruído inicial enquanto mantém os pesos do gerador fixos.
3. Validação Empírica: Demonstração de melhorias consistentes em benchmarks de Texto-para-Vídeo (T2V) e Imagem-para-Vídeo (I2V), mostrando que um único gerador congelado pode atuar como amostrador e autoavaliador.

4. Resultados Experimentais

Os autores avaliam o Proprio nos benchmarks VideoPhy2 (T2V) e Physics-IQ (I2V), comparando com seleção aleatória, pontuadores baseados em VLM (Qwen-7B) e baselines de modelos de mundo externos (WMReward).

• Ganhos de Desempenho:

  • No TurboWan2.2, o Proprio melhora o Physics-IQ de 32,2 para 37,5 (+16,5%) e o senso comum físico difícil do VideoPhy2 de 45,6 para 55,0 (+20,6%).
  • O Proprio supera consistentemente a pontuação baseada em VLM e frequentemente supera o WMReward, particularmente em métricas de senso comum físico (PC).
  • Uma abordagem de pontuação híbrida (combinando pontuações globais e conscientes de movimento) fornece o equilíbrio mais robusto entre adesão semântica e consistência física.

• Avaliação Humana:

  • Em comparações em pares, avaliadores humanos preferiram vídeos selecionados ou refinados pelo Proprio para plausibilidade física em aproximadamente 67% dos casos.
  • A qualidade visual foi amplamente preservada, com avaliadores não mostrando preferência forte contra a baseline em muitos casos, indicando que as melhorias não são às custas da estética.

• Insights de Ablação:

  • Níveis de Ruído: Os sinais de pontuação mais informativos surgem de ruído de nível médio (0,3–0,6 dos passos de amostragem). Ruído baixo é muito local, enquanto ruído alto perde a estrutura específica da amostra.
  • Ponderação por Variância: A ponderação por variância inversa melhora significativamente o desempenho em modelos não destilados, priorizando passos de tempo estáveis.
  • Busca vs. Refinamento: A busca (Best-of-N) é altamente eficaz para T2V devido à alta diversidade de cenas. Para I2V, onde os candidatos estão ancorados à mesma imagem, o refinamento desempenha um papel mais dominante.

5. Significado e Alegações

O artigo afirma que geradores de vídeo congelados contêm sinais internos acionáveis para avaliar e melhorar a plausibilidade física. Ao reinterpretar os próprios resíduos de fluxo do modelo como um sinal de preferência de verossimilhança, o Proprio demonstra que:

• Avaliadores externos não são estritamente necessários para alinhamento físico; as dinâmicas internas do gerador são suficientes.
• A escalabilidade em tempo de inferência (busca e refinamento) pode produzir ganhos substanciais sem retreinamento.
• O método oferece uma mudança de perspectiva: sistemas futuros podem explorar cada vez mais sinais internos do gerador para autoavaliação, em vez de depender exclusivamente de supervisão externa ou modelos de recompensa auxiliares.

Limitações Reconhecidas:

• O Proprio é limitado pelo conhecimento codificado no gerador base; não pode recuperar dinâmicas que o modelo não aprendeu.
• Aumenta o custo de inferência devido à necessidade de múltiplas etapas de pontuação de candidatos e refinamento.
• O refinamento baseado em gradiente atualmente depende de modelos destilados para viabilidade computacional, pois a retropropagação através de longas trajetórias de remoção de ruído em modelos grandes permanece cara.