DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

Título: DiReCT: Regularização Desentrelaçada de Trajetórias Contrastivas para Geração de Vídeo Refinada pela Física

1. O Problema: Entrelaçamento Semântico-Físico e Falhas de Física

Os geradores de vídeo baseados em Flow Matching (correspondência de fluxo) produzem saídas de alta fidelidade e coerência temporal, mas frequentemente violam leis físicas elementares (ex: objetos colidindo e atravessando-se, gravidade inconsistente).

• Causa Raiz: O objetivo de reconstrução padrão penaliza desvios quadro a quadro sem distinguir entre dinâmicas fisicamente consistentes e impossíveis.
• O Obstáculo Específico: Em geração de vídeo condicionada por texto, existe um entrelaçamento semântico-físico. Prompts naturais descrevem tanto o conteúdo da cena (o que) quanto o comportamento físico (como).
• Falha do Contraste Tradicional: Métodos contrastivos anteriores (como $\Delta$FM) tentam empurrar trajetórias de diferentes condições para longe umas das outras. No entanto, em texto, uma amostra negativa aleatória frequentemente compartilha muita estrutura de campo de velocidade com a amostra positiva (devido à proximidade semântica). Isso cria um conflito de gradiente: o gradiente contrastivo opõe-se diretamente ao gradiente de correspondência de fluxo, degradando o desempenho em vez de melhorá-lo.

2. Metodologia: DiReCT

O DiReCT (Disentangled Regularization of Contrastive Trajectories) é um framework de post-training (pós-treinamento) leve que resolve esse conflito através de uma aprendizagem contrastiva multi-escala consciente do entrelaçamento no espaço de velocidade.

O método decompõe o objetivo contrastivo em duas escalas complementares:

A. Aprendizado Contrastivo Macro (MaNS - Macro-Contrastive Negative Sampling)

• Objetivo: Separação global de trajetórias sem interferência.
• Mecanismo: O espaço de prompts é particionado em $K$ regiões semânticas coerentes (usando k-means em embeddings de texto). Para uma amostra positiva, as negativas são amostradas exclusivamente de partições diferentes.
• Benefício: Garante que a diferença de velocidade ($\delta$) entre positivo e negativo seja grande, evitando o conflito de gradiente e estabelecendo uma estrutura global clara no campo de velocidade.

B. Aprendizado Contrastivo Micro (MiNS - Micro-Contrastive Hard Negatives)

• Objetivo: Distinção física de alta granularidade entre cenas semanticamente similares.
• Mecanismo: Constrói "negativos difíceis" que mantêm a semântica da cena (objetos, cenário) mas alteram apenas um eixo físico controlado. Um LLM (Qwen2.5-7B) perturba o prompt original em uma das cinco dimensões físicas:
  1. Cinemática: Perfil de tempo do movimento (ex: súbito vs. gradual).
  2. Forças: Direção ou tipo de força dominante (ex: flutuação vs. queda).
  3. Material: Propriedade da substância (ex: viscosidade, elasticidade).
  4. Interação: Resposta ao contato (ex: quicar vs. grudar).
  5. Magnitude: Intensidade escalar (ex: gota vs. jato).
• Geração: O modelo base gera o vídeo a partir do prompt perturbado. O modelo DiReCT aprende a empurrar a trajetória de velocidade para longe dessa violação física específica, mesmo que a semântica seja idêntica.

C. Regularização de Ancoragem Distribucional

• Para evitar o "esquecimento catastrófico" da qualidade visual pré-treinada, é adicionada uma penalidade KL (ou perda de distância) no espaço de velocidade contra uma cópia congelada do modelo pré-treinado. Isso mantém o modelo próximo da variedade de geração original enquanto refina a física.

Função de Perda Total:
Combina a perda de Flow Matching padrão, os termos contrastivos macro e micro, e a ancoragem distribucional:
$$\mathcal{L} = \mathcal{L}_{\text{FM}} - \lambda_{\text{rand}}\mathcal{L}_{\text{MaNS}} - \lambda_{\text{hard}}\mathcal{L}_{\text{MiNS}} + \lambda_{\text{anc}}\mathcal{L}_{\text{anchor}}$$

3. Contribuições Principais

1. Formalização do Conflito de Gradiente: O artigo identifica e prova matematicamente que o contraste ingênuo falha em condicionamento de texto rico devido ao entrelaçamento semântico-físico, estabelecendo uma condição precisa para quando o contraste ajuda ou prejudica.
2. Framework DiReCT: Uma solução de pós-treinamento leve que não aumenta o tempo de treinamento significativo (comparado ao SFT padrão) e não requer simuladores físicos externos ou anotações humanas detalhadas.
3. Separação Multi-Escala: A decomposição em MaNS (para separação global) e MiNS (para distinção física fina) resolve o dilema entre separar conceitos visuais e distinguir comportamentos físicos.

4. Resultados Experimentais

O método foi aplicado ao modelo Wan 2.1-1.3B e avaliado em benchmarks de física:

• VideoPhy (Compreensão Física):
  • Melhoria de 16.7% na pontuação de "Common Sense Físico" (PC) em relação à linha de base (Zero-shot).
  • Melhoria de 11.3% em relação ao Supervised Fine-Tuning (SFT) padrão.
  • Pontuação média (AVG) de 44.71%, superando modelos muito maiores.
• WorldModelBench (Avaliação de Modelos de Mundo):
  • Alcançou a maior pontuação total (5.68) entre todos os modelos comparados.
  • Superou o CogVideoX-5B (que tem 3.8x mais parâmetros, pontuando 5.33) e o Mochi (10B parâmetros, pontuando 4.91).
  • Destaque na aderência a leis físicas como conservação de massa e não-penetração.
• Eficiência: O método não aumenta o tempo de treinamento por iteração em comparação ao SFT, pois as negativas difíceis são pré-computadas e não exigem passagens forward adicionais durante o treino (ao contrário de métodos baseados em DPO).

5. Significado e Impacto

O DiReCT demonstra que é possível melhorar drasticamente o realismo físico em geradores de vídeo sem escalar massivamente o tamanho do modelo ou depender de simuladores físicos complexos.

• Mudança de Paradigma: Em vez de apenas reconstruir pixels, o modelo aprende a distinguir dinâmicas físicas plausíveis de implausíveis através de um sinal contrastivo estruturado.
• Generalização: A abordagem é generalizável para diversas categorias de interação (colisões, fluidos, gravidade) sem necessidade de dados rotulados por fenômeno específico.
• Viabilidade: Prova que o refinamento direcionado da física via post-training é mais eficiente do que simplesmente aumentar o número de parâmetros para obter modelos de mundo mais precisos.

Em resumo, o DiReCT resolve o problema fundamental de como ensinar "física" a modelos de IA generativa que já entendem "semântica", utilizando uma estratégia inteligente de amostragem negativa que evita conflitos de aprendizado.