Resumo Técnico: Flex-Forcing

Declaração do Problema

Os métodos atuais de geração de vídeo são limitados por um paradigma de inferência rígido, forçando uma escolha entre dois abordagens dominantes:

1. Modelos de Difusão Bidirecionais: Estes utilizam atenção de contexto total para modelar todos os frames conjuntamente, alcançando alta fidelidade visual e forte coerência temporal de longo alcance (ex: movimento de câmera, transições de cena). No entanto, sofrem com alto custo computacional e inferência lenta, limitando sua escalabilidade para geração de vídeos longos ou em tempo real.
2. Modelos Autoregressivos: Estes geram frames sequencialmente usando condicionamento causal e cache de KV, permitindo inferência eficiente, em streaming e em tempo real. Contudo, a falta de contexto global durante a geração leva ao acúmulo de erros, causando deriva na aparência de objetos e no movimento, o que resulta em uma consistência temporal global mais fraca.

O trabalho existente tipicamente otimiza para um paradigma enquanto compromete o outro, carecendo de um mecanismo unificado para realizar conjuntamente as vantagens de ambos dentro de um único framework.

Metodologia: Flex-Forcing

Os autores propõem o Flex-Forcing, um framework unificado de treinamento e inferência que permite que um único modelo de difusão de vídeo opere perfeitamente sob regimes bidirecionais, autoregressivos ou híbridos. A inovação central reside em um mecanismo de Chunking Flexível definido sobre dois eixos ortogonais:

1. Estratégia de Chunking Flexível

• Eixo Temporal (Chunking de Frames): O vídeo é particionado em chunks contíguos de tamanhos variados. Dentro de um chunk, os frames são modelados bidirecionalmente (atenção total). Entre os chunks, a geração permanece autoregressiva (condicionada aos chunks anteriores). Isso permite que o modelo adapte a granularidade do chunk para diferentes orçamentos de dispositivos e comprimentos de vídeo.
• Eixo de Timestep de Denoising: A estratégia de chunking é dinâmica através da trajetória de denoising. Nos passos iniciais (ruído alto), utiliza-se chunks maiores para capturar a estrutura global, enquanto nos passos posteriores de refinamento (ruído baixo), utilizam-se chunks menores para focar em detalhes locais. Isso cria uma estrutura hierárquica, do tipo piramidal, onde o tamanho do chunk diminui conforme os níveis de ruído caem.

2. Objetivo de Treinamento

O framework treina um único modelo para lidar com contextos mistos causais e não-causais através de:

• Stochastic Chunking: Durante o treinamento, o modelo é exposto a partições de chunks aleatórias, variando de estritamente causais (frame a frame) até totalmente bidirecionais. Isso é alcançado via um pipeline de destilação assimétrica (inspirado em CausVid e Self-Forcing) que injeta causalidade enquanto preserva as capacidades de atenção não-causal.
• Alinhamento de Nível de Ruído (K-Projection): Um desafio crítico surge porque o mesmo token de consulta pode atender a estados de chave-valor de diferentes níveis de ruído (tokens passados limpos vs. tokens futuros ruidosos). A autoatenção padrão trata esses elementos uniformemente, causando degradação de desempenho. Os autores introduzem uma K-Projection, uma projeção linear leve e dependente do timestep que mapeia estados de chave limpos de frames passados para o espaço latente "ruidoso" do timestep atual. Isso garante que todas as chaves atendidas residam em um espaço de representação de ruído consistente, estabilizando a inferência flexível.

3. Flexibilidade de Inferência

No momento do teste, o modelo treinado pode ser configurado para:

• Operar em Modo Bidirecional para máxima consistência global.
• Operar em Modo Autoregressivo para máxima eficiência e streaming.
• Operar em Modo Híbrido, ajustando tamanhos de chunk e dependências de nível de ruído para encontrar uma fronteira de Pareto ideal entre qualidade e velocidade.

Principais Contribuições

1. Framework Unificado: A primeira abordagem a demonstrar que os paradigmas bidirecional e autoregressivo podem coexistir dentro de um único modelo treinado, permitindo o controle do regime de inferência no momento do teste.
2. Chunking Flexível e Alinhamento: A introdução de chunking flexível tanto sobre frames temporais quanto sobre passos de denoising, aliado a um objetivo consistente entre treino e teste e ao mecanismo de K-Projection para unir diferentes contextos causais.
3. Edição de Qualquer Ordem, Qualquer Timestep: Aproveitando o framework unificado, os autores possibilitam novas capacidades de edição:
   • Edição de Qualquer Timestep: Restringindo edições a timesteps de refinamento de baixo nível enquanto preserva o planejamento de alto nível, desacoplando a estrutura global dos detalhes locais.
   • Edição de Qualquer Ordem: Condicionar em tokens limpos passados e futuros permite que segmentos temporais arbitrários sejam reeditados após a geração de todo o vídeo.

Resultados Experimentais

Experimentos extensivos foram conduzidos em benchmarks de vídeos de 5 e 30 segundos (usando Wan2.1 como base).

• Compromisso Desempenho-Eficiência: O Flex-Forcing alcança uma fronteira de Pareto marcadamente melhorada em comparação com baselines como o Self-Forcing. Ele supera consistentemente os modelos causais em qualidade, oferecendo uma inferência mais rápida que os modelos bidirecionais rígidos.
• Vídeos de 5 Segundos: Em configurações correspondentes ao baseline (1.3B de parâmetros), o Flex-Forcing alcançou pontuações VBench mais altas (ex: 85.07 vs. 84.31 para o Self-Forcing) e maior FPS (25.8 vs. 24.9). Também superou modelos de difusão destilados de poucos passos.
• Vídeos de 30 Segundos: Em benchmarks de vídeos longos, o Flex-Forcing superou o Infinity-RoPE e o Self-Forcing na maioria das métricas, particularmente em Grau Dinâmico (Dynamic Degree) e Suavidade de Movimento (Motion Smoothness), demonstrando planejamento de longo horizonte superior e redução no acúmulo de erros.
• Preferência do Usuário: Estudos de usuário indicaram uma forte preferência pelo Flex-Forcing em relação ao Self-Forcing tanto em qualidade visual quanto em alinhamento de prompt para vídeos de 5s e 30s.
• Ablação: Foi demonstrado que a K-Projection é essencial; sem ela, o desempenho degradava significativamente conforme os tamanhos de chunk aumentavam, enquanto com ela, o desempenho permanecia estável e melhorava.

Significância e Alegações

O artigo afirma que o Flex-Forcing reformula a geração bidirecional e autoregressiva não como paradigmas concorrentes, mas como dimensões de inferência controláveis que podem ser ajustadas suavemente conforme os requisitos. Ao unificar essas abordagens, o método:

• Reduz o custo computacional e a pegada ambiental de manter arquiteturas especializadas separadas.
• Democratiza a geração de vídeo de alta fidelidade e longa duração para ambientes com recursos limitados, permitindo trocas dinâmicas de velocidade-qualidade em tempo de execução.
• Fornece ferramentas de edição localizadas e precisas (qualquer ordem, qualquer timestep) para aplicações criativas e industriais, promovendo sistemas generativos adaptativos.

Os autores reconhecem limitações, observando que, embora a restrição estrita da esquerda para a direita seja relaxada, o descompasso entre treinamento e inferência ainda pode acumular erros em vídeos muito longos, e a eficácia do método depende fortemente de priors de pré-treinamento (especificamente codificação bidirecional).