FlowC2S: Flowing from Current to Succeeding Frames for Fast and Memory-Efficient Video Continuation

Resumo Técnico: FlowC2S

1. O Problema

A continuação de vídeo (video continuation) visa gerar uma sequência de frames plausível e coerente a partir de um segmento de vídeo existente. Embora métodos recentes baseados em difusão e fluxo tenham melhorado a qualidade da geração, eles enfrentam desafios significativos:

• Alto Custo Computacional e de Memória: Os métodos atuais (como LTXVCondition e CausVid) condicionam o modelo nos frames de entrada e utilizam ruído gaussiano adicional para gerar o futuro. Isso exige que o modelo processe simultaneamente os frames condicionais e o ruído de saída, dobrando a dimensionalidade da entrada e aumentando drasticamente o uso de memória GPU.
• Inferência Lenta: A geração de vídeo de alta qualidade geralmente requer muitas avaliações de funções neurais (NFEs), o que impede aplicações em tempo real, como em ambientes de Realidade Aumentada/Virtual (AR/VR) que exigem baixa latência.
• Coerência Temporal vs. Fidelidade Visual: Manter a consistência semântica e o movimento suave enquanto preserva detalhes nítidos é difícil, especialmente com poucos passos de amostragem.

2. Metodologia: FlowC2S

O FlowC2S propõe uma mudança de paradigma: em vez de mapear de "ruído + frames atuais" para "frames futuros", o modelo aprende um campo vetorial que flui diretamente dos frames atuais para os frames subsequentes.

A abordagem baseia-se em três pilares principais:

• Fluxo Direto (Current-to-Succeeding):

  • O modelo é ajustado (fine-tuned) a partir de um modelo pré-treinado de texto-para-vídeo (como LTXV ou Wan).
  • A distribuição inicial não é mais uma distribuição normal multivariada (ruído), mas sim a distribuição empírica dos frames atuais (observados).
  • O objetivo é aprender a transformação direta entre o chunk de entrada ($x_0$) e o chunk de saída ($x_1$).
  • Benefício: Isso reduz a dimensionalidade da entrada do modelo pela metade, pois elimina a necessidade de injetar ruído de dimensão igual à saída junto com os frames condicionais.

• Acoplamentos Ótimos Inerentes (Inherent Optimal Couplings - OC):

  • Para treinar o modelo de fluxo, é necessário parear amostras de entrada e saída. Calcular acoplamentos ótimos reais em espaços de alta dimensão é computacionalmente inviável.
  • O FlowC2S utiliza uma aproximação prática: fragmentos de vídeo temporalmente adjacentes do mesmo vídeo são tratados como acoplamentos ótimos inerentes.
  • Benefício: Isso cria trajetórias de fluxo mais retas, permitindo que o modelo convirja mais rápido e gere resultados de alta qualidade com muito menos passos de amostragem (NFEs) durante a inferência.

• Inversão de Alvo (Target Inversion - TI):

  • Para corrigir a discrepância entre a distribuição de entrada (frames atuais) e o objetivo de um modelo pré-treinado (que espera ruído), o método introduz a Inversão de Alvo.
  • Utiliza-se um solver de inversão (RF-Solver) para recuperar um latente invertido ($\hat{x}_1$) a partir do frame alvo real ($x_1$). Durante o treinamento, com certa probabilidade, esse latente invertido é injetado na representação de entrada.
  • Benefício: Isso fortalece as correspondências entre entrada e saída, melhorando a fidelidade visual e a qualidade perceptual.

3. Contribuições Principais

1. Eficiência de Memória (2x): Ao eliminar o ruído da entrada e fluir diretamente de $x_0$ para $x_1$, o método reduz a dimensionalidade da entrada em 50%, resultando em uma redução de aproximadamente 50% no pico de memória GPU em comparação com métodos baseados em LTXVCondition.
2. Inferência Ultra-Rápida: Graças aos acoplamentos ótimos inerentes que geram trajetórias de fluxo mais retas, o FlowC2S atinge resultados de ponta com apenas 5 a 10 NFEs (avaliações de função neural), superando métodos que exigem 40 ou mais passos.
3. Qualidade Visual Superior: A combinação de fine-tuning a partir de modelos grandes, acoplamentos ótimos e inversão de alvo resulta em continuações de vídeo com alta coerência temporal e detalhes nítidos, superando o estado da arte em métricas quantitativas (FID e FVD).
4. Generalização: O método demonstra capacidade de generalizar para durações de vídeo maiores do que aquelas vistas durante o treinamento (ex: treinar com chunks de 17/41 frames e gerar continuação de 113 frames).

4. Resultados Experimentais

Os autores avaliaram o FlowC2S nos conjuntos de dados OpenVid e NuScenes, utilizando backbones LTXV (2B) e Wan (1.3B).

• Métricas Quantitativas:
  • O modelo baseado em LTXV superou o LTXVCondition em FID e FVD, exigindo 4 vezes menos NFEs.
  • O modelo baseado em Wan superou o CausVid com a mesma quantidade de NFEs, mas com metade da dimensionalidade de entrada.
  • Redução significativa no custo de memória GPU (o coeficiente de escala de memória $k$ foi reduzido pela metade).
• Avaliação Visual e Humana:
  • Estudos de preferência humana mostraram uma preferência de 3 vezes pelos resultados que utilizam a Inversão de Alvo (TI) em comparação com os que não utilizam.
  • Os vídeos gerados mantêm a coerência semântica e o movimento lógico (ex: zooms de câmera, movimento de barcos) sem necessidade de condicionamento temporal explícito adicional.
• Ablação:
  • Treinar do zero sem fine-tuning ou sem os acoplamentos ótimos/inversão resultou em artefatos visuais e perda de coerência.
  • O uso de chunks de vídeo múltiplos (em vez de frames únicos) foi essencial para capturar a estrutura temporal.

5. Significado e Impacto

O FlowC2S representa um avanço significativo na viabilidade de geração de vídeo em tempo real e em dispositivos com recursos limitados (como edge devices para AR/VR). Ao reduzir drasticamente a memória necessária e o número de passos de inferência, o método torna possível a geração contínua de vídeo com baixa latência, algo crítico para aplicações interativas.

Além disso, a metodologia de "fluir diretamente de atual para futuro" oferece um novo paradigma para modelos generativos de vídeo, demonstrando que a eliminação do ruído de entrada e o uso de acoplamentos estruturados podem levar a eficiências sem precedentes sem sacrificar a qualidade.

Limitações e Futuro:
O método atualmente lida melhor com cenas contínuas e evita transições abruptas de cena (devido ao pré-processamento do dataset). Trabalhos futuros visam treinar com chunks de tamanhos heterogêneos e adicionar controle explícito (como trajetórias de câmera ou mapas de profundidade) para maior direcionamento do usuário.