Resumo Técnico: MILLIVID

Declaração do Problema

Modelos generativos de vídeo alcançaram avanços significativos em realismo e escala, mas lutam com a consistência de longo alcance. Gerar vídeos que permaneçam coerentes do início ao fim é difícil porque manter um contexto temporal longo exige comprimentos de sequência de transformer impaticavelmente longos. As abordagens autorregressivas atuais geram vídeos em blocos (chunks), onde o bloco mais recente serve como contexto para o próximo. À medida que os blocos mais antigos saem da janela de contexto, seu conteúdo é esquecido, levando a inconsistências na geometria e na permanência de objetos.

Aumentar o comprimento do contexto é computacionalmente proibitivo devido à escala quadrática dos custos do transformer em relação ao comprimento da sequência. Métodos recentes como o FramePack tentam mitigar isso alocando menos tokens para quadros de contexto distantes, mas os autores observam que essa abordagem sozinha falha em recordar conteúdo que sai do quadro da câmera, mesmo que esse conteúdo permaneça dentro do contexto comprimido.

Metodologia

O artigo apresenta o MILLIVID, um modelo generativo de vídeo baseado em difusão projetado para maximizar a consistência de longo alcance sob uma restrição de comprimento de sequência fixa. A abordagem consiste em dois componentes primários:

1. Autoencoding Hierárquico

Os autores treinam um autoencoder que comprime cada quadro de vídeo em um hierarquia de tokens latentes, em vez de uma representação plana única.

• Estrutura: O codificador processa uma pirâmide de imagem de múltiplas resoluções. Em cada nível $\ell$, a imagem é segmentada em $N_\ell$ tokens, onde a resolução cai pela metade em cada nível mais grosseiro ($N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$).
• Distribuição de Informação: Os níveis mais grosseiros (com menos tokens) capturam a estrutura e semântica global da cena, enquanto os níveis mais finos adicionam aparência e textura de alta frequência.
• Treinamento: O autoencoder é treinado para reconstruir a pirâmide de resolução total a partir de um único nível amostrado aleatoriamente. O decodificador deve reconstruir toda a cascata de resolução baseando-se nos tokens daquele nível específico.
• Vantagem: Diferente do simples downsampling ou mean-pooling usado em modelos em cascata, este tokenizador hierárquico aprendido preserva detalhes estruturais relevantes mesmo em altos níveis de compressão, evitando reconstruções borradas.

2. Geração de Rollout de Coarse-to-Fine (Grosseiro para Fino)

Um modelo de difusão de vídeo é treinado neste espaço latente hierárquico usando uma nova estratégia de rollout coarse-to-fine.

• Restrição: O modelo opera sob um comprimento de sequência de transformer fixo $S$.
• Estratégia: Em vez de gerar quadros de resolução total de forma autorregressiva (o que limita o número de quadros de contexto), o modelo gera primeiro uma sequência longa de quadros altamente comprimidos (grosseiros). Ele então refina progressivamente esses quadros para escalas mais finas.
• Gestão de Contexto: Crucialmente, o processo de geração garante que o contexto sempre inclua o quadro mais recente de maior resolução e os quadros futuros gerados apenas até níveis mais grosseiros. Isso evita inconsistências (por exemplo, uma placa lendo "pare" em uma visão grosseira, mas "siga" em uma visão refinada) ao garantir que o modelo resolva a incerteza simultaneamente através da resolução e do tempo.
• Treinamento: O modelo é treinado para realizar a denoização de tokens condicionados a tokens de contexto limpos através de diferentes níveis hierárquicos. Codificações posicionais de nível, quadro, linha e coluna permitem que um único modelo lide com todos os passos de rollout.

Principais Contribuições

1. Autoencoding Hierárquico para Vídeo: Os autores demonstram que treinar um autoencoder com um espaço latente hierárquico produz uma compressão que preserva melhor os detalhes relevantes em comparação com o downsampling ou a segmentação padrão.
2. Rollout Coarse-to-Fine: Eles introduzem uma estratégia de geração que aproveita o espaço hierárquico para trocar detalhe por horizonte temporal. Ao gerar muitos quadros grosseiros primeiro, o modelo pode cobrir um contexto temporal muito mais longo dentro de um orçamento de tokens fixo.
3. Consistência de Longo Alcance Superior: O artigo mostra que esta abordagem produz rollouts significativamente mais consistentes em comparação com baselines de estado da arte como FramePack e rollout de resolução total, sem sacrificar a qualidade por quadro.

Resultados

O método foi avaliado no LOOPCRAFT, um conjunto de dados customizado de vídeos de jogabilidade de Minecraft de 1024 quadros, projetado para testar a memória (conteúdo saindo e reentrando no quadro).

• Métricas de Consistência: O MILLIVID superou significativamente os baselines (FramePack e Full-Resolution Rollout) em horizontes curtos, médios e longos (quadros 1–768).
  • PSNR: 16.69 (longo) vs. 11.98 (FramePack) e 11.02 (Full-Res).
  • LPIPS: 0.335 (longo) vs. 0.533 (FramePack) e 0.630 (Full-Res).
  • Matches LightGlue: 62.4 (longo) vs. 7.0 (FramePack) e 5.0 (Full-Res).
• Métricas de Qualidade: O método manteve qualidade comparável (FVD e FID) aos baselines, demonstrando que os ganhos em consistência não vieram às custas da fidelidade visual.
• Estudos de Ablação:
  • Substituir o tokenizador hierárquico aprendido por uma abordagem em cascata (mean-pooled) resultou em pior consistência e qualidade.
  • Aplicar o espaço latente hierárquico à arquitetura FramePack não melhorou o desempenho, sugerindo que o benefício advém da interação específica entre a hierarquia aprendida e a estratégia de rollout coarse-to-fine.
  • Uma variante "espelhada" do FramePack (prevendo alvos de longo alcance grosseiros) mostrou melhoria na consistência, apoiando a hipótesia de que modelos forçados a prever mais longe no futuro aprendem a utilizar melhor o contexto distante.

Significância e Alegações

O artigo argumenta que a consistência de longo alcance na geração de vídeo requer um compromisso fundamental: dado um comprimento de sequência fixo, deve-se decidir qual informação reter. O MILLIVID propõe que a estrutura grosseira (layout da cena, semântica) deve ser preservada ao longo de longos períodos de tempo, enquanto os detalhes finos (texturas) podem ser esquecidos ou gerados posteriormente.

Ao aprender uma hierarquia de coarse-to-fine e alocar explicitamente o orçamento de tokens do transformer para priorizar muitos quadros grosseiros passados sobre poucos quadros finos recentes, o modelo alcança ganhos dramáticos na recuperação da estrutura de cena 3D ao longo de centenas de quadros. Os autores afirmam que este é um passo significativo para aplicações que exigem coerência temporal longa, como modelagem de mundo e robótica, sem depender de mecanismos de recuperação externos ou mapas 3D explícitos.

Os autores observam limitações, especificamente que o método não foi projetado para o ajuste fino direto de modelos de difusão de vídeo pré-treinados padrão e requer aproximadamente 33% mais passos de rollout que o FramePack. No entanto, eles posicionam que o compromisso pelo aumento dramático na consistência vale a pena.