Consistency-Preserving Diverse Video Generation

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é um diretor de cinema com um orçamento muito apertado. Você só pode pagar por quatro filmes para testar uma ideia nova. O seu grande dilema é: você quer que esses quatro filmes sejam totalmente diferentes entre si (para ver qual estilo o público prefere), mas, ao mesmo tempo, cada filme individual precisa fazer sentido do início ao fim, sem que os atores "pulem" de um lugar para outro ou que a cor da roupa mude magicamente a cada segundo.

Até hoje, tentar fazer isso era como tentar segurar água com as mãos: quanto mais você tentava forçar a diversidade, mais os filmes ficavam "quebrados" e sem consistência.

Este artigo apresenta uma solução inteligente para esse problema. Vamos explicar como funciona, usando analogias do dia a dia:

1. O Problema: O "Cinema de Baixo Orçamento"

Gerar vídeos com Inteligência Artificial é caro e lento. Por isso, as empresas geralmente geram apenas um ou dois vídeos por vez. Mas, para ter sorte e encontrar o melhor resultado, é melhor gerar um "pacote" de vídeos diferentes ao mesmo tempo.

O problema é que os métodos antigos, ao tentar fazer os vídeos ficarem muito diferentes uns dos outros, estragavam a continuidade de cada um. Era como se, no meio de uma cena, o personagem mudasse de cor ou o cenário pulasse para frente no tempo. Além disso, corrigir isso exigia um poder de computação gigantesco (como tentar calcular a trajetória de cada grão de areia de uma praia inteira).

2. A Solução: O "Maestro da Diversidade"

Os autores criaram um novo sistema que atua como um maestro regendo uma orquestra. O objetivo é garantir que cada músico (cada vídeo) toque uma música diferente (diversidade), mas que nenhum músico toque uma nota fora de tempo (consistência temporal).

Aqui está o segredo do método, dividido em três passos simples:

A. O Mapa Secreto (Espaço Latente)

Normalmente, para verificar se um vídeo está bom, a IA precisa "desenhar" o vídeo completo e depois analisá-lo. Isso é lento e pesado.

A analogia: Imagine que, em vez de desenhar um quadro inteiro para ver se as cores combinam, você olha apenas para a paleta de cores e os rascunhos antes de pintar.
O que eles fizeram: Eles criaram modelos leves que trabalham apenas com os "rascunhos" (chamados de latentes) antes do vídeo final ser gerado. Isso economiza muita energia e tempo.

B. Empurrar para Longe (Diversidade)

Para garantir que os 4 vídeos sejam diferentes, o sistema aplica um "empurrão" matemático para afastar as ideias uns dos outros.

A analogia: É como se você tivesse 4 amigos em uma sala e dissesse: "Vocês precisam ficar em cantos diferentes para não se chocarem".

C. O Freio Inteligente (Preservação da Consistência)

Aqui está a mágica. Às vezes, esse "empurrão" para afastar os amigos faz com que um deles tropece e caia (o vídeo fica sem sentido).

O que o sistema faz: Ele tem um "freio de mão" inteligente. Antes de aplicar o empurrão, ele pergunta: "Se eu fizer isso, o vídeo vai quebrar?"
- Se a resposta for sim, ele corta apenas a parte do empurrão que causaria o problema.
- Se a resposta for não, ele deixa o empurrão acontecer.
Resultado: Os vídeos continuam diferentes entre si, mas nenhum deles "quebra" a lógica interna da cena.

3. O Resultado Final

Ao testar esse método em um modelo de IA de ponta (chamado Wan 2.1), os resultados foram impressionantes:

Diversidade: Os vídeos gerados em grupo eram tão variados quanto os melhores métodos existentes.
Qualidade: Ao contrário dos métodos antigos, os vídeos mantinham a cor natural e os movimentos fluíam suavemente, sem "pulos" ou distorções.

Resumo em uma frase

Os autores criaram um "filtro inteligente" que permite gerar vários vídeos diferentes ao mesmo tempo, garantindo que, enquanto eles são distintos uns dos outros, cada um deles continue sendo um filme coerente e bonito, tudo isso sem gastar uma fortuna em energia de computador.

É como ter um assistente que organiza sua festa: ele garante que todos os convidados se divirtam de formas diferentes, mas ninguém se perca ou caia no chão durante a dança.

Each language version is independently generated for its own context, not a direct translation.

1. Problema e Motivação

A geração de vídeo a partir de texto (Text-to-Video) é computacionalmente cara, o que limita o número de amostras que podem ser produzidas sob um orçamento fixo de computação. Para maximizar a utilidade de cada lote de geração, é desejável produzir vídeos diversos entre si (alta diversidade cruzada).

No entanto, existem dois desafios principais:

Diversidade vs. Consistência: Métodos recentes que aumentam a diversidade em geração de imagens muitas vezes degradam a consistência temporal dentro do vídeo (fazendo com que os quadros fiquem incoerentes).
Custo Computacional: Aplicar gradientes de diversidade diretamente no espaço de imagens para vídeos requer a retropropagação através de um decodificador de vídeo, o que é extremamente pesado em termos de memória e muitas vezes inviável devido à alta dimensionalidade dos dados de vídeo.

O objetivo do trabalho é desenvolver um método que maximize a diversidade entre um lote de vídeos gerados, mantendo simultaneamente a coerência temporal dentro de cada vídeo, sem o custo proibitivo de decodificação e retropropagação.

2. Metodologia

Os autores propõem um framework de amostragem conjunta para geradores de vídeo baseados em Flow Matching (Correspondência de Fluxo). A abordagem é dividida em três componentes principais:

A. Amostragem Conjunta com Regulação de Gradiente

O método inspira-se em técnicas de geração de imagens diversas, onde um gradiente de diversidade é adicionado à dinâmica de amostragem para "empurrar" as amostras para longe umas das outras.

Objetivo de Diversidade: Utiliza um processo de pontos determinantes (DPP) calculado sobre embeddings de vídeo e de quadros.
Objetivo de Consistência: Calcula uma função de perda que mede a coerência temporal (usando um modelo de interpolação de quadros latentes).
Regulação do Gradiente: Em vez de aplicar o gradiente de diversidade cegamente, o método remove apenas a componente do gradiente de diversidade que reduziria o objetivo de consistência.
- Matematicamente, o gradiente de diversidade ( $g_d$ ) é projetado sobre o gradiente de consistência ( $g_c$ ). Se a projeção for negativa (indicando que a diversidade prejudicaria a consistência), essa componente é descartada ou atenuada.
- Isso garante que as atualizações aumentem a diversidade sem sacrificar a coerência temporal.

B. Modelos Leves no Espaço Latente

Para evitar a necessidade de decodificar o vídeo e fazer backpropagation através do decodificador (o que seria muito caro), os autores treinam modelos leves diretamente no espaço latente:

Modelos de Embedding ( $M_v, M_f$ ): Pequenas redes convolucionais que aprendem a mapear latentes para representações de vídeo e quadro, mimetizando encoders pesados pré-treinados (como VideoPrism e CLIP) no espaço de vídeo real.
Modelo de Interpolação ( $M_c$ ): Uma rede leve treinada para prever um quadro latente a partir de seus vizinhos, servindo como proxy para medir a consistência temporal.

Esses modelos permitem calcular os objetivos de diversidade e consistência e seus gradientes diretamente nos latentes, sem passar pelo decodificador de vídeo.

C. Fluxo de Trabalho

Durante a geração (integração da ODE do Flow Matching):

Calcula-se o gradiente de diversidade no espaço latente.
Calcula-se o gradiente de consistência no espaço latente.
Aplica-se a regulação (remoção da componente anti-alinhada).
O gradiente regulado é adicionado ao campo de velocidade do Flow Matching para atualizar o lote de vídeos.

3. Principais Contribuições

Método de Amostragem Conjunta Preservador de Consistência: Uma nova técnica para geradores de vídeo baseados em Flow Matching que equilibra diversidade e consistência através de regulação de gradiente.
Modelos de Espaço Latente: Introdução de modelos de embedding e interpolação leves que permitem o cálculo de objetivos complexos sem a necessidade de decodificação de vídeo ou retropropagação através do decodificador, tornando o processo viável computacionalmente.
Eficiência e Qualidade: Demonstração de que é possível obter alta diversidade sem sacrificar a qualidade temporal ou a naturalidade das cores.

4. Resultados Experimentais

Os experimentos foram realizados no modelo Wan 2.1 t2v-1.3B (um modelo state-of-the-art de texto para vídeo).

Métricas de Diversidade: O método alcançou pontuações de Vendi Score (diversidade) comparáveis ou superiores às melhores linhas de base de amostragem conjunta (como DPP e DiverseFlow).
Métricas de Consistência: O método superou significativamente as linhas de base em Consistência Temporal (medida por MSE de interpolação de quadros removidos) e Naturalidade de Cores (índice CNI).
- Enquanto os métodos baselines aumentavam a diversidade, eles degradavam a consistência temporal (MSE mais alto) e a naturalidade das cores.
- O método proposto manteve a diversidade alta enquanto reduzia o MSE e aumentava o CNI.
Validação dos Modelos Latentes: Os modelos leves treinados no espaço latente mostraram-se superiores a baselines simples (como médias de latentes) na previsão de embeddings e interpolação, validando a estratégia de evitar o decodificador.

5. Significado e Conclusão

Este trabalho resolve um dilema fundamental na geração de vídeo: como gerar múltiplas variações de um prompt sem que os vídeos se tornem temporalmente instáveis ou visualmente artificiais.

A inovação chave é a regulação de gradiente baseada em consistência combinada com o uso de modelos proxy no espaço latente. Isso permite que a geração de vídeo seja escalável e diversificada, eliminando a necessidade de custos computacionais proibitivos associados à retropropagação no decodificador de vídeo. O método oferece uma solução prática para aplicações que exigem alta qualidade e diversidade, como criação de conteúdo de mídia e realidade virtual.