Unified Text-Image-to-Video Generation: A Training-Free Approach to Flexible Visual Conditioning

1. O Problema

A geração de vídeo baseada em texto (Text-to-Video ou T2V) avançou significativamente com modelos de difusão. No entanto, o controle preciso sobre o conteúdo visual (aparência de objetos, pessoas e cenários) geralmente exige o uso de imagens de referência, criando a tarefa de Texto-Imagem-para-Vídeo (TI2V).

Os desafios principais identificados pelos autores são:

• Rigidez das Abordagens Atuais: A maioria dos métodos existentes requer fine-tuning (ajuste fino) do modelo base, o que é custoso em recursos computacionais e dados. Além disso, esses modelos são limitados a configurações pré-definidas de condicionamento (ex: apenas animação de uma imagem inicial ou interpolação entre duas imagens).
• Falta de Flexibilidade: Mudar o número de imagens condicionais ou suas posições no vídeo resultante exige o re-treinamento completo do modelo.
• Ineficiência dos Métodos Sem Treinamento: Métodos anteriores que não exigem treinamento (training-free) são frequentemente ineficientes (gerando quadro a quadro de forma autoregressiva) ou perdem o controle semântico e a fidelidade visual.

O objetivo do trabalho é definir um problema genérico de TI2V onde o modelo pode gerar vídeos condicionados a um número arbitrário de imagens em posições arbitrárias dentro da sequência de vídeo, sem necessidade de treinamento adicional.

2. Metodologia: FlexTI2V

Os autores propõem o FlexTI2V, uma abordagem inovadora e sem treinamento (training-free) que adiciona condicionamento visual flexível a modelos de difusão T2V pré-treinados. O método opera inteiramente no espaço latente e consiste em três etapas principais:

A. Inversão e Substituição de Imagens (Condition Image Inversion and Replacement)

1. Inversão: As imagens condicionais são codificadas em um espaço latente e, em seguida, "invertidas" para representações ruidosas em cada passo de denoising, seguindo o processo de difusão (DDPM). Isso permite que as imagens sejam integradas ao fluxo de geração do vídeo.
2. Inicialização: O ruído final invertido das imagens é reutilizado como inicialização para a síntese do vídeo.
3. Substituição de Quadros: Em passos específicos do processo de denoising, os quadros do vídeo que correspondem às posições desejadas das imagens condicionais são substituídos diretamente pelas representações latentes das imagens invertidas.

B. Troca Aleatória de Patches (Random Patch Swapping - RPS)

Esta é a inovação central do método. Para garantir que as características visuais das imagens condicionais influenciem todo o vídeo (e não apenas os quadros onde foram inseridas), o método realiza uma troca aleatória de "patches" (pequenas regiões da imagem latente):

• Em cada passo de denoising, uma porcentagem aleatória de patches de um quadro de vídeo é trocada com patches correspondentes das imagens condicionais.
• Isso permite que o modelo de difusão "veja" e harmonize as características visuais das imagens de referência em todos os quadros do vídeo.

C. Controle Dinâmico (Dynamic Control Mechanism)

Para equilibrar a fidelidade à imagem de referência e a criatividade na geração de movimento, o método emprega uma estratégia de controle dinâmico:

• Porcentagem e Passos Variáveis: A porcentagem de patches trocados ($P$) e o número de passos de denoising em que a troca ocorre diminuem à medida que o quadro do vídeo se afasta da posição da imagem condicional.
• Lógica: Quadros próximos às imagens condicionais recebem mais "pistas" visuais (troca de patches) para manter a fidelidade. Quadros distantes recebem menos restrições visuais, permitindo que o modelo gere movimentos mais criativos e naturais, evitando vídeos "congelados".

3. Contribuições Principais

1. Definição de um Problema Genérico: O trabalho formaliza o problema de TI2V como uma tarefa unificada, capaz de englobar tarefas clássicas como animação de imagem, rewinding (retrair vídeo), interpolação de quadros e outpainting (expansão), permitindo múltiplas imagens em posições arbitrárias.
2. Abordagem FlexTI2V: Introdução de um método plug-and-play sem treinamento que utiliza a estratégia de Troca Aleatória de Patches (RPS) para injetar características visuais no processo de denoising.
3. Generalização: O método funciona em diversas arquiteturas (baseadas em UNet e Transformer) e em diferentes modelos de base (como ModelScopeT2V e Wan2.1), sem necessidade de ajuste fino.

4. Resultados e Avaliação

Os autores realizaram extensos experimentos no conjunto de dados UCF-101 (ações humanas) e em um conjunto de dados sintético.

• Comparação Quantitativa: O FlexTI2V superou significativamente os métodos state-of-the-art sem treinamento (como TI2V-Zero e TRF) e até mesmo modelos com treinamento (como DynamiCrafter) em métricas-chave:
  • FVD (Frechet Video Distance): Indicou maior qualidade geral do vídeo.
  • CLIP-T: Melhor alinhamento entre o texto e o vídeo gerado.
  • CLIP-I: Maior fidelidade às imagens condicionais em quadros não originais.
  • Estudo com Usuários: Os avaliadores humanos preferiram consistentemente os vídeos gerados pelo FlexTI2V em termos de coerência e fidelidade.
• Eficiência de Inferência: O método é extremamente rápido. Enquanto métodos autoregressivos (como TI2V-Zero) podem levar minutos, o FlexTI2V gera um vídeo de 16 quadros em aproximadamente 2,71 segundos em uma GPU NVIDIA H100, pois gera todos os quadros simultaneamente em um único processo de denoising.
• Generalização: O método demonstrou robustez ao ser aplicado em modelos Transformer modernos (Wan2.1), superando modelos especializados treinados para tarefas específicas.

5. Significado e Impacto

O FlexTI2V representa um avanço significativo na democratização da geração de vídeo controlada. Ao eliminar a necessidade de treinamento e fine-tuning, o método:

• Reduz drasticamente o custo computacional e a barreira de entrada para pesquisadores e desenvolvedores.
• Oferece uma flexibilidade sem precedentes, permitindo cenários de geração complexos (múltiplas imagens, posições variadas) que antes exigiam modelos especializados e pesados.
• Demonstra que é possível obter alto controle visual e semântico em modelos de difusão de vídeo apenas manipulando o espaço latente e as estratégias de amostragem, sem alterar os pesos do modelo base.

Em resumo, o trabalho propõe uma solução elegante e eficiente para unificar tarefas de geração de vídeo controlada, tornando os modelos de fundação (foundation models) de vídeo verdadeiramente adaptáveis a diversas necessidades de condicionamento visual.