Resumo Técnico: UniVideo

Declaração do Problema

Embora modelos multimodais unificados tenham demonstrado progressos significativos na compreensão e geração de texto-imagem, eles permanecem amplamente confinados ao domínio da imagem. Os modelos de geração de vídeo existentes são tipicamente especializados para tarefas únicas (ex: texto-para-vídeo) e dependem de codificadores de texto que têm dificuldade com instruções multimodais complexas. Além disso, os métodos de edição de vídeo frequentemente dependem de módulos ou pipelines específicos para tarefas, carecendo de escalabilidade para lidar com diversas tarefas dentro de um único framework. Consequentemente, capacidades avançadas como o prompting multimodal, geração de vídeo em contexto e edição de vídeo de forma livre e sofisticada permanecem fora do alcance de sistemas unificados.

Metodologia

UniVideo é um framework unificado projetado para estender a compreensão, geração e edição multimodal para o domínio do vídeo. Ele emprega uma arquitetura de fluxo duplo que integra um Modelo de Linguagem Grande Multimodal (MLLM) para compreensão visual com um Transformer de Difusão Multimodal (MMDiT) para geração visual.

Arquitetura

1. Ramo de Compreensão (MLLM): Utiliza um MLLM congelado (especificamente o Qwen2.5VL-7B) para processar entradas de texto, imagem e vídeo. Este ramo preserva as capacidades originais de geração de texto e raciocínio multimodal do modelo, permitindo que ele interprete instruções complexas e prompts ambíguos.
2. Ramo de Geração (MMDiT): Baseado no backbone HunyuanVideo-T2V-13B, este ramo foca na síntese visual. Ele recebe dois tipos de entradas:
   • Fluxo Semântico: Características semânticas de alto nível provenientes do MLLM, alinhadas via um conector MLP treinável.
   • Fluxo Visual: Sinais de reconstrução de grão fino codificados por um Autoencoder Variacional (VAE).
3. Condicionamento Unificado: Ao contrário de abordagens anteriores que utilizam embeddings de viés específicos para tarefas ou adaptadores de contexto, o UniVideo unifica diversas tarefas (texto-para-vídeo, imagem-para-vídeo, geração/edição em contexto) sob um único paradigma de instrução de linguagem natural. Ele utiliza embeddings posicionais 3D para distinguir entre latentes de condição e latentes de vídeo ruidosos sem deslocar todos os eixos, uma estratégia considerada mais eficaz que o MRoPE para lidar com múltiplas entradas visuais.

Estratégia de Treinamento

O modelo é treinado em três estáções:

• Estágio 1 (Alinhamento do Conector): O conector MLP é treinado enquanto o MLLM e o MMDiT permanecem congelados. O treinamento envolve tarefas de texto-para-imagem (T2I), texto-para-vídeo (T2V) e reconstrução de imagem para alinhar as dimensões de características.
• Estágio 2 (Ajuste Fino/Fine-tuning): O conector e o MMDiT são ajustados finamente em amostras de alta qualidade de T2I/T2V com o MLLM ainda congelado, alcançando desempenho comparável ao backbone MMDiT usando seu próprio codificador de texto.
• Estágio 3 (Treinamento Multitarefa): O sistema é treinado conjuntamente em um amplo espectro de tarefas, incluindo geração em contexto (multi-ID), edição de vídeo em contexto (troca de identidade, deleção, adição, transferência de estilo), edição de imagem e imagem-para-vídeo. O MLLM permanece congelado durante todo o processo.

Principais Capacidades

• Geração com Pensamento: O ramo MLLM interpreta prompts não convencionais ou manuais (ex: anotações visuais, diagramas) e os traduz em planos estruturados ou tokens de prompt densos para guiar o MMDiT.
• Generalização Zero-Shot: Apesar de não ter sido explicitamente treinado para edição de vídeo de forma livre, o UniVideo transfere as capacidades de edição aprendidas de dados de edição de imagem em larga escala para o domínio do vídeo, lidando com instruções não vistas, como mudar materiais ou ambientes.

Principais Contribuições

1. Framework Unificado: Introdução do UniVideo, o primeiro modelo que unifica compreensão, geração e edição tanto para imagens quanto para vídeos dentro de um único framework.
2. Design de Fluxo Duplo: Proposta de uma arquitetura inovadora que combina o raciocínio do MLLM com a geração do MMDiT, permitindo que o modelo interprete instruções multimodais enquanto mantém a consistência visual e de identidade.
3. Generalização: Demonstração de que o framework unificado generaliza para composições de tarefas não vistas (ex: combinando edição com transferência de estilo) e transfere capacidades de edição de imagens para vídeos sem designs ad-hoc.
4. Validação Empírica: Estudo sistemático das escolhas de design (conectores, geradores, estratégias de condicionamento) fornecendo evidências para a eficácia da arquitetura proposta.

Resultados Experimentais

Benchmarks extensivos demonstram que o UniVideo alcança desempenho competitivo ou superior em relação aos baselines especializados de última geração em múltiplos domínios:

• Compreensão Visual: Alcança pontuações fortes no MMBench (83.5), MMMU (58.6) e MM-Vet (66.6), retendo as capacidades de seu backbone MLLM congelado.
• Geração e Edição de Imagem: Supera muitos modelos especializados de texto-para-imagem e modelos multimodais unificados no GenEval. Na edição de imagem (ImgEdit-Bench, GEdit-Bench), supera diversos modelos de edição especializados em consistência semântica e qualidade geral.
• Geração de Vídeo: Iguala o desempenho do backbone HunyuanVideo no VBench para tarefas de texto-para-vídeo.
• Tarefas em Contexto:
  • Geração: Supera os baselines (VACE, Kling1.6, Pika2.2) em consistência de assunto e seguimento de prompt tanto em cenários de ID único quanto de multi-ID.
  • Edição: Opera em um cenário sem máscara (não requer entradas de máscara explícitas), mas alcança desempenho superior ou competitivo em alinhamento de identidade, qualidade de vídeo e seguimento de prompt comparado a especialistas de tarefas específicas como UNIC e AnyV2V.

Significância

O artigo afirma que o UniVideo representa um passo significativo em direção à construção de assistentes de IA multimodais capazes de comunicação fluida através de linguagem, imagens e vídeo. Ao unificar diversas tarefas de vídeo sob um único paradigma de instrução, o modelo supera as limitações de pipelines especializados. Sua capacidade de generalizar para novas composições de tarefas e transferir habilidades de edição de imagens para vídeos destaca o potencial de frameworks unificados para lidar com interações multimodais complexas e abertas. Além disso, a capacidade de "geração com pensamento" permite que o sistema interprete prompts visuais complexos, preenchendo a lacuna entre a intenção humana e a síntese de vídeo precisa.