Resumo Técnico: Bernini – Planejamento Semântico Latente para Difusão de Vídeo

1. Declaração do Problema

Modelos de Linguagem Multimodal Grandes (MLLMs) e modelos de difusão amadureceram ao longo de trajetórias amplamente independentes. Os MLLMs se destacam no raciocínio semântico, na interpretação de instruções complexas e na fundamentação de respostas em contextos multimodais, enquanto os modelos de difusão (especificamente Transformers de Difusão ou DiTs) tornaram-se o padrão para síntese de imagens e vídeos fotorrealistas. No entanto, unificar essas duas famílias em um único sistema capaz de compreender a intenção e gerar as saídas desejadas permanece um desafio em aberto. Abordagens existentes frequentemente lutam para transferir a compreensão semântica profunda dos MLLMs diretamente para a geração em nível de pixel dos modelos de difusão sem comprometer as forças pré-treinadas de qualquer um dos componentes ou exigir treinamento conjunto excessivo que leve ao esquecimento catastrófico.

2. Metodologia

O Bernini propõe um framework unificado que desacopla o planejamento semântico da renderização de pixels, utilizando uma simples divisão de trabalho:

• O Planejador (MLLM): Lida com o raciocínio semântico e prevê a representação visual alvo.
• O Renderizador (DiT): Sintetiza pixels com base em orientações semânticas de alto nível e características visuais de baixo nível.

2.1 Arquitetura

O framework consiste em dois componentes principais conectados por uma interface semântica no espaço de incorporação ViT.

• Planejador baseado em MLLM:

  • Entrada Unificada: Texto, imagens de origem, vídeos de origem e saídas alvo são serializados em uma sequência unificada de tokens 1D.
  • Modelagem Generativa Mascarada: Em vez de gerar tokens de texto, o planejador prevê semânticas visuais alvo como incorporações ViT densas. Durante o treinamento, os tokens alvo são aleatoriamente mascarados, e o modelo os infere a partir do contexto. Durante a inferência, o modelo refina iterativamente a representação alvo de tokens totalmente mascarados para uma sequência completa.
  • Cadeia de Pensamento (CoT): O planejador incorpora um mecanismo de CoT, realizando raciocínio no espaço latente (via raciocínio auto-textual e auto-visão-texto) antes de produzir a incorporação semântica final. Isso permite que o modelo decomponha tarefas de edição complexas em estados visuais intermediários.
  • Decodificador de Incorporação ViT: Um decodificador leve (MLP + cabeçalho ResNet) mapeia os estados ocultos do planejador de volta ao espaço de incorporação ViT ground-truth, treinado via correspondência de fluxo.

• Renderizador baseado em DiT:

  • Correspondência de Fluxo: O renderizador opera no espaço latente VAE, realizando desruido por correspondência de fluxo para sintetizar o vídeo final.
  • Condicionamento: Ele é condicionado às incorporações semânticas do planejador (via atenção cruzada), características de texto e características VAE de origem (para preservação de detalhes em tarefas de edição).
  • RoPE 3D Consciente de Segmento (SA-3D RoPE): Para lidar com múltiplas entradas visuais (por exemplo, vídeo de origem, imagem de referência, alvo) dentro de uma sequência unificada, o Bernini introduz o SA-3D RoPE. Os RoPEs Rotacionais 3D padrão lutam quando tokens de diferentes segmentos compartilham as mesmas coordenadas $(t, h, w)$. O SA-3D RoPE atribui um índice de segmento único a cada entrada visual e incorpora isso no vetor de frequência rotacional, introduzindo uma modulação de fase global dependente do segmento. Isso permite que o mecanismo de atenção distinga tokens de diferentes segmentos, preservando as propriedades de modelagem espaço-temporal.

2.2 Estratégia de Treinamento

O Bernini emprega um pipeline de treinamento de três etapas para preservar as capacidades pré-treinadas de ambos os componentes enquanto os alinha:

1. Etapa I (Pré-treinamento do MLLM): O planejador e o decodificador ViT são treinados em uma mistura de dados de texto-para-imagem, texto-para-vídeo e edição (pares de imagem/vídeo). O objetivo é transformar o MLLM em um planejador semântico capaz de inferir representações visuais alvo. Uma estratégia de proporção de máscara dependente da tarefa é usada para controlar o vazamento de informações, forçando o planejador a inferir semânticas a partir do contexto em vez de tokens alvo visíveis.
2. Etapa II (Pré-treinamento do DiT): O renderizador é treinado independentemente em uma grande mistura de dados de geração e edição para garantir síntese de alta fidelidade e preservação da origem.
3. Etapa III (Treinamento Conjunto): O planejador e o renderizador são levemente co-treinados. Esta etapa alinha o planejamento semântico (espaço ViT) com a renderização visual (espaço VAE) sem interferência excessiva, permitindo que o sistema traduza o raciocínio multimodal em saídas visuais fiéis.

2.3 Construção de Dados

O artigo detalha um pipeline abrangente de construção de dados para suportar tarefas diversas:

• Dados de Pré-treinamento: 20 milhões de pares de vídeo e 30 milhões de pares de imagem extraídos de corpora gerais e vídeos tutoriais, filtrados por similaridade e anotados com prompts densos.
• Dados de Edição: Dados de vídeo-para-vídeo (V2V) de alta qualidade são sintetizados usando métodos baseados em propagação combinados com fortes modelos de edição de imagem. Um framework de dois ramos (Imagem-para-Vídeo + Vídeo-para-Vídeo) é usado para gerar dados de edição conscientes de movimento, garantindo interações naturais entre humanos e objetos.
• Dados Guiados por Referência: Pipelines para Referência-para-Vídeo (R2V) e Referência+Vídeo-para-Vídeo (RV2V) garantem preservação de identidade (especialmente para humanos) ao buscar referências em filmagens reais em vez de imagens geradas.
• Dados Aumentados com Raciocínio: Dados explícitos de Cadeia de Pensamento são construídos, onde MLLMs reescrevem instruções em prompts intermediários estruturados ou geram estados visuais intermediários para guiar o processo de edição.

3. Contribuições Principais

1. Framework Unificado com Interface Semântica Latente: O Bernini unifica geração e edição usando o espaço nativo de incorporação ViT do MLLM como uma ponte semântica para o gerador de difusão. Isso permite que a compreensão pré-treinada seja transferida diretamente para a geração, permitindo forte generalização em diversas tarefas de vídeo.
2. Construção de Dados Escalável: Os autores projetaram uma suíte de pipelines de dados que resulta em um corpus multi-tarefa em grande escala. Isso inclui pré-treinamento de pares de vídeo/imagem, dados de edição baseados em propagação de alta qualidade, dados conscientes de movimento e conjuntos de dados aumentados com raciocínio, abordando a escassez de dados de edição de vídeo de alta qualidade.
3. RoPE 3D Consciente de Segmento: Um mecanismo de incorporação posicional inovador que desambigua tokens visuais de diferentes segmentos (origem, referência, alvo) que compartilham as mesmas coordenadas espaço-temporais, crucial para o manuseio de entradas multimodais.
4. Desempenho de Estado da Arte: O Bernini alcança resultados de ponta em uma ampla gama de benchmarks, incluindo OpenVE-Bench, OpenS2V-Eval e o recém-proposto Bernini-Bench.

4. Resultados Experimentais

• Edição de Vídeo (Bernini-Bench): O Bernini supera bases fortes como Kling O3 e Wan2.7. No benchmark Bernini-V2V, alcança uma Pontuação Geral (OS) de 3,49 (vs. 3,30 para o Wan2.7) e demonstra consistência de vídeo (VC) superior, preservando regiões não editadas melhor que os concorrentes. Em avaliações lado a lado com humanos, o Bernini mostra vantagens significativas em consistência e seguimento de instruções.
• Benchmarks Públicos:
  • OpenVE-Bench: O Bernini pontua 4,04 no geral, superando significativamente o melhor anterior (VINO em 3,18).
  • EditVerse: Alcança a maior pontuação de qualidade de edição (8,02) e alinhamento com texto.
  • FiVE: Alcança desempenho de estado da arte na preservação de estrutura, preservação de fundo e precisão de edição.
• Geração de Vídeo:
  • Texto-para-Vídeo (VBench): O Bernini mantém a qualidade base de seu modelo fundamental (Wan2.2-A14B), alcançando uma pontuação Total de 84,64 comparada aos 84,79 da base, provando que o design unificado não degrada a qualidade de geração.
  • Assunto-para-Vídeo (OpenS2V-Eval): O Bernini alcança a maior pontuação Total (62,94) entre todos os concorrentes. Notavelmente, alcança uma pontuação FaceSim de 78,20, excedendo a melhor base seguinte (Kling O3 em 57,20) em mais de 20 pontos, demonstrando preservação superior de identidade facial.
• Estudos de Ablação: Experimentos confirmam a necessidade da interface semântica ViT, do planejador MLLM e do SA-3D RoPE. A remoção do SA-3D RoPE leva a artefatos de vazamento de referência, enquanto a remoção do planejador degrada o seguimento de instruções.

5. Significado e Alegações

O artigo afirma que o Bernini representa um passo significativo em direção à unificação da compreensão e geração multimodais. Ao ancorar a interface no espaço de incorporação ViT do MLLM, o framework permite que os dois componentes sejam treinados amplamente de forma independente, preservando suas respectivas forças pré-treinadas (raciocínio para o MLLM, síntese para o DiT) enquanto habilita uma colaboração eficaz.

Os autores enfatizam que a capacidade do Bernini de generalizar para tarefas de edição desafiadoras — como raciocínio causal ("O que acontece quando chove?"), mudanças de foco e mudanças de movimento complexas — decorre da integração do raciocínio de Cadeia de Pensamento e do paradigma de planejamento semântico. O modelo não apenas memoriza transformações, mas aprende uma capacidade de seguimento de instruções transferível e composicional.

Limitações: Os autores modestamente notam que o Bernini é limitado pelas capacidades de seus modelos fundamentais subjacentes (Qwen2.5-VL e Wan2.2). Em cenários complexos, ele ainda depende de um reescrevedor de LLM externo para fornecer instruções suficientemente detalhadas, sugerindo que seu raciocínio nativo ainda não é totalmente suficiente para as edições mais desafiadoras. Além disso, embora lidera em consistência, sua qualidade visual bruta na geração de assunto-para-vídeo ainda fica ligeiramente atrás dos sistemas fechados mais fortes, como o Wan2.7.