Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

O artigo apresenta o Tele-Omni, um framework unificado multimodal que integra modelos de linguagem e geradores baseados em difusão para realizar geração e edição de vídeo sob instruções diversas (texto, imagens e vídeos de referência) em um único modelo, superando as limitações de abordagens específicas de tarefa.

O essencial

Imagine que você tem um diretor de cinema mágico chamado Tele-Omni. Antes dele, para fazer um filme, você precisava contratar um diretor diferente para cada tipo de cena: um só para criar histórias do zero, outro só para mudar a roupa de um ator, e um terceiro só para apagar um objeto da tela. Cada um tinha suas próprias regras e não conversava com os outros.

O Tele-Omni é como se você tivesse contratado um único diretor superinteligente que sabe fazer tudo isso de uma só vez, entendendo qualquer tipo de pedido que você fizer.

Aqui está como ele funciona, explicado de forma simples:

1. O Cérebro e o Mãos (Como ele funciona)

Pense no Tele-Omni como uma equipe de dois:

• O "Cérebro" (O MLLM): É um super-inteligente que entende o que você diz. Se você mandar um texto, uma foto ou até um vídeo de exemplo, ele entende a sua intenção. Ele não desenha o filme; ele apenas escreve o "roteiro" detalhado para o próximo passo.
• As "Mãos" (O Gerador de Vídeo): É o artista que realmente cria as imagens. Ele recebe o roteiro do Cérebro e começa a pintar quadro a quadro, garantindo que o movimento seja suave e natural.

A mágica: Eles trabalham juntos. O Cérebro diz: "Mude o chapéu do homem para um de palha", e as Mãos fazem isso sem bagunçar o resto do vídeo.

2. O Que ele consegue fazer? (A Caixa de Ferramentas)

O Tele-Omni é como uma "faca suíça" para vídeos. Você pode pedir coisas muito diferentes e ele entende todas:

• Criar do Nada (Texto para Vídeo): Você diz: "Um dragão voando sobre uma cidade cyberpunk", e ele cria o vídeo.
• Dar Vida a Fotos (Imagem para Vídeo): Você mostra uma foto de um gato dormindo e diz: "Faça ele acordar e espreguiçar". O vídeo nasce da foto.
• Preencher o Meio (Primeiro e Último Quadro): Você mostra uma foto de alguém sentado e outra de alguém pulando. O Tele-Omni cria todo o vídeo do meio, mostrando a pessoa se levantando e pulando, como se fosse um filme de animação.
• Editar com Precisão (Edição de Contexto): Você pode pedir para trocar a cor do carro, apagar um poste de luz ou colocar um chapéu novo em uma pessoa, e ele faz isso mantendo a consistência do resto da cena.
• Copiar o Estilo: Você pode mostrar um vídeo normal e dizer: "Faça parecer um desenho animado" ou "Faça parecer um filme de terror", e ele muda o estilo visual de todo o vídeo.

3. O Segredo: A "Receita" Unificada

O grande problema dos sistemas antigos era que eles eram como cozinheiros que só sabiam fazer um prato. Se você pedisse um bolo, eles faziam; se pedisse uma sopa, eles travavam.

Os criadores do Tele-Omni tiveram a ideia brilhante de criar uma "Receita Universal". Eles ensinaram o modelo a entender que, seja para criar um vídeo novo ou editar um antigo, o processo é o mesmo:

1. Leia o pedido (seja texto ou imagem).
2. Entenda o que precisa mudar.
3. Execute a tarefa.

Isso significa que você não precisa mais de softwares diferentes para criar e editar. Tudo acontece no mesmo lugar, com a mesma inteligência.

4. Por que isso é importante?

Antes, se você quisesse fazer um vídeo complexo, precisava de várias ferramentas e muito trabalho manual. Com o Tele-Omni, é como se você tivesse um assistente pessoal de cinema que entende sua linguagem natural.

• É flexível: Você pode misturar pedidos (texto + foto + vídeo de exemplo).
• É consistente: O vídeo não fica tremido ou estranho; os personagens e cenários mantêm a mesma aparência do início ao fim.
• É fácil: Você não precisa ser um especialista em computação gráfica; basta falar o que você quer ver.

Resumo da Ópera:
O Tele-Omni é o primeiro "super-homem" dos vídeos. Ele unifica a criação e a edição em um único sistema inteligente, permitindo que qualquer pessoa, com apenas um comando, transforme ideias, fotos ou vídeos antigos em novas obras cinematográficas, tudo com uma qualidade e fluidez impressionantes. É como dar a todos nós o poder de um estúdio de Hollywood na palma da mão.

Resumo técnico

1. Problema e Motivação

O artigo identifica limitações críticas nas abordagens atuais de geração e edição de vídeo baseadas em difusão:

• Especificidade de Tarefas: A maioria dos modelos existentes é projetada para uma única tarefa (geralmente texto-para-vídeo) e depende quase exclusivamente de instruções textuais. Isso limita a capacidade de lidar com entradas multimodais complexas (imagens, vídeos de referência) e referências contextuais.
• Falta de Unificação: Os métodos de edição de vídeo frequentemente dependem de pipelines engenhariaizados e específicos para cada operação (ex: substituição de objetos, modificação de atributos), o que impede a escalabilidade e a composabilidade de múltiplas edições em um único sistema.
• Dificuldade de Treinamento Conjunto: A mistura ingênua de dados heterogêneos de diferentes tarefas (geração vs. edição) geralmente leva a treinamento instável e degradação de desempenho, pois as restrições e objetivos de cada tarefa diferem significativamente.

2. Metodologia: Tele-Omni

O Tele-Omni é proposto como um framework unificado multimodal que executa geração e edição de vídeo dentro de um único modelo, seguindo instruções multimodais (texto, imagens e vídeos de referência).

Arquitetura do Modelo

O sistema adota uma arquitetura de dois módulos principais:

1. Módulo de Compreensão (MLLM): Um Modelo de Linguagem Grande Multimodal (MLLM) pré-treinado atua como o módulo de interpretação. Ele processa instruções textuais, imagens e vídeos para inferir a intenção de geração ou edição e extrair representações semânticas de alto nível. O MLLM não gera o vídeo diretamente; ele atua como um módulo de controle que converte instruções em sinais condicionais estruturados.
2. Módulo de Geração (DiT): Um Transformador de Difusão (DiT) atua como o gerador unificado. Ele recebe:
   • Sinais Semânticos: Projetados do estado oculto do MLLM através de um adaptador leve e treinável.
   • Condições Visuais: Imagens de referência, vídeos ou quadros inicial/final, codificados em representações latentes por um VAE (Autoencoder Variacional) pré-treinado.
   • Decoupling: Ao separar a parseação de instruções da síntese de vídeo, o modelo evita gargalos de informação e permite um controle mais fino, mantendo a coerência temporal.

Codificação Posicional e Condição

O modelo utiliza uma estratégia avançada de codificação posicional (RoPE 3D) para diferenciar entre condições espaciais e temporais:

• Para geração baseada em vídeo (in-context), os latentes condicionais são deslocados espacialmente.
• Para imagens de referência, elas são tratadas como condições temporais.
• Isso permite que o modelo entenda a relação entre múltiplas condições visuais sem necessidade de cabeças de previsão específicas para cada tarefa.

Pipeline de Dados e Treinamento

Uma contribuição central é o pipeline de processamento de dados consciente da tarefa:

• Estrutura Unificada: Todas as tarefas são formuladas como instruções multimodais estruturadas, onde o texto descreve o objetivo e as imagens/vídeos fornecem restrições de aparência ou movimento.
• Geração de Dados Sintéticos: Para tarefas de edição (inserção, remoção, modificação, estilo), o pipeline utiliza modelos como GPT-4o, FLUX-Kontext-dev e Wan2.1 para criar pares de dados (vídeo original vs. vídeo editado) com máscaras precisas e instruções textuais correspondentes.
• Estratégia de Treinamento em Duas Etapas:
  1. Alinhamento do Adaptador: O adaptador é treinado apenas em tarefas de geração (texto-para-vídeo e imagem-para-vídeo) para conectar as representações do MLLM ao gerador DiT.
  2. Ajuste Fino Conjunto: O adaptador e o DiT são ajustados conjuntamente em um conjunto de dados expandido que inclui geração in-context, edição in-context e geração baseada em quadros inicial/final. O MLLM permanece congelado nesta etapa.

3. Principais Contribuições

1. Framework Unificado: Tele-Omni é o primeiro modelo a suportar nativamente uma ampla gama de tarefas (geração texto/vídeo/quadros, edição in-context, remoção/inserção de objetos) em uma única arquitetura, sem depender de pipelines específicos por tarefa.
2. Controle Multimodal Flexível: A capacidade de aceitar instruções mistas (texto + imagem + vídeo de referência) permite uma especificação de intenção muito mais rica e precisa do que apenas texto.
3. Pipeline de Dados Inovador: A introdução de um pipeline de processamento de dados que unifica tarefas heterogêneas em um formato de instrução estruturado, preservando restrições específicas de cada tarefa, resolve o problema de treinamento instável em conjuntos de dados mistos.
4. Arquitetura Eficiente: O uso de um MLLM para parsear instruções e um DiT para síntese, com um adaptador intermediário, permite escalabilidade e alta fidelidade visual sem sobrecarregar o modelo de linguagem com a geração de pixels.

4. Resultados Experimentais

Os experimentos demonstram que o Tele-Omni alcança desempenho competitivo em diversas tarefas:

• Geração Imagem-para-Vídeo: Produz vídeos visualmente coerentes com dinâmicas de movimento robustas (ex: ondas, neve, multidões), evitando movimentos estáticos ou congelados.
• Geração Baseada em Quadros Inicial e Final: O modelo consegue interpolar movimentos complexos e coerentes entre dois quadros fixos, compreendendo relações de oclusão e iluminação (ex: uma pessoa levantando-se).
• Edição de Vídeo:
  • Entidade e Estilo: Mantém a identidade dos objetos e a consistência temporal enquanto aplica mudanças de estilo ou modifica entidades.
  • Remoção e Inserção: Realiza a remoção de objetos sem artefatos de "fantasmas" e insere objetos dinamicamente que interagem naturalmente com o cenário ao longo do tempo.
• Edição e Geração In-Context: O modelo consegue inserir conteúdo de uma imagem de referência em um vídeo em uma localização específica sem máscaras explícitas, mantendo a estabilidade espacial e temporal.

5. Significância

O Tele-Omni representa um avanço significativo rumo a modelos fundacionais de vídeo verdadeiramente unificados. Ao superar a fragmentação atual, onde geração e edição são tratadas como problemas separados com arquiteturas distintas, o trabalho estabelece uma nova base para:

• Interatividade Avançada: Permitir que usuários controlem a geração de vídeo de forma intuitiva usando múltiplos tipos de mídia.
• Escalabilidade: A arquitetura unificada facilita a adição de novas tarefas sem a necessidade de redesenhar o modelo inteiro.
• Aplicações Práticas: Oferece uma solução robusta para cenários do mundo real que exigem não apenas a criação de conteúdo, mas também sua edição e adaptação contextual complexa, mantendo alta qualidade visual e coerência temporal.

Em resumo, o Tele-Omni demonstra que a combinação de modelos de linguagem multimodal com geradores de difusão, apoiada por um design de dados inteligente, pode unificar o ecossistema de geração e edição de vídeo.