Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model

O artigo apresenta o Kaleido, um modelo de geração de vídeo aberto que supera as limitações atuais na consistência de múltiplos sujeitos e na fidelidade de referência, graças a um pipeline de construção de dados aprimorado e à introdução do Reference Rotary Positional Encoding (R-RoPE).

O essencial

Imagine que você quer criar um filme curto, mas em vez de escrever um roteiro do zero, você quer usar fotos de pessoas ou objetos específicos que você já tem. O desafio é: como fazer o computador entender que "aquele cara na foto" deve ser o protagonista do vídeo, sem que ele traga consigo a sala de estar onde a foto foi tirada ou misture o rosto dele com o de outra pessoa?

É exatamente isso que o Kaleido resolve. Vamos explicar como ele funciona usando analogias do dia a dia.

1. O Problema: O "Efeito Fantasma" e a Confusão

Antes do Kaleido, os modelos de IA para criar vídeos tinham dois grandes problemas:

• O Efeito Fantasma: Se você mostrava uma foto de um cachorro num sofá, a IA criava o vídeo do cachorro, mas ele obrigatoriamente aparecia sentado no mesmo sofá, mesmo que você pedisse para ele estar na praia. A IA não conseguia separar o "cachorro" do "sofá".
• A Confusão de Identidade: Se você mostrava duas fotos (uma de uma menina e um de um cachorro), a IA muitas vezes misturava os dois, fazendo o cachorro ter o rosto da menina ou criando uma "besta" estranha no meio do vídeo.

2. A Solução: O "Laboratório de Cozinha" (Construção de Dados)

Os criadores do Kaleido perceberam que a IA estava aprendendo com "receitas ruins". Eles precisavam ensinar a IA a separar os ingredientes.

• A Analogia do Chef: Imagine que você quer ensinar um cozinheiro a fazer um bolo de morango. Se você só der a ele fotos de bolos que já estão na mesa de jantar, ele vai achar que a mesa de jantar é parte do bolo.
• O que o Kaleido fez: Eles criaram um processo de "limpeza" e "mistura".
  1. Eles pegaram vídeos e fotos.
  2. Usaram "tesouras digitais" (segmentação) para recortar o sujeito (pessoa/objeto) e jogar fora o fundo.
  3. O Pulo do Gato (Dados Cruzados): Eles pegaram o "sujeito" de uma foto e o "fundo" de outra foto totalmente diferente e os juntaram artificialmente.
  • Resultado: A IA aprendeu que o "sujeito" é o ingrediente principal e o "fundo" é apenas o cenário que pode mudar. Assim, quando você pede um vídeo, ela sabe colocar o sujeito em qualquer lugar sem copiar o fundo original.

3. A Tecnologia Mágica: O "Sistema de Endereçamento" (R-RoPE)

Agora, como a IA sabe qual foto é qual quando você manda várias?

• A Analogia do Teatro: Imagine um palco (o vídeo). Normalmente, os atores (os quadros do vídeo) entram um após o outro. Se você joga fotos de referência no palco, a IA pode achar que elas são atores extras que entraram no meio da cena, causando confusão.
• O que é o R-RoPE: O Kaleido inventou um novo "sistema de endereçamento" (chamado Reference Rotary Positional Encoding).
  • Pense nisso como dar um chapéu diferente e um número de assento exclusivo para as fotos de referência.
  • Enquanto os quadros do vídeo sentam nas cadeiras 1, 2, 3... as fotos de referência sentam em cadeiras invisíveis que só elas podem ver, mas que o diretor (a IA) consegue consultar.
  • Isso garante que a IA saiba: "Ok, essa foto é a referência do rosto, aquela é a referência da roupa, e o vídeo em si é a ação que vai acontecer." Elas não se misturam.

4. O Resultado: O "Mestre da Transformação"

Com essas duas melhorias (dados limpos e endereçamento inteligente), o Kaleido consegue:

• Múltiplos Sujeitos: Colocar uma pessoa e um cachorro no mesmo vídeo sem que eles virem um monstro de duas cabeças.
• Fundo Livre: Pegar uma foto de uma pessoa num quarto escuro e fazer ela andar numa praia ensolarada, mantendo o rosto e a roupa dela perfeitos.
• Qualidade de Cinema: O vídeo sai tão bom que compete com os sistemas pagos e fechados de grandes empresas, mas é gratuito e de código aberto.

Resumo em uma frase

O Kaleido é como um diretor de cinema genial que, ao invés de copiar e colar fotos, aprendeu a "recortar" perfeitamente os personagens do cenário e a usar um sistema de endereçamento especial para garantir que, em qualquer filme que ele faça, os personagens mantenham sua identidade, não importa onde a cena se passe.

E o melhor de tudo? Eles liberaram a receita (o código e os dados) para que qualquer pessoa possa usar e criar seus próprios filmes mágicos.

Resumo técnico

1. Problema e Motivação

O campo de geração de vídeo tem avançado rapidamente, mas a tarefa de Geração de Vídeo de Sujeito (Subject-to-Video - S2V) — sintetizar vídeos consistentes de um ou mais sujeitos específicos condicionados a imagens de referência e prompts de texto — ainda enfrenta desafios significativos, especialmente em modelos de código aberto.

Os principais problemas identificados são:

• Inconsistência de Múltiplos Sujeitos: Modelos existentes frequentemente falham em manter a identidade visual consistente quando múltiplos sujeitos ou imagens de referência são fornecidos.
• Falta de Desemaranhamento (Disentanglement) do Fundo: Os modelos tendem a copiar elementos de fundo ou objetos irrelevantes das imagens de referência para o vídeo gerado, em vez de aprender apenas as características intrínsecas do sujeito. Isso resulta em "drift semântico" e baixa fidelidade.
• Qualidade e Diversidade dos Dados de Treinamento: As abordagens atuais dependem de dados onde as imagens de referência são selecionadas de quadros de vídeo, o que frequentemente entrelaça o sujeito com o fundo e limita a generalização para novos cenários.
• Estratégias de Condicionamento Subótimas: Métodos atuais de injetar informações de múltiplas imagens (como concatenação simples ou adaptadores) podem causar confusão espacial entre os sujeitos ou custos de inferência excessivos.

2. Metodologia

O Kaleido propõe uma nova estrutura baseada em modelos de difusão (especificamente Diffusion Transformers - DiT) para superar essas limitações através de duas inovações principais:

A. Pipeline de Construção de Dados (Data Construction Pipeline)

Para resolver a escassez de dados de alta qualidade e a falta de desemaranhamento sujeito-fundo, os autores desenvolveram um pipeline escalável de múltiplos estágios:

1. Pré-processamento e Legendagem: Uso de modelos de visão computacional para gerar legendas precisas e segmentar sujeitos.
2. Filtragem Rigorosa: Aplicação de filtros de tamanho, sobreposição (IoU), qualidade (brilho, desfoque) e alinhamento semântico (usando CLIP) para garantir que apenas amostras relevantes sejam usadas.
3. Desemaranhamento de Fundo (Background Disentanglement): Técnica crucial onde o fundo das imagens de referência é removido (inpainting) e reconstruído. Isso força o modelo a aprender a identidade do sujeito independentemente do contexto original.
4. Dados Cruzados (Cross-Paired Data): Criação de pares de treinamento onde o sujeito de uma imagem é combinado com o fundo de outra, aumentando a diversidade e a capacidade de generalização.
5. Aumento de Pose e Movimento: Uso de modelos de difusão (Flux Redux) para alterar poses e movimentos nas imagens de referência, evitando que o modelo apenas memorize quadros estáticos.

B. Framework de Modelo e R-RoPE

O modelo utiliza uma estratégia de injeção de condição simples (concatenação) mas introduz uma inovação técnica fundamental: o Reference Rotary Positional Encoding (R-RoPE).

• Desafio: Ao concatenar tokens de imagens de referência com tokens de vídeo, o modelo pode confundir as imagens como quadros consecutivos do vídeo, quebrando a continuidade temporal.
• Solução (R-RoPE): O R-RoPE modifica os vetores de posição das imagens de referência. Enquanto os tokens de vídeo usam codificação 3D padrão $(t, h, w)$, os tokens de imagem recebem posições espaciais deslocadas (começando de $H_{max}$ e $W_{max}$) e posições temporais individuais.
• Benefício: Isso permite que o modelo diferencie claramente entre informações de vídeo e de imagem, facilitando a integração estável e precisa de múltiplas imagens de referência sem conflitos espaciais ou temporais.

3. Contribuições Principais

1. Pipeline de Dados Robusto: Um sistema de construção de dados que gera pares de treinamento de alta fidelidade com sujeitos desemaranhados de fundos, utilizando filtragem automática e composição cruzada.
2. Mecanismo R-RoPE: Uma nova técnica de codificação posicional que permite a integração eficiente e estável de múltiplas imagens de referência em modelos DiT, melhorando a consistência em cenários multi-sujeito.
3. Modelo Open-Source SOTA: O Kaleido é apresentado como um modelo de código aberto que rivaliza com sistemas proprietários (como Kling e Vidu) em termos de qualidade, fidelidade do sujeito e desemaranhamento de fundo.
4. Reprodutibilidade: A liberação do código, dos checkpoints treinados e do pipeline de dados para a comunidade.

4. Resultados

Os autores realizaram extensas avaliações quantitativas e qualitativas comparando o Kaleido com modelos de código aberto (VACE, Phantom, SkyReels) e fechados (Kling, Vidu-Q1).

• Métricas Quantitativas:

  • Consistência do Sujeito (S2V Consistency): O Kaleido alcançou a pontuação mais alta (0.723), superando todos os concorrentes, indicando uma preservação superior da identidade do sujeito.
  • Desemaranhamento (S2V Decoupling): Obteve a melhor pontuação (0.319), demonstrando capacidade superior de ignorar fundos e objetos irrelevantes das imagens de referência.
  • Qualidade Geral: Competiu de perto com os melhores modelos fechados em métricas de VBench (suavidade de movimento, qualidade estética e alinhamento com texto).
  • Similaridade Facial: Em testes com humanos, o Kaleido superou todos os modelos de código aberto e superou ligeiramente o modelo fechado Kling na preservação de identidade facial.

• Estudo com Usuários: Em uma avaliação humana, os participantes preferiram consistentemente o Kaleido em quatro categorias: Qualidade de Vídeo, Alinhamento com o Prompt, Consistência do Sujeito e Desemaranhamento.

• Resultados Qualitativos: As comparações visuais mostraram que o Kaleido evita erros comuns de outros modelos, como a repetição redundante de sujeitos, a inclusão de artefatos de fundo indesejados ou a confusão entre múltiplos sujeitos.

5. Significado e Impacto

O trabalho do Kaleido representa um avanço significativo na democratização da geração de vídeo de alta qualidade. Ao abordar as lacunas fundamentais em dados de treinamento e mecanismos de condicionamento, ele estabelece um novo padrão para modelos de código aberto na tarefa de S2V.

A capacidade de gerar vídeos consistentes com múltiplos sujeitos e fundos controlados, mantendo a fidelidade do sujeito, abre novas possibilidades para aplicações em e-commerce, publicidade, entretenimento e criação de conteúdo personalizado. A abordagem de "desemaranhamento" proposta é particularmente valiosa, pois permite que o modelo seja mais flexível e criativo, não apenas replicando o que foi visto, mas gerando novos cenários com os sujeitos corretos.