TimeColor: Flexible Reference Colorization via Temporal Concatenation

Resumo Técnico: TimeColor

1. O Problema

A colorização de vídeos de animação (especialmente a partir de esboços/linhas) é uma tarefa laboriosa que exige consistência de identidade e continuidade de paleta de cores ao longo do tempo.

• Limitações dos Métodos Atuais: A maioria dos modelos de colorização baseados em difusão condiciona-se apenas a uma única referência (geralmente o primeiro quadro da cena). Isso ignora outras fontes valiosas de dados, como folhas de design de personagens, fundos ou quadros coloridos arbitrários.
• Desafios da Multi-Referência: Quando múltiplas referências são usadas, surgem problemas de ambiguidade: o modelo não sabe qual referência deve governar qual região do vídeo. Isso leva a:
  • Vazamento de Identidade (Identity Leakage): Cores de um personagem vazando para outro.
  • Atalhos (Shortcutting): O modelo ignora a referência designada e escolhe a que é visualmente mais similar, quebrando a consistência.
  • Inflexibilidade: Métodos existentes geralmente exigem que as referências venham do mesmo tiro (shot) ou tenham um número fixo de canais de entrada, limitando o uso em fluxos de trabalho de produção reais.

2. Metodologia (TimeColor)

O TimeColor é um modelo baseado em Transformers de Difusão (DiT) projetado para suportar um número variável de referências heterogêneas (esboços, folhas de personagem, fundos, quadros arbitrários) com um orçamento fixo de parâmetros.

Principais Componentes Técnicos:

• Concatenação Temporal (Temporal Concatenation):

  • Em vez de usar canais extras ou ramos de controladores (como ControlNet) que aumentam os parâmetros, o TimeColor codifica todas as referências como quadros latentes adicionais.
  • O vídeo alvo (esboço) e as referências são concatenados ao longo do eixo temporal. Isso permite que o modelo processe um número arbitrário de referências simultaneamente em cada passo de difusão sem alterar a arquitetura base ou o número de parâmetros.

• Indexação RoPE Disjunta por Modalidade (Modality-Disjoint RoPE):

  • Para evitar interferência posicional entre diferentes modalidades (vídeo alvo, esboço, referências), o modelo aplica faixas de índices de RoPE (Rotary Positional Embedding) disjuntas.
  • As referências recebem índices temporais negativos distintos, garantindo que o modelo entenda a separação entre o conteúdo alvo e as referências, mantendo a flexibilidade no comprimento do vídeo.

• Atenção Mascarada por Correspondência Espaço-Temporal (Spatiotemporal Correspondence-Masked Attention):

  • Esta é a inovação central para resolver o vazamento de identidade. O modelo utiliza máscaras de correspondência densas (pixel a pixel) para criar uma ligação rígida (hard binding) entre regiões específicas do esboço e suas referências designadas.
  • Mecanismo: Durante o cálculo da atenção, um token de consulta (query) de uma região do personagem só pode atender a tokens de chave/valor (key/value) da referência designada para aquele personagem.
  • Isso impede que o modelo "pule" para a referência mais similar visualmente (atalho) e força a atribuição correta de cores baseada na máscara de correspondência.

• Pipeline de Dados Automatizado:

  • Para treinar o modelo, os autores criaram um pipeline automatizado usando InternVL3, GroundedSAM2 e DINO para:
    1. Detectar e rastrear instâncias de personagens em grandes conjuntos de dados de animação (Sakuga-42M).
    2. Gerar máscaras de correspondência densas por quadro.
    3. Selecionar referências de cenas diferentes (para aumentar a diversidade de aparência) e criar pares de referência-esboço robustos.

3. Contribuições Principais

1. Framework DiT para Colorização Variável: Proposta de um modelo que suporta referências heterogêneas e de contagem variável através de condicionamento por concatenação temporal, mantendo o custo de parâmetros fixo.
2. Mecanismos de Ligação Rígida: Introdução de RoPE disjunto e atenção mascarada por correspondência para garantir que cada região do vídeo seja colorida estritamente pela sua referência designada, mitigando vazamento de identidade e atalhos.
3. Dataset em Escala: Desenvolvimento de um pipeline automatizado para criar um conjunto de dados massivo de colorização de vídeo com múltiplas referências e máscaras de correspondência pixel a pixel, algo que era inexistente ou escasso.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados Sakuga-42M em três cenários: referência de quadro inicial, quadro arbitrário e multi-referência.

• Desempenho Quantitativo: O TimeColor superou consistentemente os baselines de última geração (como LVCD, AniDoc, ToonCrafter, ToonComposer, LongAnimation e VACE) em todas as métricas:
  • FID/FVD: Melhores scores de qualidade de distribuição de quadros e coerência temporal.
  • SSIM/PSNR/LPIPS: Maior similaridade estrutural e fidelidade de cor em relação às referências.
  • O ganho foi mais pronunciado no cenário de multi-referência, onde os métodos concorrentes falharam devido à ambiguidade e vazamento de cores.
• Desempenho Qualitativo:
  • Consistência de Identidade: Mantém as cores corretas para personagens específicos mesmo quando há mudanças de pose ou ângulo.
  • Estabilidade Temporal: Evita o "bleeding" (sangramento) de cores entre quadros.
  • Robustez: Funciona bem mesmo com referências de quadros arbitrários (não necessariamente o primeiro quadro) e com máscaras de correspondência imperfeitas (simulando cenários reais).

5. Significado e Impacto

O TimeColor representa um avanço significativo na automação da produção de animação 2D.

• Flexibilidade Industrial: Permite o uso de qualquer combinação de referências (folhas de personagem, fundos, quadros de cenas anteriores) sem necessidade de reengenharia do modelo ou aumento de parâmetros.
• Solução para Ambiguidade: Ao substituir a "correlação implícita" (o modelo adivinhar qual cor usar) por uma "ligação explícita" (máscaras de atenção), o modelo resolve o problema fundamental de atribuição de cores em cenas complexas com múltiplos personagens.
• Eficiência: A abordagem de concatenação temporal permite escalar o número de referências apenas aumentando o custo computacional de inferência (sequência), sem aumentar o custo de treinamento ou armazenamento do modelo.

Em resumo, o TimeColor oferece uma solução robusta e escalável para a colorização de vídeos de esboço, alinhando-se melhor às necessidades reais de fluxos de trabalho de animação profissional.