TimeColor: Flexible Reference Colorization via Temporal Concatenation

1. El Problema

La colorización de videos de animación basados en bocetos (sketches) es una tarea laboriosa que requiere mantener la consistencia de la identidad de los personajes y la continuidad de la paleta de colores a través de múltiples fotogramas.

• Limitaciones de los métodos actuales: La mayoría de los modelos de colorización existentes se basan en una única referencia (generalmente el primer fotograma de la escena). Esto ignora otras fuentes de datos condicionales valiosas como hojas de diseño de personajes, fondos o fotogramas coloreados arbitrarios.
• Desafíos en escenarios multi-referencia: Cuando se intenta usar múltiples referencias heterogéneas (ej. un personaje de una escena diferente, un fondo distinto), los modelos sufren de:
  • Ambigüedad: No saben qué referencia debe controlar qué región del video.
  • Fugas de identidad (Identity Leakage): Los colores de un personaje se "fugan" a otro.
  • Atajos (Shortcutting): El modelo ignora las asignaciones explícitas y se basa en similitudes visuales superficiales, fallando en mantener la consistencia.
  • Inflexibilidad: Los métodos actuales a menudo requieren arquitecturas fijas o múltiples pasadas de inferencia, lo que aumenta el costo computacional y la complejidad.

2. Metodología (TimeColor)

TimeColor es un marco basado en Transformadores de Difusión (DiT) diseñado para la colorización de videos de bocetos con un número variable de referencias heterogéneas. Su arquitectura se basa en tres pilares principales:

A. Concatenación Temporal para Condicionamiento Variable

En lugar de usar canales adicionales o ramas de control (como ControlNet) que asumen un número fijo de entradas, TimeColor codifica todas las referencias como fotogramas latentes adicionales.

• Mecanismo: Los fotogramas del boceto objetivo y las imágenes de referencia se incrustan en la misma resolución latente y se concatenan a lo largo del eje temporal.
• Ventaja: Esto permite procesar un número arbitrario de referencias concurrentemente en cada paso de difusión sin aumentar la cantidad de parámetros del modelo. El modelo ve las referencias simplemente como "fotogramas anteriores" en la secuencia temporal.

B. Indexación RoPE Disjunta por Modalidad (Modality-Disjoint RoPE)

Para evitar interferencias posicionales al concatenar diferentes modalidades (objetivo, boceto, referencias), se utiliza una modificación en la codificación de posición rotatoria (RoPE).

• Funcionamiento: Se asignan rangos de índices de RoPE disjuntos para cada modalidad. Por ejemplo, los tokens de referencia reciben índices temporales negativos o desplazados ($l = -r$), mientras que el objetivo y el boceto comparten el índice temporal actual.
• Objetivo: Esto asegura que el modelo entienda que las referencias son entidades separadas en el tiempo y no se mezclen posicionalmente con el contenido objetivo, permitiendo longitudes de video flexibles.

C. Atención Enmascarada por Correspondencia Espaciotemporal

Para resolver la ambigüedad de "qué referencia va a qué región", se introduce un mecanismo de atención estricto.

• Máscaras de Correspondencia: Se utilizan máscaras de correspondencia densas a nivel de píxel (generadas automáticamente) que asignan cada región del boceto a un índice de referencia específico.
• Enmascaramiento de Atención: Se aplica una máscara binaria dura en el mecanismo de atención 3D del DiT. Un token de consulta (target) solo puede atender a los tokens de referencia que le han sido asignados explícitamente por la máscara.
• Resultado: Esto fuerza un enlace estricto sujeto-referencia, eliminando la fuga de paleta entre diferentes identidades y previniendo que el modelo elija la referencia "más similar" en lugar de la correcta.

D. Generación de Datos Automatizada

Dado que faltan conjuntos de datos con seguimiento de instancias y correspondencia densa, los autores desarrollaron un pipeline automatizado utilizando InternVL3, GroundedSAM2 y DINO.

• Este pipeline detecta sujetos, rastrea máscaras a través del tiempo y extrae referencias de escenas diferentes (aumentando la brecha de apariencia entre referencia y objetivo) para entrenar el modelo en condiciones realistas y difíciles.

3. Contribuciones Clave

1. TimeColor: Un marco DiT para la colorización de videos que soporta un número variable y heterogéneo de referencias mediante condicionamiento por concatenación temporal, manteniendo un presupuesto fijo de parámetros.
2. Mecanismos de Enlace Sujeto-Referencia: Propuesta de indexación RoPE disjunta y atención enmascarada por correspondencia para mitigar atajos y fugas de identidad en escenarios multi-referencia.
3. Pipeline de Datos a Gran Escala: Creación de un conjunto de datos de colorización de videos de bocetos con referencias múltiples y máscaras de correspondencia a nivel de píxel, generado automáticamente.

4. Resultados

Los experimentos se realizaron en el conjunto de datos Sakuga-42M bajo tres protocolos: referencia de fotograma inicial, fotograma arbitrario y múltiples referencias.

• Rendimiento Cuantitativo: TimeColor superó consistentemente a los modelos de referencia (LVCD, AniDoc, ToonCrafter, ToonComposer, LongAnimation, VACE) en todas las métricas:
  • Fidelidad de color: Mejores puntuaciones en SSIM, PSNR y LPIPS.
  • Calidad de video: Mejores resultados en FVD (Fréchet Video Distance) y FID.
  • Estabilidad temporal: Mayor coherencia entre fotogramas.
  • El mayor margen de mejora se observó en el régimen de múltiples referencias, donde los métodos basales fallan debido a la ambigüedad.
• Rendimiento Cualitativo:
  • Logra una mayor adherencia a las referencias asignadas sin "sangrado" de colores entre personajes.
  • Mantiene la consistencia de identidad incluso cuando las referencias provienen de escenas con diferentes poses, puntos de vista o iluminación.
  • Funciona bien con referencias de fotogramas arbitrarios (no solo el primero), algo que los métodos basales no manejan bien.

5. Significado e Impacto

TimeColor representa un avance significativo en la automatización de la producción de animación 2D:

• Eficiencia en Producción: Permite a los animadores utilizar hojas de diseño, fondos y fotogramas de escenas anteriores como referencias directas, reduciendo drásticamente el trabajo manual de corrección de color y consistencia.
• Flexibilidad Técnica: Demuestra que es posible manejar entradas condicionales variables y heterogéneas en modelos de difusión sin aumentar la complejidad paramétrica, resolviendo el problema de la ambigüedad en la asignación de referencias mediante mecanismos de atención estrictos.
• Generalización: Al entrenarse con un pipeline de datos automatizado que incluye referencias de escenas cruzadas, el modelo es más robusto a cambios de perspectiva y oclusiones, acercándose más a las necesidades reales de la industria de la animación.

En resumen, TimeColor transforma la colorización de bocetos de un proceso dependiente de una sola referencia estática a un sistema flexible y controlable que puede integrar múltiples fuentes de información visual de manera coherente y eficiente.