Towards High-resolution and Disentangled Reference-based Sketch Colorization

Este artículo presenta un marco de trabajo de doble rama con regularización Gram y una red de etiquetado específica para anime que minimiza directamente el desplazamiento de distribución entre los datos de entrenamiento y prueba, logrando así un estado del arte en colorización de bocetos de alta resolución y controlable.

Lo esencial

¡Hola! Imagina que tienes un dibujo a lápiz en blanco y negro (un boceto) y quieres darle vida con colores, pero no quieres pintar tú mismo. Quieres que una "máquina mágica" haga el trabajo basándose en una foto de referencia que tú eliges. Por ejemplo, le das un dibujo de un personaje y una foto de un gato naranja, y esperas que el dibujo se convierta en un gato naranja.

El problema es que, hasta ahora, estas máquinas eran un poco torpes. A veces, al intentar copiar el color del gato, también copiaban la forma del gato, arruinando el dibujo original. Si tu dibujo era de una chica, la máquina podía ponerle orejas de gato o cambiarle la cara porque se confundió entre el dibujo y la foto de referencia.

Este paper presenta una nueva solución inteligente para arreglar esto. Aquí te lo explico con analogías sencillas:

1. El Problema: "El Baile Confuso"

Imagina que el dibujo (el boceto) es la arquitectura de una casa (dónde están las paredes, las ventanas) y la foto de referencia es el decorado (el color de la pintura, el estilo de los muebles).

Las máquinas anteriores intentaban decorar la casa, pero se confundían: empezaban a mover las paredes porque les gustaba el color de la pintura de la foto. Esto se llama "Entrelazamiento Espacial" en la jerga técnica. La máquina pensaba: "¡Oh, la foto tiene un árbol aquí, así que mi dibujo también debe tener un árbol en esa posición!", aunque en el dibujo no había ningún árbol.

2. La Solución: "El Entrenador de Dos Equipos"

Los autores crearon un sistema especial llamado Arquitectura de Doble Rama. Imagina que tienes a dos estudiantes aprendiendo a pintar:

• Estudiante A (El Entrenamiento Ideal): Le das un dibujo y la foto de referencia perfectamente emparejadas (como si la foto fuera la versión a color del dibujo). Este estudiante aprende cómo se ven los colores.
• Estudiante B (La Realidad Caótica): Le das el mismo dibujo, pero una foto de referencia totalmente diferente y aleatoria (como un dibujo de una casa y una foto de un perro).

El truco genial es que ambos estudiantes comparten el mismo cerebro (el modelo), pero se les obliga a aprender de una manera muy estricta.

3. La Regla de Oro: "La Brújula de la Estructura"

Aquí entra la parte más creativa: la Pérdida de Regularización Gram.

Imagina que el "Estudiante B" (el que recibe la foto aleatoria) empieza a copiar la forma del perro de la foto en el dibujo de la casa. El sistema tiene una brújula mágica (la pérdida Gram) que grita: "¡Alto! ¡El dibujo de la casa debe mantener su forma de casa, sin importar si la foto de referencia es un perro, un gato o un pastel!".

Esta brújula compara lo que ve el Estudiante A con lo que ve el Estudiante B y les dice: "Vuestros dibujos deben tener la misma estructura geométrica, aunque los colores vengan de lugares distintos". Así, la máquina aprende a separar perfectamente dónde están las cosas (el dibujo) de cómo se ven (la foto de referencia).

4. El Toque Final: "El Traductor de Anime"

Para que los colores sean perfectos, especialmente en dibujos de anime, usaron un traductor especial (llamado WD-Tagger).

• En lugar de que la máquina adivine qué es "cabello rojo" o "vestido azul" basándose en palabras genéricas, este traductor lee la foto de referencia y le dice a la máquina exactamente: "Oye, aquí hay 'cabello rosa', aquí hay 'ojos verdes'".
• Es como si en lugar de decirle al pintor "pinta algo bonito", le dieras una lista de ingredientes exactos: "necesito 3 gramos de azul cielo, 5 gramos de piel clara".

5. El Resultado: "La Casa Perfecta"

Gracias a todo esto, el nuevo método logra:

• Resolución Alta: Los dibujos salen nítidos y grandes, no borrosos.
• Control Total: Si quieres cambiar el color del sombrero pero no el del pelo, la máquina lo entiende.
• Sin Errores: No aparecen objetos extraños ni se deforman las caras.

En resumen:
Antes, las máquinas de colorear eran como niños pequeños que, al intentar copiar un dibujo de un libro, terminaban borrando el dibujo original para poner el dibujo del libro encima. Esta nueva técnica es como tener un arquitecto experto que sabe exactamente dónde van las paredes (el dibujo) y un decorador experto que pone los colores (la referencia), pero que nunca se atreve a mover las paredes. ¡El resultado es un dibujo a color hermoso, fiel al original y con los colores que tú querías!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Towards High-resolution and Disentangled Reference-based Sketch Colorization" en español:

1. El Problema: Desplazamiento de Distribución y Entrelazamiento Espacial

El artículo aborda el desafío crítico en la colorización de bocetos basada en referencias, una tarea esencial para la animación y la ilustración digital. El problema central identificado es el desplazamiento de distribución (distribution shift) entre los datos de entrenamiento y los datos de inferencia:

• Entrenamiento: Los modelos se entrenan con tripletes semánticamente alineados (boceto, referencia y ground-truth derivados de la misma imagen).
• Inferencia: En la práctica, el boceto y la imagen de referencia pueden provenir de fuentes completamente diferentes y no estar relacionados.

Esta discrepancia provoca un fenómeno llamado Entrelazamiento Espacial (Spatial Entanglement). El modelo aprende erróneamente a transferir la estructura espacial de la imagen de referencia al resultado final, en lugar de depender únicamente del boceto. Esto genera artefactos graves como:

• Objetos redundantes o no deseados.
• Sangrado de colores a través de límites estructurales.
• Distorsión de partes del cuerpo o geometría.
• Degradación de la calidad en resoluciones altas.

Los métodos anteriores intentaron mitigar estos artefactos visualmente, pero no resolvieron la causa raíz del problema de distribución.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que ataca directamente el desplazamiento de distribución mediante tres componentes clave:

A. Arquitectura de Alineación de Características de Doble Rama (DBFA)

Para modelar explícitamente el desplazamiento de distribución, se introduce una arquitectura de dos ramas que comparten pesos:

1. Rama Semánticamente Alineada: Simula el proceso de entrenamiento (boceto y referencia derivados de la misma imagen).
2. Rama Semánticamente Desalineada: Simula el proceso de inferencia (boceto y referencia aleatorios e irrelevantes).

El objetivo es forzar a la rama desalineada a mantener la segmentación espacial del boceto, independientemente de la referencia de color.

B. Pérdida de Regularización Gram (Gram Regularization Loss)

Para cerrar la brecha entre ambas ramas, se aplica una Pérdida de Regularización Gram sobre los mapas de características de ambas ramas.

• Mecanismo: Calcula la matriz de Gram (correlaciones espaciales) de las características en las capas finales del codificador y decodificador del U-Net.
• Funcionamiento: Se fuerza a que la matriz de Gram de la rama desalineada se alinee con la de la rama alineada (que actúa como ancla).
• Resultado: Esto penaliza las correlaciones espaciales espurias derivadas de la imagen de referencia, obligando a la red a derivar la estructura y la segmentación exclusivamente del boceto, logrando así el desentrelazamiento de la geometría del estilo.

C. Control de Atribución con WD-Tagger y SDXL

• Backbone: Se utiliza Stable Diffusion XL (SDXL) por su capacidad de alta resolución.
• WD-Tagger: Se reemplaza el codificador de texto CLIP-L estándar por una red WD-Tagger especializada en anime (entrenada en un dataset masivo de anime). Esto permite una extracción de atributos de bajo nivel (color de pelo, tipo de ropa, tema de fondo) mucho más precisa y granular que los embeddings genéricos de CLIP.
• Módulo Plugin: Se añade un módulo independiente para la etapa de refinamiento que transfiere características de bajo nivel (texturas y estilo global) para mejorar la coherencia del fondo y los detalles finos, evitando que la regularización Gram haga los fondos demasiado aleatorios.

3. Contribuciones Clave

1. Modelado Explícito del Desplazamiento: Propuesta de un marco de doble rama que modela tanto el entrenamiento como la inferencia para resolver el entrelazamiento espacial en su origen.
2. Regularización Gram: Introducción de una pérdida de regularización Gram que garantiza la coherencia de la distribución entre dominios y fuerza la independencia espacial de la referencia.
3. Control de Alta Resolución y Precisión: Integración de SDXL con un Tagger específico para anime y un módulo de plugin, logrando resultados de alta resolución (1024px - 1280px) con control preciso sobre atributos y texturas.
4. Rendimiento Superior: Demostración de que el método supera a los métodos actuales (State-of-the-Art) en calidad, resolución y controlabilidad.

4. Resultados y Evaluación

El método fue evaluado exhaustivamente mediante comparaciones cualitativas, cuantitativas y estudios con usuarios:

• Comparación Cualitativa: El método propuesto genera texturas más ricas, distribuciones de color más armoniosas y elimina los artefactos espaciales (como objetos fantasma o sangrado de color) que afectan a métodos como MangaNinja, IP-Adapter o ColorizeDiffusion. Mantiene la consistencia geométrica incluso en resoluciones altas.
• Comparación Cuantitativa:
  • FID (Fréchet Inception Distance): Obtuvo el mejor puntaje (8.28), indicando una distribución de imágenes generadas mucho más cercana a la realidad en comparación con el segundo mejor (12.09).
  • MS-SSIM y CLIP Score: También superó a los baselines en similitud estructural y alineación semántica.
  • Nota: Aunque MangaNinja obtuvo un PSNR ligeramente superior, esto se debió a su incapacidad para generar fondos complejos (lo que reduce el error de reconstrucción), mientras que el método propuesto genera fondos complejos y detallados.
• Estudio de Usuarios: En una prueba con 30 participantes, el método propuesto fue preferido significativamente (p < 0.01) sobre todos los métodos de comparación en todas las parejas evaluadas, con una tasa de preferencia del 79.6% frente al siguiente mejor (75.4%).
• Validación Cross-Content: El modelo demostró robustez al colorear bocetos y referencias de dominios totalmente diferentes (ej. retrato vs. paisaje), sin sufrir entrelazamiento espacial.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la colorización asistida por IA al pasar de simplemente "mitigar artefactos" a resolver fundamentalmente el problema de la distribución de datos.

• Viabilidad Industrial: Al permitir la generación de imágenes de alta resolución (1024px+) con control preciso y sin entrelazamiento estructural, el método es directamente aplicable en flujos de trabajo de producción de animación e ilustración digital, reduciendo la carga manual.
• Generalización: La capacidad de manejar pares de boceto-referencia arbitrarios (no alineados) hace que la herramienta sea mucho más versátil y robusta para casos de uso reales, donde las referencias raramente provienen de la misma imagen que el boceto.
• Innovación Técnica: La combinación de la regularización Gram para el desentrelazamiento espacial y el uso de taggers especializados para el control de atributos establece un nuevo estándar para las tareas de traducción imagen-a-imagen (I2I) guiadas por referencias.

El código del proyecto está disponible públicamente en el repositorio GitHub mencionado en el artículo.