SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation

1. El Problema

La transformación de bocetos en blanco y negro (line-art) en imágenes completamente coloreadas es una tarea fundamental en flujos de trabajo creativos como el diseño de productos, storyboards y arte conceptual. Sin embargo, existen desafíos significativos en los métodos actuales:

• Ambigüedad Espacial: Los enfoques basados en texto (prompts) son potentes semánticamente pero carecen de precisión espacial, lo que a menudo resulta en errores semánticos y "sangrado" de colores (color bleeding) en regiones no deseadas.
• Falta de Control Directo: Los métodos tradicionales de transferencia de color o asignación manual son precisos pero extremadamente laboriosos y poco prácticos para flujos de trabajo modernos.
• Compromiso entre Control y Calidad: Existe una dicotomía entre la precisión del control del usuario y la calidad de generación de los modelos de difusión. Los métodos que ofrecen control preciso a menudo requieren un entrenamiento costoso o fine-tuning, mientras que los métodos sin entrenamiento carecen de la capacidad de seguir instrucciones de color específicas por región.

2. Metodología: SketchDeco

SketchDeco propone un marco sin entrenamiento (training-free) que reformula el coloreado de bocetos como un problema de composición en el espacio latente. El método no requiere ajustar los pesos del modelo base, sino que orquesta la inferencia de modelos de difusión preentrenados (como Stable Diffusion) mediante un proceso de dos etapas secuenciales:

A. Etapa Global: Coloreado del Boceto

El objetivo es generar una imagen base coherente que preserve la estructura del boceto y utilice una paleta de colores global.

1. Predicción Semántica: Se utiliza BLIP-2 en una configuración de Respuesta Visual a Preguntas (VQA) para inferir la clase del objeto en el boceto (ej. "gato", "coche") sin necesidad de etiquetas manuales.
2. Búsqueda de Nombres de Color: Dado que los modelos de difusión requieren texto y no códigos hexadecimales directos, se emplea un Árbol K-Dimensional (K-D Tree) para mapear los códigos de color hexadecimales proporcionados por el usuario a los nombres de colores estándar de la base de datos CSS3 (ej. convertir #FF4013 a "orange red").
3. Generación con ControlNet: Se utiliza un Scribble ControlNet preentrenado junto con un prompt de texto enriquecido (clase + nombre de colores + estilo fotográfico) para generar múltiples variantes globalmente coloreadas ($\mathcal{I}^G$) que respetan la estructura del boceto.

B. Etapa Local: Composición Latente Guiada

Esta es la contribución central para lograr precisión regional. En lugar de intentar colorear directamente desde el texto, el método realiza una composición en el espacio latente:

1. Composición en Espacio de Píxeles: Se toman las regiones coloreadas de las variantes globales y se combinan con una imagen de fondo (generada sin descripción de color específica) utilizando las máscaras de región definidas por el usuario. Esto crea una imagen compuesta $\mathcal{I}^*$.
2. Inversión mediante ODE: La imagen compuesta $\mathcal{I}^*$ se invierte de nuevo al espacio latente ruidoso ($z^*$) utilizando DPM-Solver++ y un proceso de inversión de Ecuaciones Diferenciales Ordinarias (ODE).
   • Innovación clave: Para evitar errores de reconstrucción comunes en la inversión condicional, se reemplaza el "prompt nulo" (vacío) por un "prompt excepcional" ($\mathbf{T}_{except}$) que elimina tokens especiales y posiciones, asegurando una trayectoria de inversión más estable.
3. Inyección de Ruido y Atención: Se incorpora ruido gaussiano adicional en las zonas de transición (bordes de las máscaras) para suavizar las uniones. Luego, se realiza una inyección de mapas de autoatención derivados de la imagen compuesta original.
   • Un factor de escala $\tau$ regula el equilibrio: al principio del proceso de denoising, la autoatención preserva la estructura del boceto y la fidelidad del color local; hacia el final, el prompt de texto guía la transición suave y la armonía global.

3. Contribuciones Clave

1. Marco de Composición sin Entrenamiento: Un enfoque novedoso que combina máscaras y paletas de colores para un control preciso sin necesidad de fine-tuning del modelo.
2. Técnica de Composición en Espacio Latente: Combina la inversión de difusión (con DPM-Solver++) y el muestreo guiado para lograr simultáneamente fidelidad de color local y armonía global.
3. Mecanismo de Atención Personalizado: Un mecanismo que inyecta mapas de autoatención para equilibrar adaptativamente la preservación de la estructura del boceto con la difusión controlada del color.
4. Eficiencia y Accesibilidad: El sistema genera resultados de alta calidad en solo 15-20 pasos de inferencia en GPUs de consumo (ej. RTX 4090), haciendo accesible un coloreado profesional y controlable.

4. Resultados y Evaluación

El método fue evaluado en cuatro conjuntos de datos diversos: AFHQ (animales), Place365 (escenas interiores/exteriores), Danbooru2023 (anime) y PascalVOC2012 (escenas naturales).

• Comparación Cualitativa: SketchDeco supera a los métodos del estado del arte (SOTA) como DiffBlender, T2I-Adapter, ColorizeDiffusion y MangaNinja. Muestra una mayor fidelidad a la estructura del boceto, colores más vivos y una mejor coherencia global, evitando el sangrado de colores típico de los métodos basados solo en texto.
• Métricas Cuantitativas:
  • Logra los mejores puntajes en FID (Fréchet Inception Distance) y DCCW (Dynamic Closest Color Warping), indicando una mayor similitud en la distribución de imágenes y una mejor fidelidad de la paleta de colores.
  • Supera a métodos que requieren fine-tuning (como Anime-Painter o CounterfeitXL) en adaptabilidad de dominio, demostrando que el enfoque sin entrenamiento puede igualar o superar a modelos especializados.
• Estudios de Ablación:
  • La inversión con "prompt excepcional" es crucial para la estabilidad.
  • El factor de escala $\tau$ es vital para equilibrar la fidelidad estructural y la suavidad de los colores.
  • El uso de K-D Tree para mapear colores es más eficiente y preciso que el uso de LLMs para nombrar colores.

5. Significado e Impacto

SketchDeco representa un avance significativo en la interacción humano-IA para tareas creativas.

• Democratización del Diseño: Permite a diseñadores y artistas utilizar herramientas familiares (como Photoshop para máscaras) y especificar colores exactos sin necesidad de conocimientos técnicos en entrenamiento de modelos.
• Paradigma de "Zero-Shot": Demuestra que es posible lograr un control espacial y cromático de alta precisión utilizando únicamente la capacidad generativa de modelos preentrenados, eliminando la barrera de entrada del fine-tuning costoso.
• Flujo de Trabajo Híbrido: Integra exitosamente la generación global (creatividad del modelo) con la edición local (control del usuario), resolviendo el problema de la ambigüedad espacial que ha limitado a los modelos de difusión en tareas de coloreado preciso.

En resumen, SketchDeco establece un nuevo estándar para el coloreado de bocetos, ofreciendo una solución rápida, sin entrenamiento y altamente controlable que cierra la brecha entre las necesidades de diseño profesional y la intuición del usuario.