💬 NLP

Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation

Este artículo cuantifica el impacto del condicionamiento de texto en la traducción de escala de grises a color al demostrar que la integración de la guía de CLIP tanto en las arquitecturas U-Net como en Stable Diffusion 1.5 mejora consistentemente la precisión a nivel de píxel, la similitud perceptual y la coloración en comparación con los modelos sin entrada de texto.

Autores originales: Colten Reissmann, Hugo Garrido-Lestache Belinchon

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Colten Reissmann, Hugo Garrido-Lestache Belinchon

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una pila de fotos familiares antiguas en blanco y negro. Quieres darles vida con color, pero no recuerdas si el coche de tu abuelo era rojo o azul, o si el cielo era de un gris tormentoso o de un azul soleado. Este es el problema que enfrentan los científicos de la computación con la colorización de imágenes: una sola imagen en blanco y negro puede colorearse de muchas maneras diferentes e igualmente válidas. Es como intentar adivinar el sabor de un caramelo misterioso solo mirando su envoltorio.

Este artículo plantea una pregunta sencilla: ¿Ayuda al ordenador a adivinar mejor los colores correctos el hecho de darle una descripción escrita (un "prompt de texto")?

Para averiguarlo, los investigadores organizaron un experimento controlado, como una prueba de sabor científica, comparando dos tipos diferentes de "chefs de coloración" (modelos de IA):

El Chef "Desde Cero" (U-Net): Un modelo más pequeño construido desde los cimientos. Tiene que aprender todo sobre los colores desde cero, simplemente mirando las fotos.
El Chef "Experto" (Stable Diffusion): Un modelo masivo, preentrenado, que ya ha "visto" miles de millones de imágenes y sabe mucho sobre cómo suelen ser las cosas.

Para cada chef, crearon dos versiones:

La Versión Silenciosa: El chef mira la foto en blanco y negro e intenta adivinar los colores por su cuenta.
La Versión Susurrada: El chef mira la foto y además lee una frase corta que describe la escena (por ejemplo, "un coche rojo" o "un cielo azul").

Los Resultados: ¿Ayudó el Susurro?

Los investigadores midieron los resultados utilizando cuatro "tarjetas de puntuación" diferentes para ver qué tan cerca estaba la colorización de la IA de la foto de color original y real.

1. El Chef "Desde Cero" (U-Net) obtuvo un gran impulso.
Cuando a este modelo más pequeño se le dieron instrucciones de texto, mejoró drásticamente:

Precisión: Mejoró aproximadamente un 5,6% en la coincidencia exacta de los colores de los píxeles.
Estructura: Mejoró un 1,2% en mantener las formas y líneas correctas.
Vibranteza: ¡Este fue el mayor salto! Los colores se volvieron un 36,6% más vívidos y llenos de vida.
Percepción: El ojo humano percibió el resultado como un 7,6% más realista.

La Analogía: Imagina a un estudiante que nunca ha estudiado arte. Si solo le entregas un boceto en blanco y negro, podría colorear un árbol de marrón o verde al azar. Pero si le susurras: "Este es un pino", de repente sabe exactamente qué verde usar. El texto le dio el conocimiento que le faltaba.

2. El Chef "Experto" (Stable Diffusion) también mejoró, pero de forma diferente.
Dado que este modelo ya sabía mucho sobre los colores, las instrucciones de texto ayudaron, pero de una manera más sutil:

Precisión: Mejoró un 5,8% (similar al modelo pequeño).
Estructura: Mejoró un 1,5%.
Percepción: Fue un 11,3% más realista para el ojo humano.
Vibranteza: Los colores solo mejoraron un 0,6% en vivacidad.

La Analogía: Este chef es como un pintor profesional que ya sabe que los coches suelen ser rojos o azules. Si le susurras "coche rojo", no necesita aprender qué es el rojo; solo necesita que se le recuerde elegir el rojo en lugar del azul. El texto no le enseñó una nueva habilidad; solo le ayudó a tomar una decisión específica.

Por qué esto es importante

El artículo demuestra que el texto es una herramienta poderosa para resolver el "misterio" del color.

Resuelve el juego de las adivinanzas: Sin el texto, la IA a menudo elige colores "seguros", apagados o promedio (como un coche gris) porque no está segura. Con el texto, elige con confianza el color específico solicitado.
Funciona para todos: Ya sea que la IA sea un modelo pequeño que aprende desde cero o un gigante experto preentrenado, añadir instrucciones de texto hizo que los resultados fueran consistentemente mejores.
No es solo cuestión de tamaño: Los investigadores demostraron que la mejora provino específicamente del texto, no de cambiar el tamaño o la estructura del modelo.

Conclusión

Piensa en la imagen en blanco y negro como un rompecabezas con piezas faltantes. La descripción de texto actúa como una pista que te dice exactamente cómo deberían ser esas piezas faltantes. El estudio confirma que dar estos indicios al ordenador resulta en una imagen mucho más clara, precisa y colorida, independientemente de qué tan inteligente sea ya el ordenador.

Nota: El artículo se centra estrictamente en medir estas mejoras en un conjunto específico de fotos. No afirma que estos resultados se apliquen a la imagen médica u otros usos específicos del mundo real, ni predice tecnologías futuras más allá de lo que se probó en este experimento específico.

Resumen Técnico: Colorización de Imágenes Multimodal

Planteamiento del Problema

La traducción automática de imágenes de escala de grises a color es un desafío fundamental en la visión por computadora porque la tarea está mal planteada: un único valor de intensidad de escala de grises no determina de forma unívoca el color original. En consecuencia, una única entrada puede corresponder a múltiples colorizaciones válidas dependiendo de la identidad del objeto, el contexto de la escena o la intención artística. Si bien los enfoques modernos de aprendizaje profundo utilizan modelos probabilísticos y extracción de características semánticas para abordar esta ambigüedad, la naturaleza multimodal inherente del problema sigue siendo un obstáculo central.

Una estrategia prometedora para resolver esta ambigüedad es la incorporación de descripciones de lenguaje natural como señales de condicionamiento. El texto puede definir explícitamente atributos (por ejemplo, "coche rojo" frente a "coche azul") que son indistinguibles en escala de grises. Sin embargo, trabajos previos que integran el condicionamiento de texto (por ejemplo, TIC, DiffColor, Diffusing Colors) introducen simultáneamente múltiples cambios arquitectónicos, tales como backbones modificados, nuevas funciones de pérdida o marcos de difusión. Esto confunde los resultados, haciendo imposible aislar la contribución cuantitativa específica del guiado por texto de otras mejoras arquitectónicas.

Metodología

Para aislar el impacto del condicionamiento de texto, este estudio realiza un estudio de ablación controlado comparando dos niveles arquitectónicos distintos. En ambos niveles, la única variable que cambia es la presencia del condicionamiento de texto; todos los demás hiperparámetros, conjuntos de datos y procedimientos de entrenamiento se mantienen constantes.

Conjunto de Datos:
Los experimentos utilizan el conjunto de datos Open Image Preferences v1 (7,459 pares imagen-prompt). Una división determinista asigna un 90% para el entrenamiento y un 10% para la evaluación, asegurando que no haya filtración de datos del conjunto de prueba.

Nivel Arquitectónico 1: U-Net

Modelo Base (UN-NP): Una U-Net personalizada entrenada desde cero con entradas de escala de grises para predecir salidas RGB. Utiliza la pérdida MSE y contiene aproximadamente 13.4M de parámetros.
Condicionado por Texto (UN-P): Un backbone idéntico aumentado con capas de atención cruzada (cross-attention) en profundidades específicas del codificador/decodificador. Estas capas atienden a las incrustaciones (embeddings) de un codificador CLIP ViT-B/32 congelado. El modelo contiene aproximadamente 16.4M de parámetros.
Entrenamiento: Ambos modelos utilizan la optimización Adam. UN-P se entrena con un dropout de prompt vacío del 10% para evitar el sobreajuste al texto.

Nivel Arquitectónico 2: Stable Diffusion 1.5

Modelo Base (SD-NP): Un checkpoint de Stable Diffusion 1.5 ajustado (fine-tuned) donde cada leyenda es reemplazada por una cadena vacía, entrenando efectivamente un modelo incondicional.
Condicionado por Texto (SD-P): El mismo checkpoint ajustado con leyendas reales.
Configuración: Ambas variantes operan en el espacio CIELAB (prediciendo canales ab). Crucialmente, ambas utilizan una escala de guía de 1.0 (sin amplificación de Classifier-Free Guidance). Esta elección de diseño aísla el efecto del condicionamiento de texto únicamente a través de la atención cruzada, evitando el riesgo de que las señales de texto sobrepasen el condicionamiento de escala de grises, lo cual se observó en experimentos anteriores con escalas altas.

Métricas de Evaluación:
El rendimiento se mide en un conjunto de prueba no utilizado de 745 imágenes mediante:

PSNR y SSIM: Fidelidad de píxeles y estructural.
LPIPS: Similitud perceptual (menor es mejor).
Colorfulness (Colorido): Índice de Hasler–Süsstrunk (mayor es más vívido).
Todas las métricas se computan a una resolución de 512×512 (las predicciones de U-Net se reescalan mediante interpolación bilineal para una comparación justa).

Contribuciones Clave

Ablación Controlada: El primer estudio que cuantifica el impacto del condicionamiento de texto en la colorización manteniendo todas las demás variables constantes a través de dos escalas arquitectónicas muy diferentes (una U-Net de ~13M de parámetros y un modelo Stable Diffusion de ~859M de parámetros).
Evaluación Cuantitativa: Un análisis estadístico riguroso utilizando pruebas t pareadas sobre las métricas por imagen para determinar la significancia de las mejoras.
Análisis Cualitativo: Un examen de escenarios específicos donde el condicionamiento de texto proporciona el mayor beneficio (desambiguación de objetos ambiguos) frente a donde ofrece una ventaja limitada (escenas estereotípicas).

Resultados

El estudio demuestra que el condicionamiento de texto proporciona mejoras consistentes y mensurables en ambas escalas de arquitectura.

Nivel U-Net (UN-NP vs. UN-P):

PSNR: Mejora del +5.6% (19.13 → 20.21).
SSIM: Mejora del +1.2%.
LPIPS: Reducción del -7.6% (mejora).
Colorfulness: Incremento del +36.6%.
Significancia: Todas las mejoras son altamente significativas desde el punto de vista estadístico ( $p < 10^{-13}$ ) con tamaños de efecto medianos.

Nivel Stable Diffusion (SD-NP vs. SD-P):

PSNR: Mejora del +5.8% (19.65 → 20.79).
SSIM: Mejora del +1.5%.
LPIPS: Reducción del -11.3% (mejora).
Colorfulness: Incremento del +0.6% (estadísticamente insignificante, $p=0.71$ ).
Significancia: Las mejoras en PSNR, SSIM y LPIPS son altamente significativas.

Análisis Comparativo:
Aunque las ganancias de PSNR son comparables entre niveles (~5.6–5.8%), la naturaleza de la mejora difiere. El nivel U-Net muestra un aumento dramático en el colorido, lo que sugiere que el texto proporciona una fuente crítica de información semántica externa para modelos entrenados desde cero. En contraste, el nivel Stable Diffusion, que posee priors visuales preentrenados ricos de miles de millones de pares de texto-imagen, muestra una mayor reducción en el error perceptual (LPIPS) pero una ganancia mínima en el colorido, ya que el backbone ya codifica asociaciones de color fuertes.

Significancia y Afirmaciones

El artículo concluye que el condicionamiento de texto es un mecanismo independiente de la arquitectura que mejora la calidad de la colorización. La consistencia de las mejoras en PSNR y LPIPS a través de una diferencia de 50 veces en el recuento de parámetros sugiere que el beneficio no es simplemente una función de la capacidad del modelo, sino una resolución fundamental de la naturaleza mal planteada del problema.

Los autores argumentan que para los modelos entrenados desde cero (como la U-Net), el condicionamiento de texto actúa como una señal necesaria para resolver la ambigüedad del color que los píxeles de escala de grises por sí solos no pueden proporcionar, rompiendo efectivamente un cuello de botella de información en lugar de uno de capacidad. Para los modelos grandes preentrenados (Stable Diffusion), el condicionamiento de texto refina la salida para que sea más semánticamente precisa y perceptualmente cercana a la verdad de campo (ground truth), incluso si la ganancia marginal en la vivacidad del color es menor.

El estudio enfatiza que las afirmaciones previas de superioridad guiada por texto eran difíciles de atribuir únicamente al texto debido a los cambios arquitectónicos concurrentes. Al aislar la variable, este trabajo confirma que el guiado por lenguaje natural es un contribuyente distinto y poderoso a la colorización automática de imágenes.