💻 computer science

NumColor: Precise Numeric Color Control in Text-to-Image Generation

NumColor es un método que permite un control preciso de colores numéricos (como códigos hexadecimales y valores RGB) en modelos de generación de imágenes texto-a-imagen, superando las limitaciones de tokenización mediante un agregador de tokens y un libro de colores entrenado con datos sintéticos, lo que logra mejoras significativas en la precisión y armonía del color en múltiples arquitecturas sin necesidad de adaptación específica.

Autores originales: Muhammad Atif Butt, Diego Hernandez, Alexandra Gomez-Villa, Kai Wang, Javier Vazquez-Corral, Joost Van De Weijer

Publicado 2026-03-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Muhammad Atif Butt, Diego Hernandez, Alexandra Gomez-Villa, Kai Wang, Javier Vazquez-Corral, Joost Van De Weijer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes un artista digital súper talentoso (una Inteligencia Artificial) al que puedes pedirle que pinte cualquier cosa solo con describirte con palabras. Si le dices "pinta un coche rojo", lo hace genial. Pero si le das un código de color exacto, como un número de teléfono de la pintura (por ejemplo, #FF5733), el artista se confunde totalmente y pinta un naranja o un marrón en lugar del rojo exacto que querías.

El paper que me has pasado presenta una solución genial llamada NumColor. Vamos a explicarlo con una analogía sencilla:

El Problema: El "Traductor" que no entiende los números

Imagina que el artista (la IA) habla un idioma muy extraño. Cuando le dices "rojo", él entiende perfectamente. Pero cuando le das un código hexadecimal (#FF5733), su "traductor" interno (llamado tokenizador) rompe ese código en pedazos pequeños y sin sentido, como si dijera: "Pinta un símbolo de almohadilla (#), luego una F, luego otra F, luego un 5...".

Como el artista ve estos pedazos sueltos, no sabe que juntos significan un color específico. Es como si le dieras a un chef una receta que dice "pon 2, 5, 7" en lugar de "257 gramos de harina". El chef se pierde y pone lo que le da la gana.

La Solución: NumColor (El "Puente Mágico")

Los autores crearon NumColor, que actúa como un traductor y organizador que se coloca justo antes de que el artista empiece a pintar. Tiene dos partes principales:

1. El "Detective de Colores" (Color Token Aggregator)

Piensa en esto como un detective muy listo que revisa la nota del cliente antes de dársela al artista.

Si el cliente escribe #FF5733, el detective ve esos pedazos sueltos y dice: "¡Espera! Estos pedazos forman un solo color".
Los une en un solo paquete coherente para que el artista no se confunda. Ya no ve "F, F, 5...", sino "¡Este es un color rojo específico!".

2. El "Diccionario de Colores Perfectos" (ColorBook)

Aquí está la magia. Los autores crearon un gigantesco diccionario (llamado ColorBook) que contiene 6,707 colores perfectos.

Imagina que este diccionario no usa nombres como "rojo" o "azul", sino que usa un mapa de coordenadas (como un GPS) que sabe exactamente dónde está cada color en el mundo real.
Cuando el detective le pasa el código #FF5733 al diccionario, este busca en su mapa, encuentra el color exacto y le entrega al artista una "tarjeta mágica" que dice: "Usa exactamente este tono".
Lo mejor es que este diccionario es tan inteligente que puede inventar colores nuevos que no tenía guardados, interpolando (mezclando suavemente) los colores vecinos, como si fuera un pintor que mezcla dos pinturas para crear una tercera nueva.

¿Cómo lo entrenaron? (El "Laboratorio de Pintura")

Para enseñarle a este sistema a ser perfecto, los autores no usaron fotos de internet (que a veces tienen mala luz o sombras que confunden los colores). En su lugar, construyeron un laboratorio virtual (llamado NumColor-Data):

Crearon 500,000 imágenes de objetos (coches, tazas, osos de peluche) en un mundo 3D perfecto.
Pintaron cada objeto con un color exacto, sin sombras ni brillos extraños.
Le dijeron a la IA: "Este objeto es exactamente de este color".
Así, la IA aprendió a asociar el código numérico con el color real sin distracciones.

El Resultado: ¡Un salto cuántico!

Antes de NumColor, si le pedías a la IA un color exacto, acertaba menos del 15% de las veces.

Con NumColor: La precisión se multiplica por 4 o 9 veces.
Además, los colores no solo son exactos, sino que combinan mejor entre sí (como una paleta de colores profesional).

Lo más impresionante es que funciona en casi cualquier IA de dibujo (como FLUX, Stable Diffusion, PixArt) sin tener que volver a entrenar a la IA desde cero. Es como ponerle unas gafas de realidad aumentada a la IA para que pueda "ver" los códigos de color que antes le eran invisibles.

En resumen

NumColor es como darle a un artista digital un lápiz de precisión milimétrica en lugar de un pincel gordo. Ahora, si un diseñador le pide un color exacto para su marca, la IA ya no adivinará; pintará el color exacto que necesita, tal como si fuera un humano experto en diseño. ¡Es un gran paso para que la IA sea útil en el mundo profesional del diseño y la publicidad!

1. El Problema

Aunque los modelos de difusión de texto a imagen (T2I) han logrado una fidelidad visual notable, sufren de una limitación crítica: la incapacidad de interpretar y generar colores precisos basados en códigos numéricos (como códigos hexadecimales #FF5733 o valores RGB rgb(255,87,51)).

Las causas principales de este fallo son:

Fragmentación por Tokenización: Los codificadores de texto estándar (como CLIP o T5) dividen los códigos de color en subpalabras sin sentido semántico (ej. #FF5733 se convierte en #, FF, 57, 33). Estos tokens fragmentados carecen de una representación coherente de color en el espacio de incrustaciones y rompen el mecanismo de atención cruzada, haciendo que el modelo asocie partes del código con regiones aleatorias de la imagen en lugar del objeto objetivo.
Falta de Datos de Entrenamiento: Los conjuntos de datos masivos de texto-imagen describen colores principalmente mediante nombres (ej. "rojo", "azul marino"), raramente utilizando especificaciones numéricas precisas.
Brecha de Alineación: Existe una desconexión geométrica entre la representación numérica del color y el espacio de incrustaciones del codificador de texto, lo que impide una interpolación suave y una correspondencia precisa.

2. Metodología: NumColor

El authors proponen NumColor, un marco de trabajo modular que permite el control numérico preciso del color en modelos de difusión existentes sin necesidad de reentrenar el modelo base completo. Se compone de dos componentes principales y un conjunto de datos sintético:

A. Color Token Aggregator (CTA)

Es un módulo ligero e independiente del tokenizador diseñado para resolver la fragmentación.

Funcionamiento: Opera a nivel de caracteres. Convierte cada token en una secuencia de caracteres, utiliza capas convolucionales 1D para capturar patrones a múltiples escalas y un codificador Transformer para contextualizar la secuencia.
Salida: Utiliza un clasificador lineal con una capa CRF (Campos Aleatorios Condicionales) para identificar y unificar los fragmentos de un código de color en un único token semántico coherente, independientemente de cómo el tokenizador original haya dividido el código.

B. ColorBook

Es un código de incrustaciones aprendible que mapea los colores al espacio de incrustaciones del texto.

Estructura: Contiene 6,707 anclajes de color muestreados uniformemente en el espacio de color CIE Lab (que es perceptualmente uniforme) dentro del gamut sRGB. Esto reduce drásticamente la complejidad en comparación con intentar aprender incrustaciones para los 16.7 millones de colores RGB posibles.
Inicialización: Las incrustaciones se inicializan utilizando categorías de color del sistema ISCC-NBS y nombres de colores CSS3/X11 filtrados para evitar sesgos semánticos (ej. evitar "salmón" que evoca pescado).
Inyección: Las incrustaciones se inyectan antes de las capas de auto-atención del codificador de texto (T5). Esto permite que los tokens de color y los tokens de objeto interactúen bidireccionalmente durante la generación, asegurando la unión correcta "color-objeto".
Interpolación: Para colores que no son anclajes exactos, se utiliza una interpolación suave ponderada por la distancia en el espacio Lab sobre los $k$ anclajes más cercanos.

C. NumColor-Data

Dado que los datos fotográficos tienen ambigüedades de iluminación y material, los autores crearon un conjunto de datos sintético de 500,000 imágenes.

Se generó renderizando mallas 3D de Objaverse-XL en diversas escenas con materiales Lambertianos uniformes.
Cada imagen tiene una correspondencia exacta y sin ambigüedad entre el color especificado en el prompt y los píxeles renderizados, eliminando el ruido de los datos reales.

D. Función de Pérdida

El entrenamiento del ColorBook utiliza tres objetivos:

Flow Matching: Para asegurar que la imagen generada tenga el color correcto.
Pérdida de Alineación Direccional: Fuerza a que los desplazamientos en el espacio de incrustaciones reflejen los desplazamientos perceptuales en el espacio Lab.
Consistencia de Interpolación: Asegura que el punto medio perceptual entre dos colores se mapee al punto medio de sus incrustaciones, permitiendo transiciones suaves.

3. Contribuciones Clave

Marco NumColor: Una solución plug-and-play que habilita el control de color numérico en arquitecturas de difusión diversas (FLUX, SD3, PixArt) sin adaptación específica del modelo.
Tokenizador-Agnóstico: El CTA resuelve el problema de fragmentación de tokens independientemente del esquema de tokenización subyacente (CLIP, T5, etc.).
Geometría Perceptual: El uso de un espacio de incrustaciones basado en CIE Lab y pérdidas auxiliares garantiza que la estructura geométrica del color se preserve en el espacio latente del modelo.
NumColor-Data: El primer conjunto de datos a gran escala con correspondencia exacta color-píxel para supervisión de colores numéricos.

4. Resultados

El método se evaluó en GenColorBench, utilizando 9.8k prompts que cubren más de 400 colores en modelos como FLUX, SD3, SD3.5, PixArt-α y PixArt-Σ.

Precisión de Color: NumColor logra una mejora de 4 a 9 veces en la precisión del color (medida por $\Delta E$ CIE2000) en comparación con los modelos base. Por ejemplo, en FLUX, la precisión en la categoría ISCC-L1 saltó del 13.82% al 55.71%.
Armonía de Color: Se observa una mejora de 10 a 30 veces en las puntuaciones de armonía de color, demostrando que el control preciso también mejora la coherencia estética.
Transferencia Zero-Shot: Un ColorBook entrenado exclusivamente en FLUX se transfirió exitosamente a SD3, SD3.5, PixArt-α y PixArt-Σ sin ningún ajuste adicional, demostrando la universalidad del enfoque.
Análisis de Espacio de Incrustaciones: Se demostró que el entrenamiento reorganiza el espacio de incrustaciones para que la proximidad euclidiana corresponda a la proximidad perceptual, superando la estructura basada puramente en categorías lingüísticas de los modelos preentrenados.

5. Significado e Impacto

NumColor aborda una barrera fundamental en la generación de imágenes por IA: la brecha entre la especificación técnica profesional del color (estándar en diseño gráfico, publicidad y visualización de productos) y la capacidad de los modelos generativos.

Aplicabilidad Industrial: Hace viable el uso de modelos T2I en entornos donde la fidelidad estricta del color es obligatoria, como la creación de contenido de marca y la visualización de productos.
Eficiencia: Al no requerir el reentrenamiento de los pesados modelos de difusión base y funcionar con un código de incrustaciones pequeño, es una solución computacionalmente eficiente.
Avance Científico: Demuestra que es posible alinear espacios semánticos complejos (texto) con espacios perceptuales continuos (color) mediante una ingeniería cuidadosa de la inyección de incrustaciones y la curación de datos sintéticos, superando las limitaciones inherentes de la tokenización subpalabra.

En resumen, NumColor transforma la generación de imágenes de una aproximación semántica vaga ("un coche rojo") a una especificación técnica precisa ("un coche en #FF5733"), cerrando la brecha entre la intención del diseñador y la salida del modelo.