UniLight: A Unified Representation for Lighting

El artículo presenta UniLight, una representación unificada de iluminación en un espacio latente compartido que alinea mediante aprendizaje contrastivo múltiples modalidades (texto, imágenes, irradiancia y mapas de entorno) para permitir la transferencia cruzada y la manipulación flexible de la iluminación en tareas como la recuperación, la generación de mapas y la síntesis de imágenes.

Lo esencial

¡Claro que sí! Imagina que la luz es como el director de orquesta de una película. Puede cambiar completamente el estado de ánimo de una escena: una misma habitación puede parecer acogedora y cálida con una luz amarilla, o fría y misteriosa con una luz azul, aunque los muebles y las paredes sean exactamente los mismos.

El problema, hasta ahora, es que los diferentes "directores" (los programas de computadora) hablaban idiomas distintos. Unos solo entendían mapas de luz (imágenes de 360 grados), otros solo textos ("luz solar por la derecha"), y otros solo imágenes de referencia. Si querías cambiar la luz usando un texto en un programa que solo entendía mapas, era como intentar pedir una pizza en chino a un repartidor que solo habla francés: no funcionaba.

Aquí es donde entra UniLight, la nueva invención de este paper.

¿Qué es UniLight? El "Traductor Universal de Luz"

Imagina que UniLight es un traductor mágico que vive en una habitación secreta llamada "Espacio Latente".

1. El problema de los idiomas:

   • Tienes un mapa de luz (una foto de 360° del cielo).
   • Tienes una foto de una habitación.
   • Tienes un texto que dice: "Luz suave de la tarde entrando por la ventana izquierda".
   • Tienes un mapa de irradiación (un diagrama técnico que muestra cómo golpea la luz).

   Antes, estos cuatro elementos no podían "hablarse". UniLight toma todos estos formatos diferentes y los convierte en un código secreto único (un "latido" o "huella digital" de la luz).

2. La analogía de la huella digital:
   Piensa en la luz como una persona.

   • Si ves a alguien de lejos (una foto), reconoces su silueta.
   • Si lees su descripción en una lista (texto), sabes quién es por su nombre.
   • Si escuchas su voz (mapa de luz), lo reconoces por el sonido.

   UniLight es como un sistema de seguridad que toma la silueta, el nombre y la voz, y los convierte en la misma huella digital única. Ahora, la computadora sabe que "luz de tarde" (texto) y "mapa de cielo azul" (imagen) son, en esencia, la misma cosa.

¿Cómo funciona la magia? (El entrenamiento)

Los creadores de UniLight entrenaron a la IA con un juego de "encuentra tu pareja":

• Le mostraron un mapa de luz y le dijeron: "Busca el texto que describe esto".
• Le mostraron un texto y le dijeron: "Busca la foto que coincide".
• Le mostraron una foto y le dijo: "Busca el mapa de luz correcto".

Además, para asegurarse de que la IA entendiera hacia dónde apuntaba la luz (no solo si era brillante o oscura), le dieron un examen extra: tenía que predecir las coordenadas matemáticas de la luz (llamadas "armónicos esféricos"). Es como si le enseñaran a la IA no solo a reconocer que es "luz de sol", sino también a saber que el sol está arriba y a la derecha.

¿Para qué sirve esto en la vida real?

Gracias a este "traductor universal", ahora podemos hacer cosas increíbles:

1. Búsqueda por luz: Puedes subir una foto de un atardecer en la playa y pedirle a la computadora: "Dame una foto de una cocina con esa misma luz". La computadora entenderá la "vibra" de la luz y la aplicará a la cocina, aunque nunca haya visto esa cocina antes.
2. Crear mundos con texto: Puedes escribir: "Una habitación oscura con una sola vela encendida en la esquina" y la computadora generará un mapa de luz realista de 360 grados basado en tu descripción.
3. Cambiar la iluminación de fotos (Relighting): Puedes tomar una foto de un día nublado y decirle a la IA: "Cambia la luz a un atardecer dorado". La IA no solo cambiará los colores, sino que creará sombras nuevas y realistas en los lugares correctos, como si realmente hubiera cambiado la hora del día.

En resumen

UniLight es como un puente que conecta todos los idiomas de la luz. Antes, si querías cambiar la luz de una imagen, tenías que ser un experto técnico y usar herramientas muy específicas. Ahora, con UniLight, puedes usar lo que sea que tengas a mano (un texto, una foto, un mapa) para controlar la iluminación de cualquier escena, haciendo que la creación de imágenes sea tan fácil como hablarle a un amigo.

Es un gran paso para que las computadoras entiendan la luz no solo como números, sino como una experiencia visual coherente que podemos manipular con la misma facilidad con la que cambiamos el filtro de una foto en Instagram.

Resumen técnico

Aquí tienes un resumen técnico detallado del paper UniLight: A Unified Representation for Lighting, traducido y adaptado al español:

1. El Problema

La iluminación es un factor determinante en la apariencia visual de las imágenes, pero su representación y control siguen siendo desafíos notorios en visión por computadora y gráficos. Actualmente, existen múltiples representaciones de iluminación (mapas de entorno, irradiancia, armónicos esféricos, descripciones de texto, etc.), pero son incompatibles entre sí. Esta incompatibilidad limita la transferencia cruzada de modalidades; por ejemplo, es difícil usar una descripción de texto para controlar la iluminación en un modelo que espera un mapa de entorno, o viceversa. La mayoría de los métodos existentes están diseñados para una sola representación, lo que reduce su flexibilidad y capacidad de adaptación.

2. Metodología

Los autores proponen UniLight, un espacio latente conjunto que unifica diversas modalidades de iluminación en una única representación compartida.

• Arquitectura del Modelo:

  • Codificadores Específicos: Se utilizan codificadores especializados para cada modalidad:
    • Imágenes (Mapas de entorno, imágenes RGB, mapas de irradiancia): Se emplea la arquitectura DINOv2-B (Vision Transformer). Para los mapas de entorno HDR, se convierten a LDR (tonemapping de Reinhard) y se codifican logarítmicamente, además de incluir coordenadas direcionales $(x, y, z)$.
    • Texto: Se utiliza un codificador de lenguaje (Qwen3 Embedding) fine-tuneado para capturar semántica relacionada con la iluminación (dirección, temperatura de color, intensidad).
  • Módulo de Fusión: Las salidas de los codificadores se procesan mediante un módulo de fusión basado en transformadores ligero. Este módulo utiliza tokens de consulta aprendibles (learnable query tokens) para proyectar las características de cada modalidad en un espacio latente compartido de alta dimensión ($T=8$ tokens, dimensión $D=512$).
  • Objetivo de Entrenamiento:
    • Pérdida Contrastiva ($L_C$): Alinea las representaciones latentes de diferentes modalidades que describen la misma condición de iluminación, maximizando la similitud coseno entre pares coincidentes.
    • Pérdida Auxiliar de Armónicos Esféricos ($L_{SH}$): Se añade una cabeza de predicción que estima coeficientes de armónicos esféricos (hasta grado 3) a partir del espacio latente. Esta tarea supervisa explícitamente la comprensión de la dirección de la luz, reforzando la estructura direccional del embedding.

• Pipeline de Datos:
  Se construyó un conjunto de datos multimodal a partir de 8,020 mapas de entorno HDR (interiores y exteriores). De cada mapa se extraen 9 imágenes, generando un total de 72,180 muestras. Cada muestra incluye: el mapa de entorno, una imagen extraída, un mapa de irradiancia (calculado con Prism) y una descripción de texto generada por un Modelo de Lenguaje Visual (VLM, InternVL3-38B) que se enfoca en las fuentes de luz dominantes.

3. Contribuciones Clave

1. Pipeline de Datos Multimodal: Un sistema escalable para alinear y entrenar representaciones de iluminación a través de texto, imágenes, irradiancia y mapas de entorno.
2. Marco Contrastivo Unificado: Un enfoque que alinea las representaciones de iluminación de cuatro modalidades distintas en un espacio latente común.
3. Supervisión de Armónicos Esféricos: Una pérdida auxiliar que mejora significativamente la codificación direccional de la luz, asegurando que el espacio latente capture la estructura de la iluminación.
4. Versatilidad en Aplicaciones: Demostración de que esta representación única permite tareas de recuperación cruzada, generación de mapas de entorno y control de iluminación en síntesis de imágenes basada en difusión.

4. Resultados y Evaluación

El modelo se evaluó en tres tareas principales:

• Recuperación Basada en Iluminación (Cross-modal Retrieval):

  • El sistema logra recuperar modalidades con iluminación similar (ej. buscar un mapa de entorno usando una imagen o texto) con alta precisión.
  • Métricas como Recall@10 y MRR superan significativamente a modelos base como CLIP y Qwen3-VL, demostrando que UniLight captura características de iluminación más específicas y transferibles.
  • Los estudios de ablación confirman que la supervisión de armónicos esféricos (SH) es crítica: sin ella, la precisión de recuperación cae drásticamente.

• Generación de Mapas de Entorno:

  • Al fine-tunear un modelo de difusión (Stable Diffusion 3.5) con embeddings de UniLight, se pueden generar mapas de entorno 360° coherentes a partir de texto, imágenes o mapas de irradiancia.
  • Los resultados superan cualitativa y cuantitativamente (PSNR, SSIM, LPIPS) a métodos anteriores como DiffusionLight-Turbo.

• Control de Iluminación en Síntesis de Imágenes (Relighting):

  • Integrado en el marco X→RGB, UniLight permite modificar la iluminación de una imagen manteniendo la identidad intrínseca de la escena.
  • A diferencia de modelos generales (como Qwen3-VL) que a menudo fallan en mover sombras y brillos al cambiar la dirección de la luz, UniLight logra un control direccional preciso, permitiendo rotar la fuente de luz y ajustar la iluminación global de manera coherente.

5. Significado e Impacto

UniLight representa un avance fundamental hacia una representación unificada de la iluminación. Al resolver el problema de la incompatibilidad entre modalidades, permite:

• Interoperabilidad: Usar cualquier modalidad de entrada (texto, imagen, etc.) para controlar la iluminación en generadores de imágenes.
• Control Físico y Semántico: Combina la comprensión semántica del texto con la precisión direccional de los mapas de entorno y armónicos esféricos.
• Nuevas Posibilidades: Abre la puerta a aplicaciones avanzadas de edición de imágenes, avatares digitales y síntesis de escenas donde la iluminación puede manipularse de manera flexible y físicamente plausible, independientemente del formato de entrada del usuario.

En resumen, UniLight establece un nuevo estándar para la representación de iluminación, facilitando la creación de herramientas de síntesis y edición de imágenes más intuitivas y potentes.