LightMover: Generative Light Movement with Color and Intensity Controls

1. El Problema

La manipulación de la iluminación en una sola imagen real es un desafío fundamental en la visión por computadora y la edición generativa. Los usuarios desean mover fuentes de luz, cambiar su color o intensidad y observar cómo esto afecta dinámicamente las sombras, los reflejos y la atmósfera global de la escena.

Las soluciones existentes presentan limitaciones significativas:

• Renderizado Inverso: Aunque físicamente precisos, requieren reconstruir geometría y materiales densos, lo que es computacionalmente costoso, inestable a partir de una sola imagen y carece de controles intuitivos.
• Editores de Difusión (Objetos): Modelos como ObjectMover pueden mover objetos pero tratan la iluminación de manera implícita, fallando en propagar correctamente sombras, colores y decaimiento de la luz.
• Editores Generales (Texto/Máscara): Modelos basados en texto (como InstructPix2Pix o Qwen-Image) carecen de una parametrización explícita centrada en la luz, lo que dificulta el control preciso y físicamente plausible de fuentes de luz individuales.

2. Metodología: LightMover

LightMover propone un marco unificado basado en difusión de video para la manipulación de iluminación controlable a partir de una sola imagen. La idea central es reformular la edición de luz como un problema de predicción secuencia a secuencia en el espacio de tokens visuales.

A. Formulación Secuencia a Secuencia

El modelo adapta un transformador de difusión de video preentrenado (similar a Sora) para tratar la imagen de referencia y los controles como "fotogramas" pseudo-secuenciales:

1. Imagen de Referencia ($I_{ref}$): La imagen original.
2. Fotograma de Objeto ($I_{obj}$): El objeto de luz recortado.
3. Mapa de Movimiento ($I_{move}$): Un mapa de control espacial que codifica la posición de origen y destino (dos cuadros delimitadores en canales RGB).
4. Control de Color ($I_{color}$) e Intensidad ($I_{intensity}$): Fotogramas que especifican el tono de luz y la variación de exposición (en stops fotográficos).
5. Fotograma de Salida ($X_t$): El estado ruidoso que se va a limpiar.

B. Codificación Posicional de Múltiples Señales (MSPE)

Para que el transformador interprete correctamente cada fotograma, se introduce un mecanismo de codificación posicional que combina cuatro subsistemas ortogonales:

• Espacial (W, H): Preserva la estructura 2D dentro de cada fotograma.
• Temporal (T): Mantiene la coherencia a lo largo de la secuencia.
• Tipo de Condición (C): Distingue entre referencia, objeto, movimiento, color, intensidad, etc.
• Rol del Fotograma (R): Diferencia entre entradas de condición y la salida predictiva.

C. Poda Adaptativa de Tokens (Adaptive Token Pruning)

Un desafío técnico es que añadir controles de color e intensidad aumenta la longitud de la secuencia, reduciendo la eficiencia. LightMover introduce una estrategia de poda inteligente:

• Poda Espacialmente Consciente: Para mapas de movimiento (que tienen estructura espacial), se mantienen los tokens de alta resolución solo en las regiones pequeñas del objeto y se submuestrea el resto.
• Submuestreo Aprendible: Para controles no espaciales (color e intensidad), se optimizan ratios de compresión aprendibles.
• Resultado: Esta técnica reduce la longitud de la secuencia de control en un 41% sin sacrificar la fidelidad de la edición.

D. Pipeline de Generación de Datos

Para entrenar el modelo, los autores construyen un pipeline escalable que combina:

• Datos Sintéticos: Renderizado físico basado en Blender con 25 entornos y 100 activos de luz. Se utiliza un enfoque de "renderizado físicamente desacoplado" para separar la base ambiental ($I_{amb}$) de la contribución de la luz directa ($I_{light}$), permitiendo variaciones paramétricas ilimitadas de color e intensidad.
• Datos Reales: Captura de pares de imágenes reales con dispositivos móviles, donde la única variable física es la posición de una fuente de luz visible.

3. Contribuciones Clave

1. Marco Unificado de Difusión: Un modelo que trata el control de luz (posición, color, intensidad) y la edición de objetos en un mismo backbone, evitando adaptadores específicos para cada tarea.
2. Mecanismo de Poda Adaptativa: Una innovación que mejora la eficiencia computacional al codificar compactamente atributos no espaciales mientras preserva la precisión espacial para movimientos locales.
3. Pipeline de Datos Escalable: Una estrategia de entrenamiento multi-tarea que utiliza renderizado físico y datos reales para enseñar al modelo las relaciones causales de la iluminación (cómo se mueven las sombras, cómo cambian los reflejos).

4. Resultados y Evaluación

El modelo se evaluó en dos conjuntos de datos: LightMove-A (datos reales capturados) y LightMove-B (datos sintéticos con ground truth).

• Métricas Cuantitativas: LightMover superó consistentemente a los modelos de estado del arte (SOTA), incluyendo editores basados en LLM (Gemini-2.5, Qwen-Image) y modelos de movimiento de objetos (ObjectMover).
  • Logró el PSNR más alto (20.38 en movimiento de luz), indicando mayor consistencia fotométrica.
  • Obtuvo las puntuaciones más altas en DINO (81.27) y CLIP (91.85), demostrando una mejor coherencia semántica y estructural.
• Calidad Visual: El modelo genera sombras, reflejos y decaimiento de luz físicamente plausibles. En tareas de combinación (mover luz + cambiar color + ajustar intensidad), mantiene la estabilidad y precisión, algo que los modelos basados en texto o los editores de objetos puros no logran.
• Eficiencia: La poda de tokens permite manejar secuencias de control complejas sin degradar la calidad de generación.

5. Significado e Impacto

LightMover representa un avance significativo al cerrar la brecha entre los modelos generativos 2D puros y el costoso renderizado 3D físico.

• Paradigma "2.5D": Demuestra que un modelo aprendido puede aproximar el transporte de luz global complejo con una eficiencia mucho mayor que los métodos de renderizado inverso tradicional, manteniendo la fidelidad fotorealista.
• Aplicabilidad: Abre nuevas direcciones para la edición de imágenes escalable y consciente de la física, permitiendo a los usuarios manipular la iluminación de manera intuitiva (arrastrar, recolorear, atenuar) en una sola imagen, lo cual es crucial para aplicaciones en diseño de interiores, fotografía computacional y creación de contenido.

En resumen, LightMover establece un nuevo estándar para la edición de iluminación generativa, logrando un control preciso y físicamente coherente mediante una arquitectura de difusión de video optimizada y un enfoque de datos híbrido.