Do Image Editing Models Understand Lighting?

Resumen Técnico: ¿Entienden los modelos de edición de imágenes la iluminación?

Planteamiento del problema
Los avances recientes en los modelos de edición de imágenes basados en instrucciones han logrado una alta fidelidad visual, pero sigue sin estar claro si estos sistemas poseen un entendimiento intrínseco de la física de la iluminación del mundo real o si simplemente reproducen sesgos de apariencia perceptiva. Los bancos de pruebas actuales para evaluar estos modelos suelen depender de evaluaciones de plausibilidad de alto nivel mediante Modelos de Lenguaje y Visión (VLM) o el juicio humano, o bien utilizan conjuntos de datos generados sintéticamente. Estos enfoques a menudo no logran cuantificar la corrección física a nivel de píxel, particularmente en lo que respecta a efectos intrincados de transporte de luz, como sombras proyectadas, brillos especulares e interacciones con materiales complejos. Además, las métricas de evaluación actuales (por ejemplo, PSNR, SSIM) son sensibles a ajustes globales como el balance de blancos y la exposición, lo que puede oscurecer el rendimiento real del modelo en la simulación del transporte de luz.

Metodología
Para abordar estas brechas, los autores introducen el banco de pruebas 3D-anchored Light Probe (3DLP), diseñado para evaluar la consistencia del transporte de luz utilizando datos de alta fidelidad del mundo real.

• Construcción del conjunto de datos: Los autores capturaron un nuevo conjunto de datos de 1,000 pares de imágenes HDR de alta fidelidad en diversos entornos interiores. Cada par consiste en una escena con una sonda de luz esférica (una bombilla en una lámpara de pie) encendida ("on") y apagada ("off"). La base de la lámpara es visible para "anclar" la fuente de luz en el espacio 3D, lo que permite a los modelos inferir la posición precisa. El proceso de captura implica imágenes RAW de 14 bits con 9 niveles de exposición (brackets), promediados para reducir el ruido, y corregidos por distorsión de lente y viñeteado utilizando datos EXIF.
• Anotación: El conjunto de datos incluye anotaciones manuales para fenómenos ópticos desafiantes, incluyendo sombras proyectadas, brillos especulares e interacciones con superficies metálicas, espejadas y transparentes. Aproximadamente el 10.92% de los píxeles están etiquetados.
• Protocolo de evaluación: La tarea es binaria: dado un cuadro "apagado" (off), el modelo debe encender la luz (on) (y viceversa). La entrada es una imagen sRGB de 8 bits; la salida es linealizada para la evaluación.
• Nuevas métricas: Para superar las limitaciones de las métricas tradicionales, los autores proponen dos nuevas puntuaciones invariantes a los ajustes fotográficos globales (exposición, balance de blancos e intensidad/color de la fuente de luz):
  1. Error de Intensidad Estandarizado (SIE): Mide la precisión de los cambios de intensidad de luz predichos. Mapea las imágenes de ratio ($E = I_{on}/I_{off}$) a un espacio estandarizado utilizando la Mediana y la Desviación Absoluta de la Mediana (MAD) para lograr la invarianza a transformaciones afines ($C \odot E_R + K$).
  2. Error de Baja Frecuencia (LFE): Evalúa el realismo físico de la caída de la luz y las interacciones de superficie evaluando los gradientes espaciales de las imágenes de ratio. Filtra los bordes de alta frecuencia (textura/geometría) para centrarse en las transiciones suaves características de la caída de la ley del inverso del cuadrado y el sombreado Lambertiano.

Contribuciones clave

1. Dataset 3DLP: Un conjunto de datos de alta fidelidad de 1K pares de imágenes que capturan diversos entornos interiores con una sonda de luz físicamente anclada, incluyendo anotaciones detalladas para sombras, brillos e interacciones de materiales.
2. Benchmark y métricas 3DLP: Un marco de evaluación riguroso que presenta SIE y LFE, los cuales permiten a los modelos ajustar libremente la exposición global y el balance de blancos mientras penalizan estrictamente los errores en la física del transporte de luz.
3. Evaluación exhaustiva: Una evaluación sistemática de seis modelos de edición de imágenes de última generación (incluyendo variantes comerciales y de código abierto) frente a la verdad de terreno del mundo real.

Resultos
La evaluación de seis modelos (Nano Banana Pro, Nano Banana 2, Qwen-Image-Edit, Flux 2 Max, Flux 2 Dev y GPT Image 1.5) revela disparidades significativas de rendimiento:

• Mejores desempeños: El modelo comercial Nano Banana Pro logró el mejor rendimiento general, seguido de cerca por Nano Banana 2. Entre los modelos de código abierto, Qwen-Image-Edit superó significativamente a Flux 2 Dev.
• Alineación con la física: Los modelos líderes demuestran una notable consistencia con la física del mundo real, particularmente al proyectar nuevas sombras y añadir reflejos. Sin embargo, aún queda margen de mejora.
• Modos de fallo:
  • Dependencia de la intensidad: Los modelos funcionan peor en regiones de la imagen que reciben menos luz de la sonda (áreas distantes), donde los errores se acumulan.
  • Complejidad de los materiales: El rendimiento varía según los materiales; los errores son más pronunciados en espejos y superficies transparentes, mientras que los brillos especulares muestran una varianza ligeramente menor.
  • Limitaciones de los VLM: Al ser probados como evaluadores, los VLM (Gemini 3.1 Pro, GPT-5.5) no lograron correlacionarse con las métricas físicas, prefiriendo a menudo artefactos generados por IA sobre la verdad de terreno real, lo que indica que no son adecuados para el análisis de transporte de luz a nivel de píxel.
• Comparación de métricas: A diferencia de PSNR, SSIM y LPIPS, las métricas propuestas SIE y LFE son invariantes a los cambios de balance de blancos y penalizan correctamente a los modelos que fallan en ejecutar la tarea (por ejemplo, modelos de "No hacer nada").

Significancia
El artículo argumenta que, si bien los modelos modernos de edición de imágenes se están convirtiendo rápidamente en herramientas prácticas para los medios visuales profesionales (por ejemplo, insertar productos virtuales, reluminar fondos), su entendimiento subyacente de la iluminación sigue siendo ambiguo. El benchmark 3DLP proporciona un estándar necesario, basado en la física, para distinguir entre modelos que genuinamente simulan el transporte de luz y aquellos que dependen de sesgos perceptivos. Los autores postulan que esta distincción es vital para aplicaciones posteriores como la descomposición de imágenes intrínsecas, la predicción de profundidad y la estimación de luz, que dependen implícitamente de la robustez de los modelos base ante las leyes físicas. Al liberar el conjunto de datos y el benchmark, los autores pretenden fomentar la investigación futura para mejorar el fundamento físico de la edición de imágenes generativa.