Resumen Técnico: Aprendizaje de Representación Consciente de la Iluminación bajo Variación Controlable de la Iluminación

Planteamiento del Problema

Las variaciones en la iluminación constituyen un desafío fundamental en la visión por computadora, induciendo cambios sustancials de apariencia que comprometen la robustez y la generalización del aprendizaje de representaciones visuales. Mientras que la visión humana logra la constancia perceptual estimando los iluminantes y construyendo modelos internos de las condiciones de iluminación, los sistemas de visión artificial estándar suelen tratar la iluminación como un factor de molestia (nuisance factor). Los enfoques existentes se basan principalmente en el aumento de datos (por ejemplo, ajustes de brillo, contraste, matiz) para fomentar que los modelos se vuelvan invariantes a los cambios de iluminación. Sin embargo, estas estrategias suprimen la información de iluminación en lugar de modelarla explícitamente, fallando a menudo en igualar la adaptabilidad de la visión humana o en capturar las complejas interacciones entre geometría, materiales y luz que definen las señales visuales del mundo real.

Metodología

Los autores proponen un Marco de Aprendizaje de Representación Consciente de la Iluminación que incorpora la variación de la iluminación como una señal de entrenamiento explícita en lugar de ruido. La metodología central extiende el aprendizaje contrastivo a través de una arquitectura de Entrenamiento de Doble Cabezal (Dual-Head Training).

1. Fundamento Teórico

El enfoque se basa en la premisa de que una imagen observada $I$ es generada por dos factores subyacentes: el contenido intrínseco de la escena $C$ (geometría, disposición, semántica) y la condición de iluminación $L$. El objetivo es aprender representaciones que preserven la consistencia semántica a través de los cambios de iluminación, permaneciendo al mismo tiempo sensibles a la estructura visual dependiente de la iluminación.

2. Arquitectura y Objetivo de Entrenamiento

El marco utiliza un backbone ResNet-50 compartido que se ramifica después del promedio global (global average pooling) en dos cabezales distintos:

• Cabezal de Contenido (Contrastivo): Fuerza la consistencia para imágenes que comparten el mismo contenido semántico pero difieren en iluminación. Esto utiliza objetivos de aprendizaje contrastivo estándar (basados en MoCo V2 y ESS-MB) para agrupar imágenes semánticamente similares.
• Cabezal de Iluminación (Contrastivo): Fuerza la consistencia para imágenes que comparten la misma configuración de iluminación (por ejemplo, el mismo "skybox" en un entorno virtual) pero difieren en contenido. Este cabezal aprende a agrupar representaciones basadas en las condiciones de iluminación.

La función de pérdida total es una suma ponderada de la pérdida contrastiva de contenido ($L_{Con.}$) y la pérdida contrastiva de iluminación ($L_{Light}$):
$$L = L_{Con.} + \alpha L_{Light}$$
donde $\alpha$ equilibra las contribuciones de los dos objetivos.

3. Factorización de la Representación

Para abordar las dependencias estadísticas entre la iluminación y el contenido (por ejemplo, sombras y reflejos), los autores introducen una factorización flexible del espacio de representación en tres componentes:

• Componente de Iluminación: Captura características determinadas principalmente por la iluminación.
• Componente de Contenido: Codifica información intrínseca de la escena invariante a la iluminación.
• Componente Conjunto (Joint): Captura las interacciones entre la iluminación y el contenido que no pueden separarse limpiamente.

La asignación de las dimensiones de la representación se denota mediante una relación $(L:J:C)$. Por ejemplo, $(1:0:7)$ asigna 1/8 de la dimensión a la iluminación, ninguna al componente conjunto y 7/8 al contenido.

4. Datos y Configuración Experimental

El método fue evaluado utilizando el conjunto de datos House100KLighting, recolectado de un entorno de trazado de rayos virtual (ThreeDWorld), el cual permite la manipulación precisa de las condiciones de iluminación mientras se preserva el contenido de la escena. Los modelos de referencia (baselines) incluyeron el aprendizaje contrastivo estándar (MoCo V2/ESS-MB) y modelos de representación única entrenados con ambos objetivos. Las tareas posteriores (downstream) incluyeron clasificación de imágenes (ImageNet), clasificación de objetos e iluminación (ExDark) y detección de objetos (PASCAL VOC).

Resultados Clave

• Desempeño Superior en Tareas Posteriores: Los modelos entrenados con el marco de doble cabezal consciente de la iluminación (específicamente la configuración $1:0:7$) superaron consistentemente a los baselines de aprendizaje contrastivo estándar en la clasificación de ImageNet, la clasificación de objetos/iluminación de ExDark y la detección de PASCAL VOC. La representación combinada (concatenando las características de contenido y de iluminación) produjo los mejores resultados.
• Representaciones Complementarias: El cabezal de contenido dominó el desempeño en la clasificación de objetos estándar (ImageNet), mientras que el cabezal de iluminación contribuyó significamente al desempeño en conjuntos de datos de baja iluminación (ExDark), superando a veces al cabezal de contenido. Esto confirma que los dos cabezales capturan información complementaria.
• Importancia de los Componentes Conjuntos: Las configuraciones que incluyen un componente conjunto (por ejemplo, $1:1:6$) mostraron incluso mayores ganancias de desempeño, lo que sugiere que retener una interacción limitada entre la semántica y la iluminación beneficia el reconocimiento posterior.
• Limitaciones del Aumento Simple: Los experimentos utilizando transformaciones simples a nivel de imagen (brillo, gamma, etc.) para aproximar la variación de la iluminación (House100K-AugLighting) resultaron en mejoras solo marginales respecto al aprendizaje contrastivo estándar. Esto indica que la iluminación basada en trazado de rayos proporciona interacciones complejas que las transformaciones simples no pueden replicar.
• Extensión al Aprendizaje Supervisado: El marco se adaptó con éxito a un entorno supervisado en ImageNet100K-AugLighting, donde el enfoque de doble cabezal logró una precisión de prueba mejorada a pesar de utilizar dimensiones de representación reducidas para cada tarea específica, demostando una generalización mejorada mediante la supervisión de múltiples factores.
• Análisis por Capas: Las tareas de sondeo (probing) revelaron que las representaciones conscientes de la iluminación están distribuidas a lo largo de la red, pero se vuelven menos sensibles en las capas finales bajo el entrenamiento contrastivo estándar, el cual tiende a confundir la información de contenido e iluminación. El enfoque de doble cabezal preserva mejor la estructura relacionada con la iluminación a través de las capas.

Significado y Reivindicaciones

El artículo sostiene que la iluminación no debe tratarse únicamente como una fuente de ruido a suprimir mediante el aumento de datos. En su lugar, modelar explícitamente la iluminación como un factor controlable durante el aprendizaje de la representación produce representaciones visuales más robustas y adaptables.

Los autores posicionan este trabajo como un caso de estudio para un paradigma más amplio de "aprendizaje de representación consciente de los factores". Al aprovechar las variaciones ambientales controladas (como la iluminación, el punto de vista o el clima) como señales de supervisión explícitas, los modelos pueden aprender a desenredar el contenido semántico de las condiciones ambientales mientras capturan sus interacciones. Los resultados sugieren que este enfoque mejora la robustez del modelo en entornos visuales complejos y mejora el desempeño en tareas convencionales de procesamiento de imágenes, ofreciendo un camino hacia una constancia perceptual más similar a la humana en sistemas artificiales.

El artículo reconoce modestamente sus limitaciones, señalando que la propagación interna de las señales requiere mayor investigación, que los experimentos se realizaron en conjuntos de datos relativamente pequeños por razones de tractabilidad, y que las transformaciones de imagen simples son insuficientes como sustitutos de la iluminación física realista. Se sugiere como trabajo futuro extender este marco a otros factores controlables y explorar métodos eficientes para generar conjuntos de datos de entrenamiento realistas utilizando modelos generativos.