Resumen Técnico: Modelo Unificado Consciente de la Iluminación para Segmentación de Instancias

Declaración del Problema

Los modelos fundacionales como el Segment Anything Model (SAM) han demostrado una impresionante generalización zero-shot en diversos dominios visuales. Sin embargo, su rendimiento se degrada frecuentemente en entornos del mundo real caracterizados por iluminación adversa, como la conducción nocturna, escenas interiores con poca luz, configuraciones exteriores sobreexpuestas y mezclas de iluminación artificial y natural. La investigación existente a menudo trata la variación de la iluminación como una preocupación secundaria, abordándola principalmente mediante aumentación de datos genérica o técnicas de adaptación de dominio que requieren el reentrenamiento completo del modelo o el acceso a datos del dominio objetivo. Esto crea una brecha crítica de confiabilidad para aplicaciones de seguridad crítica (por ejemplo, conducción autónoma, imágenes médicas, agricultura) donde las condiciones de iluminación son variables e impredecibles.

Metodología

Los autores proponen PLAP-LCA (Pipeline de Aumentación de Iluminación por Pares con Atención Convolutiva de Iluminación), un marco diseñado para dotar a SAM de invarianza robusta a la iluminación sin un ajuste fino computacionalmente prohibitivo de su pesado backbone. El enfoque opera en tres niveles: datos, arquitectura y entrenamiento.

1. Generación de Datos: Aumentación de Iluminación por Pares

Para entrenar la invarianza a la iluminación, el modelo requiere pares de imágenes que representen la misma escena bajo diferentes condiciones de iluminación pero que compartan máscaras de verdad fundamental idénticas. Los autores emplean dos estrategias complementarias:

• PLAP (Espacio de Imagen): Un pipeline que aplica operaciones de iluminación controladas y motivadas físicamente (por ejemplo, exposición, sombras direccionales, temperatura de color, viñeteado, niebla) a imágenes de referencia existentes (COCO, VOC, Cityscapes). Utiliza muestreo consciente de conflictos para evitar operaciones contradictorias (por ejemplo, cálido vs. frío) y un protocolo de severidad de tres niveles (Leve, Moderado, Severo) para simular un espectro de degradación de la iluminación.
• Unity-Lighting (Sintético): Un conjunto de datos sintéticos renderizados físicamente generados dentro del motor Unity. A diferencia de las operaciones en el espacio de imagen 2D, este enfoque simula el transporte real de luz en 3D, incluyendo reflexiones, inter-reflexiones e interacciones complejas entre fuentes de luz naturales y artificiales. Proporciona máscaras de segmentación de instancias perfectas a nivel de píxel en cuatro condiciones de iluminación: Limpia, Leve, Moderada y Severa.

2. Arquitectura: Módulo de Atención Convolutiva de Iluminación (LCA)

En lugar de ajustar fino el codificador ViT-B congelado de SAM, los autores inyectan un adaptador LCA ligero en los dos últimos bloques del transformador. El módulo LCA está diseñado para procesar información estructural de bordes junto con características RGB para mantener la sensibilidad a los límites de los objetos independientemente de la iluminación. Emplea una arquitectura de doble rama con tres puertas de atención paralelas:

• Puerta de Atención de Canal: Recalibra los canales de características para contrarrestar el sesgo de iluminación global (por ejemplo, cambios de brillo, cambios de temperatura de color) utilizando estadísticas de agrupación global promedio y máxima.
• Puerta de Atención Espacial: Identifica regiones afectadas localmente (por ejemplo, sombras proyectadas, destellos especulares) condensando las dimensiones de canal en mapas de resumen espacial y procesándolos con un gran kernel de convolución de 7×7.
• Puerta de Atención de Contraste: Modela explícitamente la firma física de la variación de iluminación (bordes) utilizando un filtro Laplaciano fijo sobre una proyección de intensidad aprendida. Esta puerta refuerza los límites estructurales degradados.

Estas puertas se fusionan mediante multiplicación elemento a elemento y se proyectan a través de una convolución separable por profundidad. Crucialmente, la proyección residual se inicializa en cero, asegurando que la red comience el entrenamiento como una copia exacta de SAM preentrenado, previniendo daños en la representación.

3. Estrategia de Entrenamiento: Entrenamiento Dual por Pares

El marco utiliza una configuración de doble flujo donde las imágenes limpias y variantes pasan a través del codificador congelado compartido.

• Prompts Compartidos: Los mismos puntos de primer plano y cajas delimitadoras se utilizan como prompts para ambos flujos para asegurar que las diferencias de predicción surjan únicamente de variaciones de características inducidas por la iluminación.
• Pérdida Supervisada: Una mezcla ponderada de pérdidas de segmentación (BCE + Dice) para ambos flujos, limpio y variante.
• Pérdida de Consistencia: Una nueva pérdida de consistencia de características ($L_{cons}$) que penaliza las discrepancias entre las salidas activadas por sigmoide de los flujos limpio y variante. Esta pérdida exige que el modelo produzca predicciones idénticas para la misma escena independientemente de la iluminación, sin requerir anotaciones adicionales.
• Ponderación Basada en Currículo: El peso de la pérdida de consistencia se ajusta para equilibrar la señal supervisada, evitando que el modelo esté sobre-restringido durante las primeras etapas del entrenamiento.

Contribuciones Clave

1. Módulo LCA: Un adaptador ligero de doble rama que inyecta representaciones estructurales robustas a la iluminación en modelos fundacionales sin actualizar los pesos del backbone preentrenado.
2. Estrategia de Entrenamiento por Pares: Un enfoque de entrenamiento basado en currículo que utiliza una nueva pérdida de consistencia de características para cerrar explícitamente la brecha representacional entre condiciones de iluminación ideales y adversas.
3. Estudio Empírico Exhaustivo: Una evaluación rigurosa en tres benchmarks públicos (COCO, VOC, Cityscapes) y un nuevo conjunto de datos sintéticos basado en Unity diseñado para una evaluación de iluminación físicamente precisa.

Resultados Experimentales

El enfoque se evaluó en COCO, VOC, Cityscapes y el conjunto de datos sintético de Unity.

• Rendimiento: El módulo LCA (combinado con el ajuste fino del decodificador) logró una Intersección sobre Unión media (mIoU) superior en comparación con la línea base SAM y el ajuste fino solo del decodificador, particularmente bajo condiciones variantes de iluminación. Por ejemplo, en el conjunto de datos Cityscapes, LCA+Dec alcanzó un mIoU de 0.784 bajo condiciones variantes, en comparación con 0.560 para la línea base zero-shot de SAM.
• Robustez: El método redujo significativamente la brecha de rendimiento entre imágenes limpias y variantes. En estudios de ablación, el módulo LCA por sí solo mejoró el mIoU en un 61.7% sobre la línea base SAM en escenarios de iluminación desafiantes.
• Eficiencia: El módulo LCA añade solo ~2.4M de parámetros entrenables (aproximadamente 2.6% de sobrecarga) al modelo SAM ViT-B de 93.7M, manteniendo la eficiencia computacional.
• Ablación: Los estudios confirmaron que la proyección residual separable por profundidad (variante V3) fue el impulsor arquitectónico clave de las ganancias de rendimiento. Se encontró que el peso de la pérdida de consistencia ($\lambda_c$) era estable en un rango de valores, siendo 0.1 el que proporcionaba el mejor equilibrio.

Significado y Afirmaciones

El artículo afirma que PLAP-LCA cierra exitosamente la brecha de dominio causada por las variaciones de iluminación, entregando una segmentación robusta a la iluminación superior. Los autores enfatizan que su enfoque permite una conducción autónoma más segura por la noche, imágenes médicas confiables bajo iluminación clínica variable y monitoreo agrícola robusto a través de ciclos día-noche sin reentrenamiento costoso del modelo ni costosa recolección de datos del mundo real. Al tratar la invarianza a la iluminación como un problema arquitectónico y de entrenamiento de primera clase en lugar de una tarea de aumentación secundaria, el trabajo proporciona una solución escalable para desplegar modelos fundacionales en entornos del mundo real de seguridad crítica. La inicialización cero del adaptador asegura un entrenamiento estable, y el diseño modular hace que la robustez a la iluminación sea accesible para aplicaciones con recursos limitados.