Resumen Técnico: UNIV – Modelo Fundacional Unificado para Modalidades Infrarroja y Visible

1. Declaración del Problema

Los avances recientes en modelos fundacionales han arrojado resultados impresionantes en tareas de modalidad única tanto para los dominios visible (RGB) como infrarrojo (IR). Sin embargo, persiste una significativa "brecha cruzada entre dominios" al aplicar estos modelos entre modalidades. Los autores identifican la causa raíz como un atajo de patrón: los modelos entrenados en una sola modalidad tienden a depender de señales superficiales específicas del sensor (por ejemplo, color y brillo en RGB, o intensidad térmica en IR) en lugar de las estructuras semánticas subyacentes.

En consecuencia, cuando un modelo entrenado en IR se aplica a datos RGB, a menudo localiza mal la atención basándose en señales de brillo, y viceversa. Los enfoques existentes carecen de un codificador unificado capaz de producir características semánticamente consistentes para ambas modalidades, lo que limita la generalización en entornos de percepción diversos (escenarios solo RGB, solo IR o conjuntos RGB-IR).

2. Metodología

El artículo propone UNIV, un modelo fundacional unificado diseñado para cerrar la brecha entre las modalidades infrarroja y visible. El núcleo de UNIV es una estrategia de autoaprendizaje llamada Aprendizaje Contrastivo Cruzado de Parches (PCCL).

2.1. Arquitectura Central

UNIV utiliza un codificador entrenable ($E_{train}$) y un codificador RGB preentrenado congelado ($E_{frozen}$) inicializado a partir de un modelo preentrenado en ImageNet (específicamente MCMAE).

• Entrada: Pares de imágenes visibles RGB e infrarrojas.
• Extracción de Características: El codificador entrenable extrae características ($F^V$ para visible, $F^I$ para infrarrojo) para ambas modalidades.
• Objetivo: Aprender un espacio de características unificado donde las características de la misma clase semántica se agrupen entre modalidades, mientras que las características de clases diferentes se separen.

2.2. Anclas de Parches Guiadas por Atención

Para guiar el aprendizaje sin etiquetas de verdad fundamental, UNIV aprovecha los priores semánticos codificados en el codificador RGB congelado ($E_{frozen}$).

• Generación de Pseudoetiquetas: El mapa de atención de la última capa de $E_{frozen}$ aplicado a la modalidad visible se utiliza para determinar la similitud semántica entre parches de imagen.
• Enmascaramiento Binario: Este mapa de atención se convierte en una matriz de pseudoetiquetas binarias ($M^A$) utilizando tres reglas:
  1. Autosimilitud: Los elementos diagonales se establecen en 1.
  2. Selección de Correlación: Para cada parche, los $m$ parches más correlacionados (basados en puntuaciones de atención) se marcan como positivos (1) hasta cumplir un umbral acumulativo $\gamma$.
  3. Supresión de Disimilitud: Todas las demás entradas se establecen en 0.
• Anclas: Las características del codificador congelado sirven como anclas semánticas ($F^A$) contra las cuales se alinean las salidas del codificador entrenable.

2.3. Aprendizaje Contrastivo Cruzado de Parches (PCCL)

La estrategia de optimización alinea las representaciones del codificador entrenable con las anclas semánticas definidas por $M^A$.

• Objetivo: El modelo minimiza la disimilitud entre pares negativos (clases diferentes) y maximiza la similitud entre pares positivos (misma clase) a través de las modalidades.
• Función de Pérdida: Los autores formulan la pérdida como una pérdida de Entropía Cruzada Binaria (BCE) entre la matriz de pseudoetiquetas $M^A$ y la sigmoide de la matriz de similitud derivada de las características entrenables.
  • $L_{IA}$: Alinea las características infrarrojas con las anclas.
  • $L_{VA}$: Alinea las características visibles con las anclas (para evitar el olvido catastrófico del rendimiento RGB).
  • Pérdida Total: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• Mecanismo: Este proceso acerca los parches semánticamente relevantes entre modalidades y aleja los no relacionados, reconstruyendo efectivamente un espacio de características unificado que prioriza la estructura semántica sobre los patrones específicos del sensor.

2.4. Conjunto de Datos MVIP

Para apoyar este aprendizaje cruzado de modalidades, los autores introducen MVIP (Pares Infrarrojos Visibles Multi-escena), un punto de referencia integral que contiene 98,992 pares de imágenes perfectamente alineados.

• Fuentes: Curado a partir de cinco conjuntos de datos públicos: FLIR-Align, KAIST, DroneVehicle, LLVIP y LasHeR.
• Cobertura: Escenarios diversos que incluyen conducción urbana, vigilancia y vistas aéreas de drones, cubriendo condiciones tanto diurnas como nocturnas.

3. Contribuciones Clave

1. Aprendizaje Contrastivo Cruzado de Parches (PCCL): Un método de autoaprendizaje que reduce adaptativamente la brecha de características cruzadas entre modalidades mientras mejora la discriminabilidad interclase mediante el uso de pseudoetiquetas guiadas por atención.
2. Conjunto de Datos MVIP: El punto de referencia visible-infrarrojo más grande hasta la fecha, que proporciona una base sólida para la investigación robusta cruzada de modalidades con casi 100k pares alineados.
3. Rendimiento de Vanguardia: UNIV logra resultados superiores en tareas infrarrojas mientras mantiene una precisión competitiva en tareas RGB.

4. Resultados Experimentales

Se realizaron experimentos extensos en tareas de segmentación semántica y detección de objetos.

4.1. Segmentación Semántica Infrarroja (MSRS-IR)

• Rendimiento: UNIV (variante LoRA) logró 76.0 mIoU, superando al estado del arte anterior (InfMAE) en +1.7 mIoU.
• Eficiencia: Esta mejora se logró actualizando solo 1.8M parámetros (aproximadamente el 2% del total de 88.7M parámetros) mediante LoRA.
• Preentrenamiento Completo: La variante de parámetros completos alcanzó 76.6 mIoU.

4.2. Detección de Objetos Infrarroja (M3FD-IR)

• Rendimiento: UNIV (LoRA) logró 56.9 mAP y 88.7 AP50, superando a InfMAE en +0.7 mAP.
• Observación: Los autores señalan que el preentrenamiento con parámetros completos produjo resultados de detección ligeramente subóptimos en comparación con LoRA, atribuyendo esto a una sobreoptimización de la similitud de parches a expensas de la riqueza semántica dentro de los parches individuales, lo cual es crítico para la detección.

4.3. Tareas Descendentes RGB

• Preservación del Rendimiento RGB: UNIV mantuvo un rendimiento competitivo en tareas RGB, logrando 79.0 mIoU en MSRS-RGB (igualando la línea base) y 51.2 mIoU en ADE20K (reteniendo el 99% de la capacidad original de MCMAE).
• Significado: Esto demuestra que UNIV construye exitosamente un espacio unificado sin causar "colapso de modalidad" ni olvido catastrófico de las capacidades RGB originales.

4.4. Análisis del Espacio de Características

• Alineación: El análisis de la Distancia del Transportista de Tierra (EMD) mostró que UNIV mejoró significativamente la alineación cruzada de modalidades, con características de la misma categoría agrupándose más cerca que las de diferentes categorías.
• Separabilidad: Las visualizaciones t-SNE confirmaron que UNIV logra una mejor separabilidad interclase en comparación con modelos de modalidad única como MCMAE o InfMAE.

5. Significado y Afirmaciones

El artículo afirma que UNIV ofrece una solución general y escalable para construir un espacio de características semánticas cruzadas unificado. Su significado principal radica en abordar el problema del "atajo de patrón", donde los modelos fallan al generalizar entre modalidades debido a la dependencia de señales superficiales del sensor.

Mediante la integración de PCCL, UNIV reconstruye un espacio de características semánticas unificado efectivo que logra:

1. Alineación Cruzada Robusta: Garantizando representaciones de características consistentes para los mismos objetos semánticos independientemente de la modalidad del sensor.
2. Fuerte Separabilidad Semántica Interclase: Mejorando la capacidad del modelo para distinguir entre diferentes clases de objetos.

Los autores enfatizan que este enfoque permite una adaptación eficiente (mediante LoRA) a tareas infrarrojas sin sacrificar las capacidades originales del modelo en tareas visibles, proporcionando una vía práctica para desplegar sistemas de percepción robustos en diversas condiciones climáticas e de iluminación. La introducción del conjunto de datos MVIP también se destaca como un recurso crítico para la investigación futura en este dominio.