Resumen Técnico: Thermo-VL

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM) han logrado un éxito significativo en la comprensión de imágenes de propósito abierto y en la respuesta a preguntas visuales (VQA) mediante el ajuste fino por instrucciones en conjuntos de datos RGB a gran escala. Sin embargo, estos modelos heredan los modos de fallo de la detección en el espectro visible. Bajo iluminación tenue, deslumbramiento, niebla o humo, las imágenes RGB a menudo pierden evidencia crítica de la escena, lo que convierte a los VLM estándar en frágiles en escenarios críticos para la seguridad, como la conducción nocturna, la búsqueda y rescate, y la inspección con baja visibilidad.

Aunque la imagen infrarroja térmica (IR) preserva la estructura complementaria de la escena (por ejemplo, humanos, animales, vehículos calientes) cuando los indicios visibles se degradan, los enfoques actuales para integrar datos térmicos en los VLM son subóptimos. Las soluciones habituales implican traducir imágenes térmicas a pseudo-RGB antes de alimentarlas a VLM entrenados con RGB. Esta pipeline basada en traducción introduce un cuello de botella generativo, corre el riesgo de alucinar detalles de estilo visible y suprime información específica de la modalidad que no está representada naturalmente en el espacio RGB. Además, los conjuntos de datos existentes RGB-térmicos (por ejemplo, KAIST, FLIR-ADAS) están diseñados principalmente para detección o seguimiento y carecen de la supervisión lingüística requerida para el ajuste fino por instrucciones y el razonamiento de propósito abierto.

Metodología

Los autores presentan Thermo-VL, un VLM consciente de la longitud de onda construido sobre la base Molmo-7B-D. La arquitectura está diseñada para integrar entradas RGB y térmicas alineadas sin desestabilizar la interfaz RGB–lingüística preentrenada ni requerir un reentrenamiento costoso de toda la base.

Arquitectura

1. Codificadores Visuales Duplicados:

   • Flujo RGB: Utiliza la torre de visión preentrenada de Molmo congelada ($\phi_R$).
   • Flujo Térmico: Utiliza un codificador ViT-L/14 ($\phi_T$) inicializado a partir de un Autoencoder Enmascarado (MAE) preentrenado en un corpus infrarrojo multibanda agrupado (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). Para mantener la compatibilidad con la expectativa de entrada de 3 canales de Molmo, las imágenes térmicas de un solo canal se replican en tres canales.
   • Eficiencia de Parámetros: Durante el entrenamiento, el codificador RGB y el Modelo de Lenguaje (LLM) permanecen congelados. Solo se actualizan los últimos $N_\ell=4$ bloques transformadores del codificador térmico, la normalización de capa térmica y el módulo de fusión.

2. Módulo de Fusión de Doble Atención Guiado por Texto:
   La innovación central es un bloque de fusión que condiciona las características térmicas tanto en el prompt de lenguaje como en el contexto RGB antes de inyectarlas en el flujo RGB congelado.

   • Entrada: Tokens RGB alineados ($R$), tokens térmicos ($T$) y embebimientos de prompt ($P$).
   • Doble Atención: Los tokens térmicos se refinan mediante dos caminos de atención paralelos:
     • Camino Guiado por Texto: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • Camino Guiado por RGB: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • Refinamiento: Estos caminos se fusionan con las características térmicas originales para producir una representación refinada $\hat{T}$.
   • Inyección Residual Puerta: En lugar de reemplazar los tokens RGB, el modelo predice un residuo $\Delta R$ a partir de $\hat{T}$ y lo modula con puertas por token $\alpha$. Los tokens fusionados finales se calculan como:
     $$R^\dagger = R + \alpha \odot \Delta R$$
     Este diseño asegura que la fusión sea consciente de la consulta y preserve la interfaz RGB–lingüística preentrenada, permitiendo al mismo tiempo una inyección dirigida de evidencia térmica.

Objetivo de Entrenamiento

El modelo se optimiza utilizando una función de pérdida compuesta:
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: Pérdida estándar de entropía cruzada autoregresiva para la tarea de modelado de lenguaje.
• $L_{align}$: Alineación L2 a nivel de token entre características RGB y térmicas para imponer consistencia entre modalidades.
• $L_{contr}$: Pérdida contrastiva (InfoNCE) para alinear las representaciones semánticas globales de RGB, térmico y texto.
• $L_{gate}$: Regularización de entropía en el mecanismo de puerta para evitar la saturación de la puerta (es decir, evitar que el modelo ignore una modalidad por completo).
• Aumento: Se emplea una estrategia de enmascaramiento de bloques RGB durante el entrenamiento, enmascarando aleatoriamente el 10% del área de la imagen RGB para reducir la dependencia excesiva del espectro visible.

Contribuciones Clave

1. VLM Consciente de la Longitud de Onda: Introducción de Thermo-VL, que integra entradas emparejadas RGB y térmicas mediante un módulo de fusión de doble atención guiado por texto con inyección residual puerta por token, manteniendo la torre RGB y el LLM congelados.
2. Adaptación Eficiente en Parámetros: Una estrategia de ajuste fino que actualiza solo los últimos bloques del codificador térmico y los parámetros de fusión, regularizados por alineación a nivel de token, supervisión contrastiva y entropía de puerta.
3. Supervisión Lingüística Unificada RGB-Térmica:
   • Conjunto de Datos: Un conjunto de datos de ajuste fino por instrucciones RGB-térmico alineado a píxeles que contiene ~19,500 pares de imágenes y ~54K pares de preguntas y respuestas, construido a partir de conjuntos de datos públicos y aumento térmico sintético (usando F-ViTA) sobre datos de PixMo-cap-qa.
   • Punto de Referencia: Thermo-VL-Bench, un punto de referencia de VQA binario revisado manualmente con ~3,148 pares de imágenes y ~15K pares de preguntas y respuestas, diseñado para el razonamiento en baja luz y entre espectros.

Resultados Experimentales

Los experimentos se realizaron en Thermo-VL-Bench y en el externo RGB-Th Bench.

• Thermo-VL-Bench:

  • RGB+Térmico: Thermo-VL logró una precisión del 88.96%, una mejora sustancial sobre la línea base de Molmo (75.79%) cuando se proporcionaron ambas modalidades.
  • Solo Térmico: Mejoró del 81.20% (Molmo) al 82.23%.
  • Solo RGB: El rendimiento se mantuvo en 88.67%, igualando la línea base, demostrando que el mecanismo de fusión no degrada las capacidades RGB existentes.
  • General: Thermo-VL logró la puntuación combinada más alta (86.37%) entre todos los modelos comparados (incluyendo InternVL, Qwen2.5-VL y LLaVA-Next).

• RGB-Th Bench:

  • Thermo-VL igualó la línea base de Molmo en tareas de texto solo RGB (77.25%), pero mejoró significativamente el rendimiento en tareas de texto RGB-Térmico, aumentando del 60.84% al 69.15%.

• Estudios de Ablación:

  • Eliminar la atención guiada por texto causó la mayor caída de rendimiento (88.96% $\to$ 82.34%), confirmando la importancia de la fusión consciente de la pregunta.
  • Eliminar el residual puerta o la atención guiada por RGB también degradó el rendimiento, validando el papel del diseño en preservar la interfaz RGB mientras integra datos térmicos.
  • Se demostró que las pérdidas auxiliares ($L_{contr}$ y $L_{gate}$) son críticas para la consistencia entre modalidades y para evitar el colapso de la modalidad.

Significado y Afirmaciones

El artículo afirma que la fusión multispectral explícita y condicionada por el prompt permite que los indicios térmicos complementen eficazmente los datos RGB cuando se fusionan dentro del modelo, en lugar de añadirse a nivel de entrada o traducirse a pseudo-RGB. Thermo-VL demuestra que es posible extender VLM preentrenados potentes a la percepción térmica sin desestabilizar su interfaz RGB–lingüística preentrenada.

Los autores posicionan a Thermo-VL como un prototipo de investigación en lugar de un sistema listo para su despliegue. Reconocen limitaciones, incluyendo la suposición de entradas espacialmente alineadas, el uso de supervisión de preguntas y respuestas generada por el modelo que puede introducir artefactos, y el hecho de que Thermo-VL-Bench es un punto de referencia revisado manualmente y generado por modelos, en lugar de uno completamente escrito por humanos. El trabajo tiene la intención de apoyar la investigación en el aprendizaje visuales-lingüístico multispectral y el ajuste fino por instrucciones en condiciones de poca luz, en lugar de servir como base independiente para la toma de decisiones crítica para la seguridad.