Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models

Resumen Técnico: FusionProxy

Enunciado del Problema
Los sistemas de visión basados puramente en RGB tienen dificultades en condiciones ambientales desafiantes como la noche, la niebla y el deslumbramiento, lo que conduce a un rendimiento degradado y riesgos de seguridad. Aunque la imagen infrarroja (térmica) proporciona información complementaria crítica al capturar fuentes que emiten calor, los métodos de fusión de alta fidelidad existentes son poco prácticos para su implementación en tiempo real en el borde. Los modelos de fusión basados en difusión más avanzados (por ejemplo, DDFM, Mask-DiFuser) producen una calidad superior pero sufren una latencia prohibitiva debido al muestreo iterativo, requiriendo a menudo varios segundos por cuadro. Por el contrario, los métodos en tiempo real (por ejemplo, TarDAL) sacrifican demasiada calidad de fusión para ser efectivos. Además, los sensores activos como LiDAR y radar enfrentan limitaciones de escalabilidad en cuanto a interferencias y costos. El desafío central es lograr una calidad de fusión a nivel de difusión con la velocidad de inferencia requerida para hardware comercial, asegurando al mismo tiempo que la salida sea compatible con los modelos de percepción preentrenados en RGB existentes y congelados, sin necesidad de reentrenamiento.

Metodología: FusionProxy
Los autores proponen FusionProxy, un módulo de fusión de imágenes en tiempo real, plug-and-play, que destila un conjunto de maestros de difusión en una red estudiantil ligera y determinista. El marco opera en tres etapas clave:

1. Conjunto de Maestros de Difusión: En lugar de depender de un solo maestro, el método construye un conjunto utilizando dos modelos de fusión por difusión preentrenados con distribuciones de entrenamiento complementarias: DDFM (entrenado en pares IR-VIS para modelado térmico fundamentado en el dominio) y Mask-DiFuser (entrenado en imágenes naturales para priores amplios y fidelidad de textura). Para cada par de entrada, se extraen $N$ muestras de cada maestro para formar un conjunto.
2. Pérdida de Destilación de Doble Señal: La red estudiantil se entrena para aproximar la media del conjunto utilizando dos estadísticas complementarias derivadas de las muestras del maestro:
   • Supervisión de Píxeles Ponderada por Incertidumbre: La varianza por píxel del conjunto de maestros en el espacio de imagen crudo se utiliza para ponderar la supervisión a nivel de píxel. Los píxeles donde el conjunto de maestros coincide (baja varianza) reciben un peso mayor, mientras que las regiones ambiguas (alta varianza) se ponderan menos para evitar que el estudiante aprenda el ruido del maestro.
   • Alineación Multi-Fundamento Adaptativa Espacialmente: Para garantizar la compatibilidad con diversos modelos aguas abajo, el estudiante se alinea contra un panel de backbones fundamentales congelados (VGG-16, DINOv2, CLIP, SAM). La varianza de características por píxel a través de las muestras del maestro para cada backbone sirve como señal de enrutamiento. Esto permite que el sistema pondere dinámicamente la contribución de diferentes backbones basándose en su informatividad local (por ejemplo, SAM para límites, CLIP para semántica) en cada ubicación de píxel.
   • Consistencia Estructural: Se añade una pérdida basada en SSIM para preservar los detalles de alta frecuencia que podrían suavizarse al promediar en el espacio de píxeles.
3. Arquitectura Estudiantil y Robustez: El estudiante es una red ligera, determinista y de paso único (que por defecto es una U-Net basada en ConvNeXt V2) que procesa las entradas IR y VIS a través de codificadores duales. Para manejar la desalineación de sensores en el mundo real, el proceso de entrenamiento inyecta perturbaciones afines aleatorias (traslación y rotación) en la entrada IR mientras supervisa contra el conjunto de maestros alineado, obligando al estudiante a aprender implícitamente la compensación sin añadir costo de inferencia.

Contribuciones Clave

• Fusión de Calidad de Difusión en Tiempo Real: FusionProxy es el primer método que logra una calidad de fusión a nivel de difusión bajo estrictas restricciones de tiempo real (≥30 FPS) en hardware comercial (por ejemplo, RTX 4070, RTX 3060, Apple M3), cerrando la brecha entre los modelos de difusión de alta fidelidad y los sistemas de percepción implementables.
• Marco de Destilación de Doble Señal: El artículo introduce una pérdida de destilación novedosa que utiliza un único conjunto de pasadas forward del maestro en caché para impulsar tanto la supervisión de píxeles ponderada por incertidumbre como la alineación multi-fundamento adaptativa espacialmente. Esto asegura que la salida fusionada sea robusta y compatible con modelos aguas abajo heterogéneos y congelados.
• Implementación Plug-and-Play: El método está diseñado como un módulo totalmente independiente. Una vez entrenado, puede integrarse en cualquier sistema de percepción visual (detección, segmentación o conducción en bucle cerrado) como un reemplazo directo para la entrada de la cámara visible, sin requerir reentrenamiento o ajuste fino de los modelos aguas abajo.

Resultados Experimentales
Extensos experimentos validan la eficacia de FusionProxy en múltiples dimensiones:

• Calidad de Fusión: En el benchmark MSRS, FusionProxy alcanza un mIoU de 65.4, que está dentro de 0.5 puntos del mejor baseline no en tiempo real (Mask-DiFuser en 65.9), pero se ejecuta aproximadamente 103 veces más rápido. Logra las segundas mejores puntuaciones de IQA aprendida (MUSIQ, CLIP-IQA) en la tabla, quedando solo detrás del ControlFusion no en tiempo real.
• Rendimiento Aguas Abajo: Cuando se integra en modelos congelados sin modificaciones, la salida fusionada aumenta significativamente el rendimiento. Para la detección YOLOv8, el mAP aumentó en +17.0; para la segmentación SegFormer-B2, el mIoU aumentó en +16.3.
• Conducción en Bucle Cerrado: En simulaciones CARLA bajo visibilidad degradada (niebla densa, deslumbramiento nocturno), integrar FusionProxy en una política de conducción CILRS congelada aumentó la tasa de éxito del 52.4% al 86.5% y redujo el riesgo de colisión de 32.0 a 3.5.
• Velocidad de Inferencia: FusionProxy logra inferencia en tiempo real (84 FPS en RTX 4070, 47.7 FPS en RTX 3060, 37.8 FPS en Apple M3 a resolución 480×640), superando a todos los demás métodos derivados de difusión, que son o bien no en tiempo real o significativamente más lentos.

Significado y Afirmaciones
El artículo afirma que FusionProxy proporciona una solución flexible y generalizable para la "percepción todo el día" al añadir conciencia térmica a las pilas visuales existentes basadas en RGB sin necesidad de hardware especializado o reentrenamiento del sistema. Al desacoplar la arquitectura del estudiante de la pesada red de eliminación de ruido del maestro, el método permite que backbones ligeros hereden una calidad de fusión de grado de difusión. Los autores enfatizan que este enfoque resuelve los problemas de escalabilidad y latencia de los métodos de fusión actuales, haciendo práctica la integración térmica de alta fidelidad para aplicaciones reales de conducción autónoma y vigilancia. El artículo nota modestamente una limitación: dado que el estudiante es determinista, no retiene la diversidad generativa del conjunto de maestros, lo que significa que podría no ser adecuado para aplicaciones que requieren múltiples salidas de fusión plausibles para un razonamiento consciente de la incertidumbre.