Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models

Résumé Technique : FusionProxy

Énoncé du Problème
Les systèmes de vision purement basés sur RVB (RGB) éprouvent des difficultés dans des conditions environnementales difficiles telles que la nuit, le brouillard et les éblouissements, entraînant une dégradation des performances et des risques pour la sécurité. Bien que l'imagerie infrarouge (thermique) fournisse des informations complémentaires cruciales en capturant les sources émettant de la chaleur, les méthodes de fusion haute fidélité existantes sont peu pratiques pour un déploiement en temps réel sur des dispositifs périphériques (edge). Les modèles de fusion de pointe basés sur la diffusion (par exemple, DDFM, Mask-DiFuser) produisent une qualité supérieure mais souffrent d'une latence prohibitive due à l'échantillonnage itératif, nécessitant souvent plusieurs secondes par image. À l'inverse, les méthodes en temps réel (par exemple, TarDAL) sacrifient trop de qualité de fusion pour être efficaces. De plus, les capteurs actifs comme le LiDAR et le radar font face à des limitations d'évolutivité concernant les interférences et les coûts. Le défi central consiste à atteindre une qualité de fusion au niveau de la diffusion avec la vitesse d'inférence requise pour du matériel standard, tout en garantissant que la sortie reste compatible avec les modèles de perception pré-entraînés sur RVB existants et figés, sans réentraînement.

Méthodologie : FusionProxy
Les auteurs proposent FusionProxy, un module de fusion d'images en temps réel, plug-and-play, qui distille un ensemble d'enseignes de diffusion dans un réseau étudiant léger et déterministe. Le cadre fonctionne en trois étapes clés :

1. Ensemble d'Enseignes de Diffusion : Au lieu de s'appuyer sur une seule enseigne, la méthode construit un ensemble utilisant deux modèles de fusion par diffusion pré-entraînés avec des distributions d'entraînement complémentaires : DDFM (entraîné sur des paires IR-VIS pour une modélisation thermique ancrée dans le domaine) et Mask-DiFuser (entraîné sur des images naturelles pour des priors larges et une fidélité texturale). Pour chaque paire d'entrée, $N$ échantillons sont tirés de chaque enseigne pour former un ensemble.
2. Perte de Distillation à Double Signal : Le réseau étudiant est entraîné pour approximer la moyenne de l'ensemble en utilisant deux statistiques complémentaires dérivées des échantillons de l'enseigne :
   • Supervision des Pixels Pondérée par l'Incertitude : La variance par pixel de l'ensemble d'enseignes dans l'espace de l'image brute est utilisée pour pondérer la supervision au niveau des pixels. Les pixels où l'ensemble d'enseignes s'accorde (faible variance) reçoivent un poids plus élevé, tandis que les régions ambiguës (forte variance) sont sous-pondérées pour empêcher l'étudiant d'apprendre le bruit des enseignes.
   • Alignement Multi-Fondation Spatiallement Adaptatif : Pour assurer la compatibilité avec divers modèles en aval, l'étudiant est aligné par rapport à un panel de fondations figées (VGG-16, DINOv2, CLIP, SAM). La variance des caractéristiques par pixel à travers les échantillons de l'enseigne pour chaque fondation sert de signal de routage. Cela permet au système de pondérer dynamiquement la contribution des différentes fondations en fonction de leur informativité locale (par exemple, SAM pour les contours, CLIP pour la sémantique) à chaque emplacement de pixel.
   • Cohérence Structurelle : Une perte basée sur l'SSIM est ajoutée pour préserver les détails haute fréquence qui pourraient être lissés par la moyenne dans l'espace des pixels.
3. Architecture Étudiante et Robustesse : L'étudiant est un réseau léger, déterministe et en passage unique (par défaut, un U-Net basé sur ConvNeXt V2) qui traite les entrées IR et VIS via des double encodeurs. Pour gérer les désalignements de capteurs réels, le processus d'entraînement injecte des perturbations affines aléatoires (translation et rotation) dans l'entrée IR tout en supervisant par rapport à l'ensemble d'enseignes aligné, forçant l'étudiant à apprendre implicitement une compensation sans ajouter de coût d'inférence.

Contributions Clés

• Fusion de Qualité Diffusion en Temps Réel : FusionProxy est la première méthode à atteindre une qualité de fusion au niveau de la diffusion sous des contraintes strictes de temps réel (≥30 FPS) sur du matériel standard (par exemple, RTX 4070, RTX 3060, Apple M3), comblant le fossé entre les modèles de diffusion haute fidélité et les systèmes de perception déployables.
• Cadre de Distillation à Double Signal : L'article introduit une nouvelle perte de distillation qui utilise un seul ensemble de passes avant d'enseignes mises en cache pour piloter à la fois la supervision des pixels pondérée par l'incertitude et l'alignement multi-fondation spatiallement adaptatif. Cela garantit que la sortie fusionnée est robuste et compatible avec des modèles en aval hétérogènes et figés.
• Déploiement Plug-and-Play : La méthode est conçue comme un module entièrement indépendant. Une fois entraîné, il peut être intégré dans n'importe quel système de perception visuelle (détection, segmentation ou conduite en boucle fermée) comme remplacement direct de l'entrée de la caméra visible, sans nécessiter de réentraînement ou de réglage fin des modèles en aval.

Résultats Expérimentaux
Des expériences extensives valident l'efficacité de FusionProxy à travers plusieurs dimensions :

• Qualité de Fusion : Sur le benchmark MSRS, FusionProxy atteint un mIoU de 65,4, ce qui est à moins de 0,5 point de la meilleure référence non temps réel (Mask-DiFuser à 65,9) mais fonctionne environ 103 fois plus vite. Il obtient les deuxième meilleurs scores d'IQA appris (MUSIQ, CLIP-IQA) dans le tableau, juste derrière ControlFusion non temps réel.
• Performance en Aval : Lorsqu'il est intégré dans des modèles figés sans modification, la sortie fusionnée améliore considérablement les performances. Pour la détection YOLOv8, le mAP augmente de +17,0 ; pour la segmentation SegFormer-B2, le mIoU augmente de +16,3.
• Conduite en Boucle Fermée : Dans les simulations CARLA sous visibilité dégradée (brouillard dense, éblouissement nocturne), l'intégration de FusionProxy dans une politique de conduite CILRS figée augmente le taux de succès de 52,4 % à 86,5 % et réduit le risque de collision de 32,0 à 3,5.
• Vitesse d'Inférence : FusionProxy atteint une inférence en temps réel (84 FPS sur RTX 4070, 47,7 FPS sur RTX 3060, 37,8 FPS sur Apple M3 à une résolution de 480×640), surpassant toutes les autres méthodes dérivées de la diffusion qui sont soit non temps réel, soit significativement plus lentes.

Signification et Revendications
L'article revendique que FusionProxy fournit une solution flexible et généralisable pour la « perception tout au long de la journée » en ajoutant une conscience thermique aux piles visuelles RVB existantes sans besoin de matériel spécialisé ou de réentraînement du système. En découplant l'architecture de l'étudiant du réseau de débruitage lourd de l'enseigne, la méthode permet aux fondations légères d'hériter d'une qualité de fusion de niveau diffusion. Les auteurs soulignent que cette approche résout les problèmes d'évolutivité et de latence des méthodes de fusion actuelles, rendant l'intégration thermique haute fidélité pratique pour les applications réelles de conduite autonome et de surveillance. L'article note modestement une limitation : comme l'étudiant est déterministe, il ne conserve pas la diversité générative de l'ensemble d'enseignes, ce qui signifie qu'il pourrait ne pas convenir aux applications nécessitant plusieurs sorties de fusion plausibles pour un raisonnement conscient de l'incertitude.