Résumé Technique : Thermo-VL

Énoncé du Problème

Les modèles vision-langage (VLM) ont obtenu des succès significatifs dans la compréhension d'images en contexte ouvert et la réponse à des questions visuelles (VQA) grâce à un ajustement par instruction sur des ensembles de données RGB à grande échelle. Cependant, ces modèles héritent des modes de défaillance de la détection dans le spectre visible. En cas de faible éclairage, d'éblouissement, de brume ou de fumée, les images RGB perdent souvent des preuves critiques de la scène, rendant les VLM standards fragiles dans des scénarios critiques pour la sécurité tels que la conduite nocturne, la recherche et le sauvetage, et l'inspection par faible visibilité.

Bien que l'imagerie infrarouge thermique (IR) préserve une structure de scène complémentaire (par exemple, humains, animaux, véhicules chauds) lorsque les indices visibles se dégradent, les approches actuelles d'intégration des données thermiques dans les VLM sont sous-optimales. Les solutions de contournement courantes consistent à traduire les images thermiques en pseudo-RGB avant de les alimenter dans des VLM entraînés sur RGB. Ce pipeline basé sur la traduction introduit un goulot d'étranglement génératif, risque d'halluciner des détails de style visible et supprime les informations spécifiques à la modalité non naturellement représentées dans l'espace RGB. De plus, les ensembles de données RGB-thermiques existants (par exemple, KAIST, FLIR-ADAS) sont principalement conçus pour la détection ou le suivi et manquent de la supervision par langage requise pour l'ajustement par instruction et le raisonnement en contexte ouvert.

Méthodologie

Les auteurs présentent Thermo-VL, un VLM conscient des longueurs d'onde construit sur la base Molmo-7B-D. L'architecture est conçue pour intégrer des entrées RGB et thermiques alignées sans déstabiliser l'interface préentraînée RGB–langage ni nécessiter un réentraînement coûteux de l'ensemble du socle.

Architecture

1. Double Encodeurs Visuels :

   • Flux RGB : Utilise la tour de vision préentraînée Molmo gelée ($\phi_R$).
   • Flux Thermique : Utilise un encodeur ViT-L/14 ($\phi_T$) initialisé à partir d'un Autoencodeur Masqué (MAE) préentraîné sur un corpus infrarouge multi-bandes regroupé (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). Pour maintenir la compatibilité avec l'attente d'entrée à 3 canaux de Molmo, les images thermiques à canal unique sont répliquées sur trois canaux.
   • Efficacité Paramétrique : Pendant l'entraînement, l'encodeur RGB et le Modèle de Langage (LLM) restent gelés. Seuls les $N_\ell=4$ derniers blocs de transformateurs de l'encodeur thermique, la Normalisation de Couche thermique et le module de fusion sont mis à jour.

2. Module de Fusion à Double Attention Guidé par le Texte :
   L'innovation centrale est un bloc de fusion qui conditionne les caractéristiques thermiques à la fois sur l'invite de texte et le contexte RGB avant de les injecter dans le flux RGB gelé.

   • Entrée : Jetons RGB alignés ($R$), jetons thermiques ($T$) et embeddings d'invite ($P$).
   • Double Attention : Les jetons thermiques sont affinés via deux chemins d'attention parallèles :
     • Chemin Guidé par le Texte : $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • Chemin Guidé par le RGB : $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • Affinement : Ces chemins sont fusionnés avec les caractéristiques thermiques originales pour produire une représentation affinée $\hat{T}$.
   • Injection Résiduelle Portée par des Portes : Au lieu de remplacer les jetons RGB, le modèle prédit un résidu $\Delta R$ à partir de $\hat{T}$ et le module avec des portes au niveau des jetons $\alpha$. Les jetons fusionnés finaux sont calculés comme suit :
     $$R^\dagger = R + \alpha \odot \Delta R$$
     Cette conception garantit que la fusion est consciente de la requête et préserve l'interface préentraînée RGB–langage tout en permettant une injection ciblée de preuves thermiques.

Objectif d'Entraînement

Le modèle est optimisé à l'aide d'une fonction de perte composite :
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$ : Perte standard d'entropie croisée autorégressive pour la tâche de modélisation du langage.
• $L_{align}$ : Alignement L2 au niveau des jetons entre les caractéristiques RGB et thermiques pour imposer une cohérence intermodale.
• $L_{contr}$ : Perte contrastive (InfoNCE) pour aligner les représentations sémantiques globales du RGB, du thermique et du texte.
• $L_{gate}$ : Régularisation par entropie sur le mécanisme de porte pour éviter la saturation des portes (c'est-à-dire empêcher le modèle d'ignorer entièrement une modalité).
• Augmentation : Une stratégie de masquage par blocs de l'image RGB est employée pendant l'entraînement, masquant aléatoirement 10 % de la surface de l'image RGB pour réduire la sur-reliance sur le spectre visible.

Contributions Clés

1. VLM Conscient des Longueurs d'Onde : Introduction de Thermo-VL, qui intègre des entrées RGB et thermiques appariées via un module de fusion à double attention guidé par le texte avec injection résiduelle portée par des portes au niveau des jetons, maintenant la tour RGB et le LLM gelés.
2. Adaptation Efficace en Paramètres : Une stratégie de fine-tuning qui met à jour uniquement les derniers blocs de l'encodeur thermique et les paramètres de fusion, régularisés par un alignement au niveau des jetons, une supervision contrastive et une entropie de porte.
3. Supervision Unifiée par Langage RGB-Thermique :
   • Jeu de Données : Un jeu de données d'ajustement par instruction RGB-thermique aligné au pixel contenant environ 19 500 paires d'images et environ 54 000 paires de questions-réponses, construit à partir de jeux de données publics et d'une augmentation thermique synthétique (utilisant F-ViTA) sur les données PixMo-cap-qa.
   • Référence : Thermo-VL-Bench, une référence VQA binaire manuellement filtrée avec environ 3 148 paires d'images et environ 15 000 paires de questions-réponses, conçue pour le raisonnement en faible luminosité et inter-spectre.

Résultats Expérimentaux

Les expériences ont été menées sur Thermo-VL-Bench et la référence externe RGB-Th Bench.

• Thermo-VL-Bench :

  • RGB+Thermique : Thermo-VL a atteint une précision de 88,96 %, une amélioration substantielle par rapport à la référence Molmo (75,79 %) lorsque les deux modalités étaient fournies.
  • Thermique Uniquement : Amélioration de 81,20 % (Molmo) à 82,23 %.
  • RGB Uniquement : La performance a été préservée à 88,67 %, correspondant à la référence, démontrant que le mécanisme de fusion ne dégrade pas les capacités RGB existantes.
  • Global : Thermo-VL a obtenu le score combiné le plus élevé (86,37 %) parmi tous les modèles comparés (y compris InternVL, Qwen2.5-VL et LLaVA-Next).

• RGB-Th Bench :

  • Thermo-VL a égalé la référence Molmo sur les tâches textuelles en RGB uniquement (77,25 %) mais a considérablement amélioré la performance sur les tâches textuelles RGB-Thermique, passant de 60,84 % à 69,15 %.

• Études d'Ablation :

  • La suppression de l'attention guidée par le texte a causé la plus grande baisse de performance (88,96 % $\to$ 82,34 %), confirmant l'importance d'une fusion consciente de la question.
  • La suppression de l'injection résiduelle portée par des portes ou de l'attention guidée par le RGB a également dégradé les performances, validant le rôle de la conception dans la préservation de l'interface RGB tout en intégrant les données thermiques.
  • Les pertes auxiliaires ($L_{contr}$ et $L_{gate}$) se sont révélées critiques pour la cohérence intermodale et la prévention de l'effondrement modal.

Importance et Revendications

L'article revendique qu'une fusion multispectrale explicite et conditionnée par l'invite permet aux indices thermiques de compléter efficacement les données RGB lorsqu'ils sont fusionnés à l'intérieur du modèle, plutôt que d'être ajoutés au niveau de l'entrée ou traduits en pseudo-RGB. Thermo-VL démontre qu'il est possible d'étendre des VLM préentraînés puissants à la perception thermique sans déstabiliser leur interface préentraînée RGB–langage.

Les auteurs positionnent Thermo-VL comme un prototype de recherche plutôt que comme un système prêt au déploiement. Ils reconnaissent des limitations, notamment l'hypothèse d'entrées spatialement alignées, l'utilisation d'une supervision QA générée par le modèle qui peut introduire des artefacts, et le fait que Thermo-VL-Bench est une référence manuellement filtrée et générée par le modèle plutôt qu'une référence entièrement rédigée par des humains. Le travail vise à soutenir la recherche sur l'apprentissage vision-langage multispectral et l'ajustement par instruction dans des conditions de faible luminosité, plutôt que de servir de base autonome à la prise de décision critique pour la sécurité.