TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

Ce papier présente TherA, un cadre de traduction d'images RGB vers l'infrarouge thermique qui utilise un modèle de langage visuel pour générer des embeddings thermiques et un diffuseur latent afin de produire des images thermiques réalistes et contrôlables en respectant la physique thermique.

L'essentiel

Imaginez que vous avez une photo prise avec un appareil photo classique (en couleurs, ce qu'on appelle RGB). Maintenant, vous voulez voir cette même scène comme si vous portiez des lunettes de nuit à vision thermique (ce qu'on appelle TIR ou infrarouge thermique).

Le problème, c'est que la chaleur ne se voit pas toujours sur une photo normale. Une voiture garée et une voiture en marche peuvent avoir la même couleur, mais l'une est froide et l'autre brûlante. Les anciennes méthodes d'intelligence artificielle faisaient souvent des erreurs : elles transformaient la photo en "dessin animé" thermique, en rendant chaudes des choses qui devraient être froides (comme une voiture à l'arrêt), simplement parce qu'elles copiaient les couleurs sans comprendre la physique.

TherA est une nouvelle solution intelligente qui résout ce problème. Voici comment ça marche, avec des analogies simples :

1. Le Problème : L'IA qui ne comprend pas la chaleur

Avant TherA, les IA faisaient un peu comme un peintre qui ne connaît que les couleurs. Si vous lui montriez une voiture rouge, il pensait : "Ah, c'est rouge, donc je vais la peindre en rouge chaud". Mais en réalité, une voiture rouge garée depuis une heure est froide !
Les anciennes IA manquaient de bon sens physique. Elles ne savaient pas distinguer une voiture qui tourne (moteur chaud) d'une voiture à l'arrêt.

2. La Solution : Le "Physicien Thermique" (TherA-VLM)

C'est le cœur de la découverte. Les auteurs ont créé un assistant spécial, qu'on pourrait appeler un "Physicien Thermique".

• L'analogie du détective : Imaginez que vous montrez une photo à ce détective. Au lieu de juste dire "C'est une voiture", il analyse la scène et dit : "Attends, cette voiture a le moteur qui tourne (on voit de la fumée ou elle est sur la route), donc elle va être très chaude. Celle-ci est garée dans un parking, donc elle est froide. Et il pleut, donc le sol va être plus frais."
• Le langage secret : Ce détective ne parle pas en phrases compliquées. Il crée une "carte mentale thermique" (un petit résumé codé) qui résume tout ce qui est important : le temps qu'il fait, l'heure de la journée, et surtout, qui chauffe et qui ne chauffe pas.

3. Le Peintre Magique (Le Modèle de Diffusion)

Une fois que le "Physicien Thermique" a créé cette carte mentale, il la donne à un artiste très talentueux (un modèle de diffusion, comme ceux qui créent des images à partir de texte).

• L'analogie du chef d'orchestre : Le Physicien est le chef d'orchestre. Il dit à l'artiste : "Peins le ciel en gris (il pleut), la route en bleu froid, mais fais briller les phares et les roues de la voiture en mouvement en orange vif."
• Grâce à cette carte mentale, l'artiste ne devine plus. Il peint une image thermique réaliste et physiquement correcte.

4. Le Super-Pouvoir : Le Contrôle Total

C'est la partie la plus cool de TherA. Vous pouvez demander à l'IA de changer la scène sans changer la photo de base.

• Le bouton "Météo" : Vous pouvez dire : "Change la photo pour qu'il pleuve" ou "Change pour qu'il fasse nuit". L'IA va recalculer la chaleur : la nuit, les bâtiments refroidissent, le sol garde la chaleur du jour.
• Le bouton "État de la voiture" : Vous pouvez montrer une photo de référence d'une voiture en marche et dire : "Applique cet état à cette voiture". Soudain, la voiture sur la photo devient "chaude" (moteur allumé) dans l'image thermique, même si elle était à l'arrêt sur la photo originale.

Pourquoi est-ce si important ?

Imaginez que vous voulez entraîner une voiture autonome à conduire de nuit ou sous la pluie. Vous avez besoin de milliers d'heures de vidéos thermiques pour l'entraîner. Mais filmer avec des caméras thermiques coûte très cher et c'est lent.

TherA permet de créer ces données gratuitement et rapidement à partir de photos normales.

• Avant : On créait des fausses images thermiques qui étaient jolies mais fausses (une voiture froide qui semblait brûlante). La voiture autonome apprenait des mauvaises choses.
• Avec TherA : On crée des images thermiques réalistes. La voiture autonome apprend que vraiment, un moteur chaud émet de la chaleur, même sous la pluie.

En résumé

TherA, c'est comme donner à une IA un livre de physique et un bon sens avant de lui demander de dessiner. Au lieu de simplement copier les couleurs, elle comprend la chaleur, le temps qu'il fait et l'état des objets. C'est la première fois qu'on peut dire à une IA : "Fais-moi une image thermique réaliste, mais change la météo et dis-moi quelles voitures sont en marche", et obtenir un résultat parfait.

C'est un pas de géant pour rendre la vision par ordinateur plus sûre et plus intelligente, surtout dans des conditions difficiles comme la nuit ou le brouillard.

Résumé technique

1. Problématique et Contexte

L'imagerie infrarouge thermique (TIR) offre une perception robuste dans des conditions de faible visibilité, complétant efficacement les caméras RGB. Cependant, la collecte et l'annotation de grandes bases de données TIR sont coûteuses et lentes en raison du prix des capteurs et de la difficulté à étiqueter des images à faible texture.

Les approches actuelles de traduction d'images RGB vers TIR tentent de synthétiser des données pseudo-TIR, mais elles souffrent de limitations majeures :

• Manque de physique thermique : La plupart des modèles traitent la traduction comme un simple transfert de style (pixel-à-pixel), ignorant les lois physiques de l'émission de chaleur (émissivité, sources de chaleur actives, conditions environnementales).
• Résultats irréalistes : Cela conduit à des distributions de chaleur incohérentes (ex: une voiture garée apparaissant aussi chaude qu'une voiture en mouvement).
• Problème mal posé (Ill-posed) : Une seule image RGB peut correspondre à de multiples états thermiques valides selon l'heure, la météo ou l'état des objets, rendant la prédiction déterministe insuffisante.
• Manque de contrôle : Les méthodes existantes ne permettent pas un contrôle explicite sur les attributs thermiques (ex: changer l'état d'un objet ou la météo) sans altérer la géométrie de la scène.

2. Méthodologie : Le Framework TherA

TherA est un cadre de traduction controllable qui couple un Modèle de Langage-Vision Thermiquement Conscient (TherA-VLM) avec un traducteur basé sur la diffusion latente.

A. Le Dataset R2T2

Pour entraîner le modèle, les auteurs ont construit R2T2, un jeu de données de 100 000 triplets (RGB, TIR aligné, texte).

• Génération de texte : Un modèle de raisonnement multimodal (Gemini 2.5 Pro) analyse les paires RGB-TIR pour générer des descriptions structurées et canonisées.
• Schéma canonique : Au lieu de légendes libres, le texte est structuré en quatre catégories physiques :
  1. Scène : Heure, météo, environnement.
  2. Objets : Catégories et positions.
  3. Matériaux : Groupés par classes d'émissivité (métal, verre, organique, etc.).
  4. Émission de chaleur : État "actif" (source de chaleur interne, ex: moteur en marche) ou "passif" (chauffé uniquement par l'environnement, ex: voiture garée).

B. TherA-VLM (Modèle de Langage-Vision)

• Architecture : Basé sur LLaVA 1.5, fine-tuné avec des couches LoRA.
• Fonction : Il prend en entrée une image RGB et une instruction utilisateur (texte ou image de référence) pour produire un embedding thermique compact ($h_N$).
• Innovation : Contrairement aux VLM classiques qui décrivent l'apparence visuelle, TherA-VLM infère les attributs physiques thermiques (émissivité, état actif/passif) à partir de l'image RGB seule, guidé par le schéma canonique de R2T2.

C. Traducteur Diffusion Conditionné

• Architecture : Un modèle de diffusion latente (UNet basé sur Stable Diffusion).
• Conditionnement : L'embedding thermique $h_N$ généré par TherA-VLM est injecté dans les couches d'attention croisée de l'UNet via un module adaptateur (TE-Adapter).
• Entrée : L'UNet reçoit le bruit latent TIR et l'latent RGB (pour la structure géométrique).
• Inférence : Utilisation d'une double guidance sans classificateur (Dual-CFG) pour contrôler séparément la structure visuelle (via l'image RGB) et le contexte thermique (via l'embedding VLM).

D. Contrôlabilité

TherA permet deux niveaux de contrôle sans modifier la géométrie de la scène :

1. Guidage par texte : L'utilisateur peut modifier les attributs globaux (ex: "météo pluvieuse", "nuit") via des prompts.
2. Guidage par image de référence : L'utilisateur fournit une image RGB de référence (ex: une voiture en marche) pour transférer son état thermique spécifique à l'image cible.

3. Contributions Clés

1. Conditionnement par VLM Thermiquement Conscient : Introduction de TherA-VLM qui génère des embeddings sémantiques basés sur la physique thermique, résolvant l'ambiguïté du problème RGB-TIR.
2. Contrôle Explicite : Premier framework permettant de moduler l'apparence thermique (état des objets, météo, heure) via le texte ou des images de référence.
3. Performance State-of-the-Art (SOTA) : Résultats supérieurs sur les benchmarks FLIR et M3FD, avec une généralisation "zero-shot" exceptionnelle (+33% de gain moyen sur toutes les métriques par rapport aux bases).
4. Ressources Open Source : Publication du dataset R2T2, des poids du modèle TherA-VLM et du module de traduction.

4. Résultats Expérimentaux

• Évaluation Quantitative : TherA surpasse toutes les méthodes de base (GANs, Diffusion, méthodes guidées par segmentation) sur les métriques PSNR, SSIM, FID et LPIPS.
  • Exemple : Sur M3FD, TherA atteint un PSNR de 19.54 contre 18.97 pour le deuxième meilleur (DiffV2IR).
• Généralisation Zero-Shot : Entraîné uniquement sur R2T2, TherA généralise remarquablement bien sur des datasets non vus (CART, Cityscapes, NuScenes), là où les autres modèles échouent souvent à produire des structures thermiques cohérentes.
• Évaluation Qualitative :
  • Distinction correcte entre objets actifs (chaleurs élevées) et passifs (froids).
  • Gestion réaliste des inversions thermiques (jour/nuit) et des conditions météorologiques.
  • Préservation des détails structurels complexes sans dépendre de masques de segmentation explicites.
• Tâches en Aval : Les images pseudo-TIR générées par TherA améliorent significativement les performances de segmentation thermique et de matching d'images RGB-TIR par rapport aux autres méthodes de traduction.

5. Signification et Limites

Signification :
TherA représente une avancée majeure en passant d'une approche de "style transfer" purement visuelle à une approche physiquement fondée. En intégrant le raisonnement physique via un VLM, le modèle résout l'ambiguïté inhérente à la traduction RGB-TIR et ouvre la voie à la génération de données synthétiques massives et réalistes pour l'entraînement de modèles de perception thermique, réduisant ainsi la dépendance aux capteurs TIR coûteux.

Limites :

• Représentation relative : Le système génère des images normalisées (contraste relatif) et non des valeurs radiométriques absolues, limitant son usage pour la mesure de température précise.
• Dépendance à la visibilité RGB : En cas d'image RGB très dégradée (nuit noire, flou de mouvement), le VLM peut produire des descriptions erronées, affectant la qualité de la sortie.
• Contrôle des petits objets : La modulation de l'état "actif/passif" est moins efficace pour les petits objets électroniques (écrans, laptops) où le contraste thermique réel est faible.

En conclusion, TherA établit un nouveau standard pour la génération d'images thermiques, combinant la puissance des modèles de diffusion avec la compréhension sémantique et physique des grands modèles de langage.