Résumé Technique : AnyThermal et TartanRGBT

1. Énoncé du Problème

L'imagerie thermique offre une robustesse face aux conditions d'éclairage et météorologiques, ce qui la rend critique pour l'autonomie résiliente dans la recherche et le sauvetage, la conduite autonome et la surveillance. Cependant, contrairement aux données RGB, les données thermiques souffrent d'une grave pénurie de jeux de données de grande échelle et diversifiés. Les extracteurs de caractéristiques thermiques existants reposent généralement sur un entraînement spécifique à une tâche avec des données à petite échelle ou adaptent des backbones RGB pré-entraînés. Ces approches aboutissent à des modèles limités à des environnements et des tâches spécifiques. De plus, bien que la distillation de connaissances à partir de modèles de fondation visuels (par exemple, DINOv2) vers les domaines thermiques ait été explorée, les travaux antérieurs ont été contraints par un manque de données d'entraînement diversifiées, s'appuyant souvent sur des jeux de données à environnement unique, ce qui limite la généralisabilité des encodeurs thermiques résultants.

2. Méthodologie

A. AnyThermal : Encodeur Thermique Agnostique à la Tâche

La contribution centrale est AnyThermal, un backbone thermique conçu pour capturer des caractéristiques robustes et agnostiques à la tâche.

• Architecture : AnyThermal est basé sur le Vision Transformer (ViT-B/14) de DINOv2.
• Stratégie d'Entraînement (Distillation de Connaissances) : Les auteurs emploient un cadre de distillation enseignant-étudiant (teacher-student).
  • Enseignant (Teacher) : Un réseau DINOv2 gelé, initialisé avec des poids pré-entraînés, traitant des images RGB.
  • Étudiant (Student) : Un réseau DINOv2 entraînable (AnyThermal), initialisé avec les mêmes poids, traitant des images thermiques (converties du niveau de gris vers 3 canaux).
  • Fonction de Perte : Une perte contrastive est appliquée aux caractéristiques du jeton CLS de la dernière couche. Cela aligne la sémantique globale des paires RGB-thermique correspondantes sans nécessiter de indices de bas niveau comme la couleur. Cette approche relâche les contraintes d'alignement exact ou de synchronisation, ce qui la rend adaptée aux jeux de données où un enregistrement parfait n'est pas disponible.
• Données d'Entraînement : La distillation utilise une combinaison de cinq jeux de données couvrant quatre environnements distincts : Urbain (ViVID++, STheReO, Freiburg), Aérien (Boson Nighttime), Intérieur, et Hors-piste (Off-road).

B. Plateforme et Jeu de Données TartanRGBT

Pour combler le fossé de diversité des données RGB-Thermique (RGB-T) existantes, les auteurs ont développé :

• Plateforme TartanRGBT : Une charge utile de collecte de données open-source, matériellement synchronisée. Elle intègre une caméra stéréo RGB ZEDx et deux caméras thermiques stéréo FLIR Boson 640+, toutes deux synchronisées dans le temps via une impulsion de déclenchement provenant d'une carte de capture. Le système fonctionne sur un NVIDIA Jetson AGX Orin et est logé dans un boîtier personnalisé imprimé en 3D avec refroidissement actif.
• Jeu de Données TartanRGBT : Un jeu de données diversifié et équilibré contenant 16 943 paires RGB-T synchronisées, collectées dans quatre environnements : résidentiel/campus (urbain), intérieur, hors-piste, et sentiers/parcs.
• Traitement des Données : Le jeu de données inclut des données stéréoscopiques RGB, thermiques et IMU. Pour l'entraînement, les auteurs génèrent des paires RGB-T enregistrées en utilisant FoundationStereo pour estimer la profondeur dense à partir du RGB, qui est ensuite utilisée pour rétro-projeter et aligner les pixels thermiques.

C. Adaptation aux Tâches Aval (Downstream Tasks)

AnyThermal est évalué comme un extracteur de caractéristiques combiné à des têtes spécifiques à la tâche :

• Reconnaissance de Lieu Cross-Modale (VPR) : Utilise une tête SALAD entraînée avec une perte de marge de triplet (triplet margin loss).
• Segmentation Thermique : Utilise une tête MLP non linéaire à deux couches entraînée avec la perte Dice.
• Estimation de Profondeur Monoculaire Thermique : Adapte le framework MiDaS, remplaçant le backbone EfficientNet par AnyThermal et utilisant des caractéristiques de patch multi-échelles.

3. Contributions Clés

1. AnyThermal : Un extracteur de caractéristiques thermiques agnostique à la tâche qui atteint des performances de pointe à travers divers environnements et tâches sans entraînement spécifique à la tâche du backbone.
2. Plateforme TartanRGBT : La première plateforme de collecte de données open-source permettant de capturer simultanément des images stéréoscopiques RGB et thermiques synchronisées.
3. Jeu de Données TartanRGBT : Un jeu de données diversifié et équilibré couvrant les environnements intérieurs, aériens, hors-piste et urbains, conçu pour combler le fossé de diversité des données pour la recherche thermique.

4. Résultats

Les auteurs évaluent AnyThermal sur des benchmarks zero-shot et spécifiques à des tâches, démontrant des améliorations significatives par rapport aux baselines existantes :

• Reconnaissance de Lieu Cross-Modale : Sur divers jeux de données zero-shot (CART, MS2, OdomBeyondVision), AnyThermal avec une tête VPR surpasse toutes les baselines, y compris DINOv2 gelé, ImageBind et SGM. Notamment, il atteint jusqu'à 36 % d'amélioration du Rappel@1 par rapport aux baselines dans certains environnements. Les résultats soulignent que les extracteurs RGB gelés sont sous-optimaux pour les requêtes thermiques et que la distillation sur des données diverses est cruciale.
• Segmentation Thermique : Sur le jeu de données MF-Net, AnyThermal atteint un mIoU de pointe de 53,47 %, surpassant le précédent meilleur (MCNET à 51,95 %) tout en étant 3,6 fois plus rapide (6,79 FPS contre 1,88 FPS) sur un NVIDIA ORIN AGX.
• Estimation de Profondeur Monoculaire : Sur le jeu de données MS2, AnyThermal atteint les métriques d'erreur les plus basses (AbsRel : 0,0883) par rapport aux backbones EfficientNet-lite3 et DINOv2 gelé.
• Diversité des Données vs Échelle : Une étude d'ablation sur le passage à l'échelle des données d'entraînement révèle que l'ajout de données provenant simplement de domaines similaires (ex: plus de données urbaines) produit des rendements décroissants. En revanche, l'ajout du jeu de données diversifié TartanRGBT améliore systématiquement les performances à travers toutes les tâches et environnements, confirmant que la diversité des données est plus critique que l'échelle pour construire des extracteurs de caractéristiques thermiques robustes.

5. Signification et Revendications

L'article affirme qu'AnyThermal comble avec succès le fossé entre l'abondance des modèles de fondation RGB et la rareté des données thermiques. En exploitant la distillation de connaissances à travers un ensemble diversifié d'environnements, les auteurs démontrent qu'un seul backbone thermique peut se généraliser efficacement à des tâches telles que la reconnaissance de lieu, la segmentation et l'estimation de la profondeur sans nécess avoir besoin d'un entraînement spécifique à la tâche du backbone lui-même.

L'introduction de la plateforme et du jeu de données TartanRGBT est présentée comme une étape fondamentale pour abaisser la barrière à l'entrée pour la communauté de recherche afin de collecter des données RGB-T synchronisées de haute qualité. Les auteurs affirment que leur travail établit un nouveau standard pour la perception thermique, passant de modèles étroits et spécifiques à un environnement vers des représentations universelles et robustes. Ils concluent que, bien que les gains de performance liés à l'augmentation de l'échelle des données existent, le principal moteur de la généralisation est la diversité des environnements d'entraînement, un principe validé par la performance supérieure des modèles entraînés sur le jeu de données combiné et diversifié incluant TartanRGBT.