💻 computer science

UNIV: Unified Foundation Model for Infrared and Visible Modalities

L'article présente UNIV, un modèle fondamental unifié pour les modalités infrarouge et visible qui exploite l'apprentissage contrastif intermodal par patch (PCCL) pour surmonter la dégradation intermodalité causée par des raccourcis de motifs, accompagné du nouveau benchmark MVIP, atteignant des performances supérieures sur les tâches infrarouge tout en maintenant une précision RGB compétitive.

Auteurs originaux : Fangyuan Mao, Shuo Wang, Jilin Mei, Shun Lu, Chen Min, Fuyang Liu, Xiaokun Feng, Meiqi Wu, Yu Hu

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangyuan Mao, Shuo Wang, Jilin Mei, Shun Lu, Chen Min, Fuyang Liu, Xiaokun Feng, Meiqi Wu, Yu Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez deux paires d'yeux différentes essayant de voir le monde.

Une paire voit en Lumière Visible (comme vos yeux normaux). Elle voit les couleurs, les textures et les détails clairement pendant la journée, mais se perd dans l'obscurité ou lorsqu'il pleut.
L'autre paire voit en Infrarouge (comme des lunettes de vision nocturne). Elle voit les signatures thermiques et fonctionne très bien dans l'obscurité, mais elle est « daltonienne » et manque souvent les détails fins comme les textures.

Pendant longtemps, les scientifiques ont construit deux « cerveaux » (modèles d'IA) séparés pour ces deux paires d'yeux. Un cerveau n'apprenait qu'à partir de la lumière visible, et l'autre n'apprenait qu'à partir de la chaleur. Le problème ? Lorsque vous essayiez d'utiliser le « cerveau lumière visible » pour regarder une image thermique, il se perdait. Il tentait de chercher des couleurs qui n'étaient pas là. Lorsque vous utilisiez le « cerveau thermique » pour regarder une photo normale, il se perdait à cause de l'absence de motifs thermiques. Ils étaient comme deux personnes parlant des langues différentes qui ne pouvaient pas s'accorder sur l'apparence réelle d'une « voiture » ou d'une « personne ».

L'article présente UNIV (Modèle Fondamental Unifié), un nouveau type de cerveau d'IA conçu pour parler les deux langues couramment en même temps.

Le Problème : Le Piège du « Raccourci »

Les auteurs ont remarqué que les modèles d'IA existants prennent un « raccourci ».

L'IA Lumière Visible devient paresseuse : Elle apprend que « les voitures sont rouges » ou que « l'herbe est verte ». Si vous lui montrez une photo en noir et blanc, elle panique car le raccourci de la couleur a disparu.
L'IA Infrarouge devient paresseuse : Elle apprend que « les personnes sont des taches brillantes blanches ». Si vous lui montrez une photo normale, elle se perd car le raccourci de la luminosité ne fonctionne pas.

Elles se concentrent sur les motifs des capteurs (couleur ou chaleur) au lieu du sens réel (la forme et la structure de l'objet).

La Solution : Un « Traducteur Universel »

UNIV résout cela en forçant l'IA à apprendre le sens des choses, et non pas seulement les motifs des capteurs. Elle fait cela en utilisant un astucieux tour de formation appelé Apprentissage Contrastif Intermodal par Patch (PCCL).

Voici comment cela fonctionne, en utilisant une analogie :

Le « Professeur Gelé » : Les chercheurs commencent avec une IA très intelligente, pré-entraînée, qui ne connaît que la Lumière Visible (comme un maître professeur d'art). Ce professeur est « gelé », ce qui signifie que nous ne modifions pas son cerveau ; nous l'utilisons simplement comme référence.
Le Jeu des « Patchs » : Imaginez découper une photo en milliers de minuscules pièces de puzzle (patchs).
- Le professeur regarde une photo visible et dit : « Cette pièce de puzzle est une roue, et celle-ci est un pneu. Elles appartiennent ensemble. »
- Le professeur regarde aussi la photo infrarouge correspondante (qui ressemble à une tache thermique floue) et dit : « Même si cela ressemble différent, cette tache thermique est aussi une roue. »
L'Alignement : Le nouveau modèle UNIV est entraîné à organiser ses propres pièces de puzzle de sorte que la « roue » de la photo visible et la « roue » de la photo infrarouge se retrouvent au même endroit dans sa mémoire.
- Il rapproche les choses similaires (comme deux roues).
- Il éloigne les choses différentes (comme une roue et une personne).

En faisant cela, l'IA apprend un Espace de Caractéristiques Unifié. Imaginez cela comme un seul et même classeur partagé où les « voitures » sont rangées dans le même tiroir, peu importe si le dossier provient d'un appareil photo couleur ou d'une caméra thermique. L'IA cesse de se soucier de la couleur ou de la chaleur et commence à se soucier de la forme et de la structure.

Le Nouvel Ensemble de Données : La « Géante Bibliothèque »

Pour enseigner cette IA, les auteurs ont construit une immense nouvelle bibliothèque appelée MVIP.

Elle contient près de 99 000 paires de photos visibles et infrarouges parfaitement appariées.
Ces photos couvrent tout, de la conduite sur les autoroutes à la surveillance par caméras de sécurité et aux drones en vol.
Avant cela, les chercheurs devaient assembler de petits ensembles de données désordonnés. Maintenant, ils ont une bibliothèque propre et immense pour s'entraîner.

Les Résultats : Le Meilleur des Deux Mondes

Lorsqu'ils ont testé UNIV, les résultats étaient impressionnants :

Meilleure Vision Infrarouge : Sur des tâches comme la détection de voitures dans l'obscurité (détection d'objets) ou le tracé de contours autour d'objets (segmentation), UNIV a battu tous les modèles précédents. Il a amélioré la précision avec une marge significative.
Aucune Perte en Plein Jour : Crucialement, enseigner à l'IA à comprendre la chaleur ne l'a pas rendue moins bonne pour voir les couleurs. Elle a conservé sa « vision diurne » aussi nette qu'avant.
Efficacité : Ils ont réussi à obtenir ces résultats en ne modifiant qu'une infime fraction du cerveau du modèle (en utilisant une technique appelée LoRA), ce qui rend l'entraînement très efficace.

Résumé

En bref, UNIV est une nouvelle IA qui cesse de traiter la lumière visible et l'infrarouge comme deux mondes séparés. En utilisant un « professeur » pour la guider et une immense nouvelle bibliothèque de photos appariées, elle a appris à voir l'essence des objets. Que ce soit de jour ou de nuit, en couleur ou en chaleur, UNIV comprend maintenant ce qu'elle regarde, ce qui la rend beaucoup plus robuste et fiable pour les applications du monde réel.

Résumé technique : UNIV – Modèle fondation unifié pour les modalités infrarouge et visible

1. Énoncé du problème

Les récents progrès des modèles fondation ont produit des résultats impressionnants dans des tâches mono-modales pour les domaines visible (RVB) et infrarouge (IR). Cependant, un « fossé inter-domaines » significatif persiste lors de l'application de ces modèles d'une modalité à l'autre. Les auteurs identifient la cause racine comme étant un raccourci de motif : les modèles entraînés sur une seule modalité ont tendance à se fier à des indices superficiels spécifiques au capteur (par exemple, la couleur et la luminosité en RVB, ou l'intensité thermique en IR) plutôt qu'aux structures sémantiques sous-jacentes.

Par conséquent, lorsqu'un modèle entraîné sur l'IR est appliqué à des données RVB, il localise souvent mal l'attention en se basant sur des indices de luminosité, et vice versa. Les approches existantes manquent d'un encodeur unifié capable de produire des caractéristiques sémantiquement cohérentes pour les deux modalités, limitant ainsi la généralisation dans des contextes de perception diversifiés (scénarios uniquement RVB, uniquement IR, ou conjoints RVB-IR).

2. Méthodologie

L'article propose UNIV, un modèle fondation unifié conçu pour combler le fossé entre les modalités infrarouge et visible. Le cœur d'UNIV est une stratégie d'apprentissage auto-supervisé appelée Apprentissage contrastif inter-modal par patches (PCCL).

2.1. Architecture de base

UNIV utilise un encodeur entraînable ( $E_{train}$ ) et un encodeur RVB pré-entraîné et figé ( $E_{frozen}$ ) initialisé à partir d'un modèle pré-entraîné sur ImageNet (spécifiquement MCMAE).

Entrée : Paires d'images visibles RVB et infrarouges.
Extraction de caractéristiques : L'encodeur entraînable extrait des caractéristiques ( $F^V$ pour le visible, $F^I$ pour l'infrarouge) pour les deux modalités.
Objectif : Apprendre un espace de caractéristiques unifié où les caractéristiques d'une même classe sémantique se regroupent entre les modalités, tandis que les caractéristiques de classes différentes sont repoussées.

2.2. Ancres de patches guidées par l'attention

Pour guider l'apprentissage sans étiquettes de vérité terrain, UNIV exploite les priors sémantiques encodés dans l'encodeur RVB figé ( $E_{frozen}$ ).

Génération de pseudo-étiquettes : La carte d'attention de la dernière couche de $E_{frozen}$ appliquée à la modalité visible est utilisée pour déterminer la similarité sémantique entre les patches d'image.
Masquage binaire : Cette carte d'attention est convertie en une matrice de pseudo-étiquettes binaire ( $M^A$ $M^{A}$ ) selon trois règles :
1. Auto-similarité : Les éléments diagonaux sont fixés à 1.
2. Sélection par corrélation : Pour chaque patch, les $m$ patches les plus corrélés (basés sur les scores d'attention) sont marqués comme positifs (1) jusqu'à ce qu'un seuil cumulatif $\gamma$ soit atteint.
3. Suppression de la dissimilarité : Toutes les autres entrées sont fixées à 0.
Ancres : Les caractéristiques issues de l'encodeur figé servent d'ancres sémantiques ( $F^A$ ) par rapport auxquelles les sorties de l'encodeur entraînable sont alignées.

2.3. Apprentissage contrastif inter-modal par patches (PCCL)

La stratégie d'optimisation aligne les représentations de l'encodeur entraînable avec les ancres sémantiques définies par $M^A$ .

Objectif : Le modèle minimise la dissimilarité entre les paires négatives (classes différentes) et maximise la similarité entre les paires positives (même classe) à travers les modalités.
Fonction de perte : Les auteurs formulent la perte comme une perte d'entropie croisée binaire (BCE) entre la matrice de pseudo-étiquettes $M^A$ $M^{A}$ et le sigmoïde de la matrice de similarité dérivée des caractéristiques entraînables.
- $L_{IA}$ : Aligne les caractéristiques infrarouges sur les ancres.
- $L_{VA}$ : Aligne les caractéristiques visibles sur les ancres (pour éviter l'oubli catastrophique des performances RVB).
- Perte totale : $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$ .
Mécanisme : Ce processus rapproche les patches sémantiquement pertinents à travers les modalités et éloigne les non pertinents, reconstruisant efficacement un espace de caractéristiques unifié qui privilégie la structure sémantique aux motifs spécifiques au capteur.

2.4. Jeu de données MVIP

Pour soutenir cet apprentissage inter-modal, les auteurs introduisent MVIP (Paires Visible-Infrarouge Multi-scènes), une référence complète contenant 98 992 paires d'images précisément alignées.

Sources : Issu de cinq jeux de données publics : FLIR-Align, KAIST, DroneVehicle, LLVIP et LasHeR.
Couverture : Scénarios diversifiés incluant la conduite urbaine, la surveillance et les vues aériennes de drones, couvrant à la fois les conditions diurnes et nocturnes.

3. Contributions clés

Apprentissage contrastif inter-modal par patches (PCCL) : Une méthode auto-supervisée qui réduit de manière adaptative l'écart des caractéristiques inter-modales tout en améliorant la discriminabilité inter-classe grâce à l'utilisation de pseudo-étiquettes guidées par l'attention.
Jeu de données MVIP : La plus grande référence visible-infrarouge à ce jour, offrant une base solide pour une recherche inter-modale robuste avec près de 100 000 paires alignées.
Performances de pointe : UNIV obtient des résultats supérieurs sur les tâches infrarouges tout en maintenant une précision compétitive sur les tâches RVB.

4. Résultats expérimentaux

Des expériences approfondies ont été menées sur des tâches de segmentation sémantique et de détection d'objets.

4.1. Segmentation sémantique infrarouge (MSRS-IR)

Performance : UNIV (variante LoRA) a atteint 76,0 mIoU, surpassant l'état de l'art précédent (InfMAE) de +1,7 mIoU.
Efficacité : Cette amélioration a été obtenue tout en mettant à jour uniquement 1,8 M de paramètres (environ 2 % des 88,7 M de paramètres totaux) via LoRA.
Pré-entraînement complet : La variante à paramètres complets a atteint 76,6 mIoU.

4.2. Détection d'objets infrarouge (M3FD-IR)

Performance : UNIV (LoRA) a atteint 56,9 mAP et 88,7 AP50, surpassant InfMAE de +0,7 mAP.
Observation : Les auteurs notent que le pré-entraînement à paramètres complets a produit des résultats de détection légèrement sous-optimaux par rapport à LoRA, attribuant cela à une sur-optimisation de la similarité des patches au détriment de la richesse sémantique au sein des patches individuels, ce qui est crucial pour la détection.

4.3. Tâches en aval RVB

Préservation des performances RVB : UNIV a maintenu des performances compétitives sur les tâches RVB, atteignant 79,0 mIoU sur MSRS-RGB (correspondant à la ligne de base) et 51,2 mIoU sur ADE20K (conservant 99 % des capacités originales de MCMAE).
Signification : Cela démontre qu'UNIV construit avec succès un espace unifié sans provoquer d'« effondrement modal » ni d'oubli catastrophique des capacités RVB originales.

4.4. Analyse de l'espace de caractéristiques

Alignement : L'analyse de la distance de transport optimal (Earth Mover's Distance, EMD) a montré qu'UNIV a considérablement amélioré l'alignement inter-modal, les caractéristiques de même catégorie se regroupant plus près que celles de catégories différentes.
Séparabilité : Les visualisations t-SNE ont confirmé qu'UNIV atteint une meilleure séparabilité inter-classe par rapport aux modèles mono-modaux comme MCMAE ou InfMAE.

5. Signification et affirmations

L'article affirme qu'UNIV offre une solution générale et évolutive pour construire un espace de caractéristiques sémantiques inter-modales unifié. Sa signification principale réside dans la résolution du problème du « raccourci de motif », où les modèles échouent à généraliser d'une modalité à l'autre en raison d'une dépendance à des indices superficiels spécifiques au capteur.

En intégrant le PCCL, UNIV reconstruit un espace de caractéristiques sémantiques unifié efficace qui atteint :

Un alignement inter-modal robuste : Assurant des représentations de caractéristiques cohérentes pour les mêmes objets sémantiques, quelle que soit la modalité du capteur.
Une forte séparabilité sémantique inter-classe : Améliorant la capacité du modèle à distinguer différentes classes d'objets.

Les auteurs soulignent que cette approche permet une adaptation efficace (via LoRA) aux tâches infrarouges sans sacrifier les capacités originales du modèle sur les tâches visibles, offrant une voie pratique pour déployer des systèmes de perception robustes dans diverses conditions météorologiques et d'éclairage. L'introduction du jeu de données MVIP est également mise en avant comme une ressource critique pour les recherches futures dans ce domaine.