CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis

Ce papier présente CARL, un modèle d'apprentissage de représentations agnostique aux caméras qui surmonte les variations spectrales entre différents capteurs (RGB, multispectraux et hyperspectraux) grâce à un encodeur spectral innovant et une pré-formation auto-supervisée, démontrant ainsi une robustesse supérieure dans des domaines variés tels que l'imagerie médicale, la conduite autonome et l'observation de la Terre.

L'essentiel

Imaginez que vous êtes un chef cuisinier (l'intelligence artificielle) qui doit préparer un plat délicieux (analyser une image).

Le Problème : La Cuisine des "Spécialités de Caméras"

Jusqu'à présent, pour analyser des images spéciales (appelées images spectrales), les chercheurs utilisaient des caméras très sophistiquées. Ces caméras ne voient pas seulement le rouge, le vert et le bleu comme nos yeux (RGB), mais elles voient des centaines de "couleurs" invisibles (des longueurs d'onde spécifiques).

Le problème, c'est que chaque fabricant de caméra utilise des "ingrédients" différents :

• La caméra A voit 10 couleurs.
• La caméra B voit 50 couleurs.
• La caméra C voit 120 couleurs, mais à des endroits différents du spectre.

C'est comme si vous aviez un livre de recettes pour faire un gâteau, mais que chaque fois que vous changez de four ou de marque de farine, vous deviez réécrire tout le livre de zéro. Les modèles d'intelligence artificielle actuels sont comme des chefs qui ne savent cuisiner qu'avec une seule marque de farine. Si vous leur donnez une autre caméra, ils sont perdus. Ils ne peuvent pas partager leurs connaissances d'une caméra à l'autre. C'est ce qu'on appelle des "silos de données".

La Solution : CARL, le Chef Universel

L'équipe de chercheurs a créé CARL (Camera-Agnostic Representation Learning). C'est un modèle d'IA conçu pour être indépendant de la caméra.

Voici comment CARL fonctionne, avec une analogie simple :

1. Le Traducteur de Couleurs (L'Encodeur Spectral)

Imaginez que CARL possède un traducteur universel.

• Quand la caméra A lui envoie 10 couleurs, le traducteur dit : "Ah, je vois que le rouge est à 500nm, le vert à 550nm..."
• Quand la caméra B lui envoie 50 couleurs, le traducteur dit : "Ok, je repère les mêmes couleurs, même si elles sont mélangées différemment."

Au lieu de regarder les couleurs brutes, CARL apprend à extraire l'essence de ces couleurs. Il crée une "représentation abstraite" (un résumé intelligent) qui dit : "Ceci est de la peau", "Ceci est un tissu", "Ceci est un arbre", peu importe la caméra utilisée pour le voir. C'est comme si CARL ne regardait pas la couleur exacte du papier, mais la texture et le message qu'il porte.

2. L'Entraînement "Ceci et Cela" (L'Auto-apprentissage)

Pour devenir si bon, CARL ne s'entraîne pas seulement sur des images étiquetées (ce qui est rare et cher). Il utilise une astuce appelée auto-apprentissage (Self-Supervised Learning).

Imaginez que vous cachez une partie d'un puzzle à CARL.

• Le défi spectral : On lui cache certaines couleurs (canaux) de l'image. Il doit deviner à quoi ressemblent ces couleurs cachées en se basant sur les autres couleurs visibles et sur la "mémoire" des longueurs d'onde.
• Le défi spatial : On lui cache une partie de l'image (comme un carré noir). Il doit deviner ce qu'il y a derrière en regardant le reste de la scène.

En faisant cela des millions de fois avec des milliers de caméras différentes, CARL apprend la "vraie" structure du monde, indépendamment de l'outil utilisé pour le photographier.

Pourquoi c'est une révolution ? (Les Résultats)

Les chercheurs ont testé CARL dans trois mondes très différents :

1. La Médecine (Le Corps Humain) :

   • Le problème : Les chirurgiens utilisent des caméras hyperspectrales pour voir les tissus malades. Mais chaque hôpital a une caméra différente.
   • Le résultat de CARL : Il peut prendre des images d'une caméra d'un hôpital et les comprendre parfaitement, même si le modèle a été entraîné sur les données d'une autre caméra. Il ne se trompe pas quand les "couleurs" changent légèrement.

2. Les Voitures Autonomes (La Ville) :

   • Le problème : Une voiture doit voir les panneaux de signalisation et les feux tricolores. Parfois, elle a une caméra RGB (normale), parfois une caméra hyperspectrale.
   • Le résultat de CARL : Il a réussi à transférer ses connaissances. Par exemple, il a appris ce qu'est un "poteau" sur des photos classiques (RGB) et a pu le reconnaître instantanément sur des images spectrales complexes, même si le modèle n'avait jamais vu de "poteau" sur des images spectrales pendant l'entraînement. C'est comme si un enfant qui apprend à reconnaître un chien sur des dessins animés pouvait ensuite le reconnaître dans la vraie vie.

3. Les Satellites (La Terre) :

   • Le problème : Il existe des milliers de satellites avec des capteurs différents.
   • Le résultat de CARL : Il est devenu le meilleur modèle pour analyser la Terre, surpassant les autres modèles même sur des satellites qu'il n'avait jamais vus auparavant.

En Résumé

CARL est comme un super-héros de la vision par ordinateur.

• Les autres modèles sont comme des spécialistes qui ne parlent qu'une langue (une caméra).
• CARL est un polyglotte qui parle toutes les langues des caméras.

Il ne se contente pas de regarder les pixels ; il comprend le sens de l'image (l'organe, la route, l'arbre) en se basant sur la physique de la lumière, peu importe qui a pris la photo. Cela permet de créer une seule intelligence artificielle puissante capable de fonctionner partout, du bloc opératoire aux satellites, sans avoir besoin de réapprendre à chaque fois.

C'est un pas géant vers une intelligence artificielle plus intelligente, plus robuste et capable de partager ses connaissances à travers le monde entier.

Résumé technique

1. Problématique

L'imagerie spectrale (RGB, multispectrale, hyperspectrale) offre des informations riches pour des domaines variés tels que la médecine, la conduite autonome et la télédétection. Cependant, le développement de modèles d'IA robustes est entravé par une hétérogénéité spectrale significative :

• Les caméras diffèrent en nombre de canaux (dimensionnalité) et en longueurs d'onde capturées.
• Cela crée des "silos de données" spécifiques à chaque caméra, empêchant le transfert de connaissances entre elles.
• Les modèles conventionnels (CNN, ViT) sont soit spécifiques à une caméra, soit incapables de gérer des dimensions de canaux variables sans perte d'information spectrale cruciale.
• Les approches existantes manquent souvent soit d'une prise en compte explicite des longueurs d'onde, soit d'une invariance aux canaux, soit d'un pré-entraînement auto-supervisé (SSL) adapté à l'ensemble spatio-spectral.

2. Méthodologie : L'Architecture CARL

Les auteurs proposent CARL, un cadre d'apprentissage de représentations agnostique à la caméra, capable de traiter des images spectrales de n'importe quelle dimensionnalité de canal.

A. Encodage Spatio-Spectral Agnostique

L'architecture se compose de deux étapes principales :

1. Encodage Spectral ($E_{spec}$) :
   • Encodage de Position par Longueur d'Onde : Au lieu de traiter les canaux comme des indices fixes, le modèle utilise un encodage de position sinusoïdal (Fourier Features) basé sur la longueur d'onde réelle ($\lambda$) de chaque canal. Cela permet d'établir des correspondances entre les canaux de différentes caméras.
   • Mécanisme Self-Attention / Cross-Attention : Un encodeur spectral transforme les tokens spectraux (les patches d'image projetés) en un ensemble fixe et parcimonieux de représentations spectrales apprises ($S_j$).
   • Ce mécanisme utilise une attention croisée entre les tokens spectraux et des représentations spectrales apprises (initialisées aléatoirement) pour distiller l'information spectrale saillante, indépendamment du nombre de canaux d'entrée.
2. Encodage Spatial ($E_{spat}$) :
   • Une fois l'information spectrale condensée en une représentation agnostique, un encodeur spatial standard (basé sur ViT, ici EVA-02) capture les relations géométriques et spatiales.

B. Stratégie d'Auto-Apprentissage (CARL-SSL)

Pour exploiter les vastes quantités de données non étiquetées, les auteurs introduisent CARL-SSL, une stratégie de pré-entraînement auto-supervisé combinant deux tâches :

• Auto-Apprentissage Spectral : Basé sur une approche de type I-JEPA (Joint-Embedding Predictive Architecture). Le modèle masque certains canaux spectraux en entrée, extrait les représentations des canaux non masqués, et prédit les caractéristiques des canaux masqués dans l'espace des fonctionnalités (et non au niveau des pixels) en utilisant un prédicteur. Cela force le modèle à apprendre les relations spectrales intrinsèques.
• Auto-Apprentissage Spatial : Utilisation de I-JEPA standard pour masquer des régions spatiales et prédire les caractéristiques manquantes.
• Perte : L'optimisation utilise la perte VICReg (Variance-Invariance-Covariance Regularization) pour éviter l'effondrement des fonctionnalités et assurer la diversité des représentations.

3. Contributions Clés

1. Première approche d'apprentissage de représentations spatio-spectrales agnostique à la caméra : CARL est le premier modèle à combiner l'encodage spatio-spectral avec une invariance totale aux canaux et une conscience des longueurs d'onde.
2. Cadre d'auto-entraînement spatio-spectral : Introduction de CARL-SSL, une stratégie de pré-entraînement qui apprend simultanément les relations spatiales et spectrales sans supervision, adaptée à l'hétérogénéité des capteurs.
3. Validation à grande échelle : Le modèle a été testé sur trois domaines distincts (imagerie médicale, vision automobile, imagerie satellite) avec des données simulées et réelles, démontrant une robustesse supérieure aux variations spectrales.

4. Résultats Expérimentaux

Les expériences comparent CARL à des modèles spécifiques à la caméra et à des méthodes d'adaptation de canaux (comme DOFA, Hyve, SpectralGPT+).

• Imagerie Médicale (Segmentation d'organes) :
  • CARL maintient des performances élevées (mIoU) même lorsque le jeu de données d'entraînement est progressivement remplacé par des images multispectrales simulées avec des filtres variés, là où les modèles de base dégradent fortement leurs performances.
  • Il démontre une capacité unique à transférer des connaissances entre modalités (ex: utiliser des annotations RGB pour améliorer la segmentation hyperspectrale).
• Vision Automobile (Segmentation urbaine - HSICity) :
  • CARL-SSL surpasse les méthodes de référence sur le jeu de données HSICity.
  • Il réussit à segmenter des classes absentes du jeu de données d'entraînement hyperspectral (ex: "poteaux") en transférant efficacement les annotations du jeu de données Cityscapes (RGB), prouvant sa capacité de généralisation inter-modale.
• Télédétection (Satellites) :
  • Pré-entraîné sur ~800 000 images (Sentinel-2 et EnMAP), CARL atteint le meilleur classement moyen sur 11 jeux de données de référence (GeoBench).
  • Il montre une généralisation exceptionnelle aux capteurs "hors distribution" (OOD) (ex: Gaofen-5, Orbita), surpassant nettement les modèles de fondation existants.
• Analyse des Représentations :
  • Une analyse de variance montre que les représentations apprises par CARL sont dominées par le contenu sémantique (61,6 %) et quasi-insensibles à la variation du capteur (0,6 %), confirmant le désentanglement réussi des caractéristiques.

5. Signification et Impact

CARL représente une avancée majeure pour l'imagerie spectrale en brisant la dépendance aux configurations spécifiques des capteurs.

• Universalité : Il permet d'entraîner un seul modèle fondamental ("foundation model") capable de fonctionner sur n'importe quel capteur spectral, qu'il soit connu ou nouveau.
• Efficacité des Données : En rendant possible l'agrégation de silos de données hétérogènes, il maximise l'utilisation des données disponibles, réduisant le besoin d'étiquetage manuel coûteux.
• Futur : Cette approche pose les bases pour des modèles de fondation spectraux universels, applicables de la chirurgie assistée par ordinateur à la surveillance environnementale à l'échelle mondiale.

Le code et les poids du modèle sont disponibles publiquement, favorisant la reproductibilité et l'adoption par la communauté.