Résumé technique : LESSViT : Apprentissage de représentations hyperspectrales robustes sous décalage de configuration spectrale

1. Énoncé du problème

L'imagerie hyperspectrale (HSI) capture des signatures spectrales fines à travers des centaines de bandes de longueurs d'onde contiguës, permettant une caractérisation détaillée des matériaux, des états biophysiques et des processus environnementaux. Cependant, un défi fondamental découle de la variabilité des configurations spectrales entre différents capteurs. Contrairement aux images naturelles aux canaux RVB fixes, les capteurs HSI diffèrent considérablement en termes de couverture spectrale, d'échantillonnage des bandes et de dimensionalité des canaux. Par conséquent, les modèles entraînés sur une configuration spectrale fixe échouent souvent à se généraliser à d'autres capteurs, souffrant d'un « décalage spectral ».

Les approches existantes font face à un compromis entre efficacité et expressivité :

• Modélisation implicite : Les Transformers de vision (ViT) standards fusionnent souvent la dimension spectrale dans la dimension des canaux ou utilisent des embeddings de patchs fixes. Bien que computationnellement efficaces, ces méthodes supposent une structure de canal fixe et ne parviennent pas à modéliser explicitement les relations dépendantes de la longueur d'onde, limitant ainsi la généralisation inter-capteurs.
• Modélisation explicite : Traiter les canaux spectraux comme des tokens indépendants et appliquer une attention spatiale-spectrale complète permet une modélisation explicite mais engendre une complexité computationnelle prohibitive de $O(N^2C^2)$, où $N$ est le nombre de tokens spatiaux et $C$ le nombre de canaux spectraux. Cela rend la méthode intraitable pour les entrées HSI de haute dimension.

2. Méthodologie : LESSViT

Les auteurs proposent LESSViT (Vision Transformer Spatial-Spectral Efficace à Rang Faible), une architecture flexible aux capteurs conçue pour atteindre une généralisation inter-spectrale grâce à trois composants principaux :

2.1 Tokenisation agnostique aux canaux (Embedding de patchs liés)

Pour supporter des dimensionalités spectrales variables, LESSViT emploie une couche d'embedding de patchs liés. Au lieu d'apprendre des poids distincts pour chaque canal, le modèle utilise des poids de projection partagés sur tous les canaux. Étant donné une entrée HSI de taille $C \times H \times W$, elle est partitionnée en patchs et projetée en tokens à l'aide d'une mapping linéaire partagée. Cela garantit que le modèle peut traiter des entrées avec différents nombres de canaux spectraux sans réentraînement ni modifications architecturales.

2.2 Attention spatiale-spectrale efficace à rang faible (Attention LESS)

Pour résoudre le compromis efficacité-expressivité, les auteurs introduisent l'Attention LESS, une factorisation structurée à rang faible de l'attention spatiale-spectrale.

• Décomposition : La méthode exploite la séparabilité structurelle des données hyperspectrales, décomposant les interactions conjointes en composantes purement spatiales et purement spectrales.
• Mécanisme : Les tokens d'entrée sont décomposés en tokens spatiaux ($X_S$) et tokens spectraux ($X_C$) à l'aide d'une couche de pooling par attention. Les attentions spatiale et spectrale ($A_S$ et $A_C$) sont calculées indépendamment.
• Approximation à rang faible : L'attention spatiale-spectrale conjointe est approximée via le produit de Kronecker de ces composantes : $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, où $r$ est le rang de l'approximation à rang faible.
• Réduction de complexité : Cette approche réduit la complexité computationnelle de $O(N^2C^2D)$ à $O(r(N^2d_1 + C^2d_2 + NCD))$, où $d_1$ et $d_2$ sont des sous-dimensions. Cela permet une modélisation explicite des dépendances conjointes sans calculer la matrice d'attention complète sur l'ensemble de la grille spatiale-spectrale.

2.3 Encodage de position conscient de la longueur d'onde (SSRoPE)

Pour modéliser les relations spectrales de manière cohérente sous des configurations variables, les auteurs introduisent l'Encodage de position rotatif Spatial-Spectral (SSRoPE).

• Dimension spatiale : Applique un RoPE 2D standard sur les coordonnées spatiales $(u, v)$.
• Dimension spectrale : Applique un RoPE 1D sur la dimension spectrale en utilisant les longueurs d'onde physiques $\lambda$ plutôt que des indices de canal fixes.
• Avantage : Cette conception garantit que l'encodage de position reflète la structure physique du spectre, rendant le modèle robuste aux changements de couverture spectrale et d'échantillonnage des bandes.

2.4 Préentraînement : HyperMAE

Pour permettre un préentraînement évolutif, les auteurs proposent HyperMAE (Autoencodeur Masqué Hyperspectral) :

• Masquage découplé : Au lieu d'un masquage aléatoire sur des tokens aplatis, HyperMAE applique un masquage indépendant aux patchs spatiaux et aux canaux spectraux (75 % de masquage par dimension). Cela préserve la structure séparable requise par l'Attention LESS.
• Échantillonnage hiérarchique des canaux (HCS) : Pendant le préentraînement, seul un sous-ensemble de canaux est échantillonné aléatoirement dans une plage de ratio prédéfinie. Cela réduit le coût mémoire et computationnel du décodeur pour la reconstruction dense tout en maintenant une exposition à des entrées partielles diversifiées. Lors du fine-tuning et de l'inférence, le décodeur est supprimé et le modèle traite efficacement des entrées complètes en canaux.

3. Contributions clés

1. Attention LESS : Une factorisation structurée à rang faible de l'attention spatiale-spectrale qui réduit la complexité de la modélisation des interactions conjointes de quadratique à quasi-linéaire en termes de nombre de canaux, permettant une modélisation explicite à grande échelle.
2. Architecture LESSViT : Un ViT agnostique aux canaux avec des embeddings de patchs liés et un encodage de position conscient de la longueur d'onde (SSRoPE), conçu pour une modélisation cohérente et robuste sous des configurations spectrales variables.
3. Préentraînement HyperMAE : Un cadre d'apprentissage auto-supervisé sur mesure avec masquage spatial-spectral découplé et échantillonnage hiérarchique des canaux, rendant l'entraînement traitable pour les HSI de haute dimension.
4. Benchmark de généralisation inter-spectrale : L'établissement d'un protocole d'évaluation rigoureux sur le benchmark SpectralEarth qui simule la variabilité inter-capteurs (décalage spectral, longueurs d'onde non vues et expansion des canaux) pour évaluer systématiquement la généralisation.

4. Résultats expérimentaux

Les auteurs ont évalué LESSViT sur le benchmark SpectralEarth, en entraînant sur une configuration fixe ($C_{120VNIR+}$) et en testant à travers quatre scénarios : en distribution, décalage spectral, longueurs d'onde non vues et expansion des canaux.

• Robustesse au décalage spectral : LESSViT a systématiquement surpassé les modèles de référence (SpectralViT, DOFA, HyperSigma) dans des settings hors distribution. Par exemple, dans le setting « longueurs d'onde non vues » ($C_{82}$), LESSViT a montré une dégradation de performance significativement moindre par rapport à SpectralViT, qui a subi des chutes allant jusqu'à 90 % dans certaines tâches.
• Performance en distribution : Bien que SpectralViT ait atteint les performances les plus élevées dans les settings en distribution (probablement dû à sa spécialisation sur des canaux fixes et une taille de patch plus petite), LESSViT est resté compétitif, se classant deuxième dans la plupart des cas.
• Efficacité et évolutivité : LESSViT a démontré une latence d'inférence quasi constante à mesure que le nombre de canaux augmentait. En revanche, les modèles de référence utilisant une attention explicite complète (comme ChannelViT) ont présenté une latence augmentant rapidement et ont échoué (Mémoire insuffisante) à des nombres de canaux élevés (par exemple, $C=200$).
• Études d'ablation : La suppression de SSRoPE ou l'utilisation d'un encodage de position SIREN standard a dégradé les performances, en particulier dans les tâches de segmentation, confirmant l'importance d'un encodage conscient de la longueur d'onde. L'échantillonnage hiérarchique des canaux s'est avéré améliorer l'efficacité de l'entraînement (réduction de 17 % du temps) avec un impact minimal sur les performances en aval.

5. Importance et affirmations

L'article affirme que la modélisation explicite et efficace spatiale-spectrale est essentielle pour un apprentissage de représentations hyperspectrales évolutif et généralisable.

• Résolution du compromis : LESSViT réussit à réconcilier le compromis entre efficacité et expressivité. Il évite les prohibitions computationnelles de l'attention spatiale-spectrale complète tout en surmontant les limites de la modélisation spectrale implicite dans les ViT standards.
• Flexibilité des capteurs : En découplant le coût computationnel de la dimensionalité des canaux et en utilisant un encodage de longueur d'onde physique, LESSViT offre une voie pour que les modèles se généralisent à travers différents capteurs sans réentraînement sur chaque configuration spécifique.
• Limites : Les auteurs reconnaissent modestement que la généralisation à des configurations spectrales entièrement non vues ou fortement clairsemées reste un défi. De plus, bien que l'Attention LESS soit linéaire en complexité, la réduction des tailles de patchs pour améliorer la qualité de segmentation introduit toujours un nombre substantiel de tokens, ce qui peut être computationnellement exigeant même avec la méthode proposée.

En conclusion, LESSViT offre une solution évolutive pour la généralisation inter-spectrale, démontrant que la factorisation structurée à rang faible et la conception agnostique aux canaux sont cruciales pour une IA hyperspectrale robuste.