Curriculum Multi-Task Self-Supervision Improves Lightweight Architectures for Onboard Satellite Hyperspectral Image Segmentation

Ce papier présente le cadre d'apprentissage auto-supervisé multi-tâche à curriculum (CMTSSL), conçu pour améliorer les architectures légères destinées à la segmentation d'images hyperspectrales embarquées sur satellite en intégrant la modélisation d'images masquées et des puzzles spatio-spectraux, permettant ainsi d'obtenir des performances supérieures avec des modèles extrêmement compacts.

L'essentiel

🛰️ Le Problème : Le Satellite "Gourmand" et le "Téléphone" Lent

Imaginez qu'un satellite en orbite autour de la Terre est comme un photographe ultra-puissant. Il ne prend pas de simples photos en couleur, mais des images "hyperspectrales". C'est comme si, au lieu de voir juste le rouge, le vert et le bleu, il voyait des centaines de nuances de couleurs invisibles à l'œil nu. Cela lui permet de distinguer un champ de blé d'un champ de maïs, ou de repérer de la pollution dans l'océan.

Mais il y a deux gros problèmes :

1. Le satellite est un "petit cerveau" : Il a très peu de mémoire et d'énergie (comme un vieux téléphone portable). Il ne peut pas faire tourner des logiciels trop lourds.
2. La connexion est lente : Envoyer toutes ces images géantes vers la Terre prendrait des heures. Si le satellite envoie une photo d'un nuage (inutile), c'est du temps perdu.

L'objectif : Il faut que le satellite apprenne à trier et analyser les images tout seul (à bord), avec un logiciel très léger, pour ne renvoyer que les photos intéressantes.

---

🎓 La Solution : L'École du "Curriculum" (Le Programme Scolaire)

Les chercheurs (Hugo, Josiane et Radu) ont inventé une nouvelle méthode d'apprentissage pour ces petits logiciels, qu'ils appellent CMTSSL. Pour comprendre, imaginons que nous voulons apprendre à un enfant à lire.

1. L'approche traditionnelle (Apprentissage supervisé)

Habituellement, on donne à l'enfant un livre avec le texte et la réponse écrite en dessous. "Voici un mot, c'est un 'chat'".

• Le problème : Pour les satellites, il n'y a pas assez de livres avec les réponses (les images étiquetées sont rares et chères à obtenir).

2. La nouvelle approche (Auto-apprentissage avec "Curriculum")

Ici, on ne donne pas les réponses. On donne des énigmes. Mais au lieu de lancer l'enfant dans un roman complexe tout de suite, on utilise une stratégie de progression (le "Curriculum").

• Le concept de "Curriculum" : C'est comme un entraînement sportif. On ne commence pas par soulever 100 kg. On commence par des poids légers, puis on augmente progressivement.
• L'astuce des chercheurs : Ils ont remarqué que certaines images sont "faciles" à comprendre (des champs plats, des océans lisses) et d'autres sont "difficiles" (des villes avec beaucoup de détails, des textures complexes).
  • Ils utilisent une règle mathématique (les "gradients", ou les changements de couleurs) pour mesurer la difficulté.
  • Le programme : Le satellite apprend d'abord sur les images "faciles" (les océans calmes). Une fois qu'il a compris les bases, on lui donne des images un peu plus complexes, et ainsi de suite, jusqu'aux images les plus difficiles (les villes).

3. Les trois jeux de l'entraînement (Multi-tâches)

Pour que le satellite apprenne vraiment bien, on ne lui donne pas un seul type d'énigme, mais trois en même temps, comme un entraînement complet :

1. Le Puzzle Spatial (L'ordre des pièces) : On mélange les pièces d'une image (comme un puzzle) et le satellite doit remettre les pièces à leur place. Cela lui apprend la géométrie et la forme des objets.
2. Le Puzzle Spectral (L'ordre des couleurs) : On mélange les "couches" de couleurs (les bandes spectrales). Le satellite doit remettre les couleurs dans le bon ordre. Cela lui apprend à comprendre la composition chimique des matériaux (est-ce du métal ? de l'eau ?).
3. Le Jeu du "Trou" (Masquage) : On cache une partie de l'image et le satellite doit deviner ce qui se cache derrière. Cela l'oblige à utiliser son imagination et sa logique pour reconstituer le tout.

---

🚀 Le Résultat : Un Super-Héros Léger

Grâce à cette méthode, les chercheurs ont prouvé que :

• Les petits modèles deviennent forts : Des architectures de logiciels très légères (qui tiennent dans un petit téléphone) apprennent à faire aussi bien, voire mieux, que des modèles géants et lourds qui ne pourraient jamais tourner sur un satellite.
• Pas de surcharge : Le logiciel ne devient pas plus lourd. Il est juste "plus intelligent" parce qu'il a mieux appris.
• Des records battus : Sur des bases de données réelles (comme l'HYPSO), leur méthode a obtenu le meilleur score jamais atteint (93,5% de précision) pour un modèle aussi léger.

🧠 En résumé, l'analogie finale

Imaginez que vous devez préparer un pilote automatique pour une petite voiture électrique (le satellite).

• Avant : On lui donnait des manuels interminables et on lui faisait conduire sur des autoroutes complexes dès le premier jour. Ça ne marchait pas bien.
• Avec CMTSSL : On lui fait d'abord conduire dans un parking vide (images faciles), puis dans une rue calme, puis dans une ville. Pendant ce temps, on lui pose des énigmes : "Remets les panneaux dans l'ordre", "Devine la couleur de la voiture cachée", "Remets les pièces de la route".

Résultat : La petite voiture devient un expert de la conduite, capable de prendre ses propres décisions sans avoir besoin d'un ordinateur de bord gigantesque. C'est exactement ce que ce papier permet de faire pour les satellites qui observent notre planète.

Résumé technique

1. Problématique et Contexte

L'imagerie hyperspectrale (HSI) fournit des signatures spectrales détaillées sur des centaines de bandes contiguës, essentielles pour la classification des sols, la détection de changements et la surveillance environnementale. Cependant, son utilisation sur des plateformes satellitaires fait face à des contraintes sévères :

• Contraintes matérielles : Les satellites disposent de ressources de calcul et d'énergie limitées, nécessitant des modèles légers (faible nombre de paramètres et d'opérations FLOPs) pour l'inférence embarquée.
• Bande passante : Le transfert de données vers la Terre est limité, imposant de traiter les données à bord pour ne transmettre que les informations pertinentes.
• Manque de données étiquetées : L'acquisition de grandes quantités de données HSI annotées manuellement est coûteuse et rare, ce qui rend l'apprentissage supervisé traditionnel difficile.

Les méthodes d'apprentissage auto-supervisé (SSL) existantes (comme l'apprentissage contrastif ou le Masked Image Modeling - MIM) souffrent souvent de limitations : elles ne capturent pas toujours les détails fins, peinent avec la sémantique de haut niveau, ou ne sont pas optimisées pour les architectures légères spécifiques au traitement embarqué.

2. Méthodologie : CMTSSL

Les auteurs proposent CMTSSL (Curriculum Multi-Task Self-Supervised Learning), un cadre d'apprentissage pré-entraînement conçu spécifiquement pour les architectures légères. La méthode repose sur trois piliers :

A. Apprentissage Multi-Tâche Décomposé

Le cadre intègre simultanément trois tâches prétexte dans un encodeur partagé :

1. MIM (Masked Image Modeling) : Reconstruction des patches masqués de l'image hyperspectrale (cube de données 3D). Cela force le modèle à apprendre les détails locaux et la continuité spectrale.
2. Jigsaw Spatial (JPS Spatial) : Permutation et prédiction de l'ordre des patches spatiaux (2D). Cela capture la structure spatiale et les relations contextuelles.
3. Jigsaw Spectral (JPS Spectral) : Permutation et prédiction de l'ordre des blocs spectraux (bandes). Cela force le modèle à comprendre la cohérence et les transitions entre les bandes spectrales.

Contrairement aux approches précédentes qui traitent ces tâches séparément ou de manière couplée de façon rigide, CMTSSL les résout de manière découplée (spatial vs spectral) mais via un encodeur commun, permettant d'apprendre des représentations complémentaires.

B. Stratégie de Curriculum Learning

Pour éviter que l'apprentissage simultané de multiples tâches ne rende la convergence difficile (problème de transfert négatif), les auteurs introduisent une stratégie de Curriculum Learning (apprentissage par curriculum) basée sur la difficulté des échantillons :

• Critère de difficulté : Ils ont observé une forte corrélation entre la magnitude des gradients 3D (spatiaux et spectraux) d'un cube HSI et la difficulté de résoudre les tâches SSL sur ce cube. Les images à forts gradients (bords nets, textures, transitions spectrales abruptes) sont plus difficiles à modéliser que les zones homogènes.
• Ordonnancement : Les données sont triées par magnitude de gradient croissante. L'entraînement commence par des lots de données "faciles" (faibles gradients) et progresse progressivement vers des données "difficiles" (forts gradients).
• Avantage : Cette approche guide l'encodeur à apprendre d'abord les régularités globales avant de se confronter aux structures complexes, stabilisant l'optimisation multi-tâche sans nécessiter de modèle supplémentaire pour estimer la difficulté.

C. Architecture

Le framework est agnostique à l'architecture de l'encodeur. Dans l'étude, il est appliqué à des modèles légers existants (2D Justo, CUNet++ Reduced, CLOLN) contenant entre 4K et 11K paramètres. Le pré-entraînement CMTSSL est suivi d'un fine-tuning supervisé standard pour la segmentation.

3. Contributions Clés

1. Nouveau Framework CMTSSL : Proposition d'un cadre d'apprentissage auto-supervisé multi-tâche intégrant MIM et des puzzles jigsaw spatiaux/spectraux découpés, spécifiquement conçu pour les architectures légères embarquées.
2. Stratégie de Curriculum par Gradient 3D : Introduction d'une méthode de curriculum learning basée sur la magnitude des gradients 3D des images HSI pour organiser les données du plus simple au plus complexe, sans coût computationnel supplémentaire.
3. Découplage Spatial-Spectral : Adaptation du puzzle jigsaw aux images hyperspectrales en traitant séparément les dimensions spatiales et spectrales tout en utilisant un encodeur unique, favorisant une compréhension holistique du cube de données.

4. Résultats Expérimentaux

Les auteurs ont validé leur approche sur quatre jeux de données publics : Pavia University, Pavia Center, WHU-HI Hanchuan et HYPSO.

• Performance : CMTSSL améliore systématiquement les performances de segmentation (mesurées par la Précision Globale, la Précision Moyenne et le coefficient Kappa) par rapport à l'entraînement supervisé seul ("from scratch") et par rapport à des méthodes SSL mono-tâche (MIM seul ou JPS seul).
• Record d'état de l'art : Sur le jeu de données HYPSO (à grande échelle), la combinaison de l'architecture 2D Justo avec CMTSSL atteint une précision moyenne de 93,5 %, surpassant les modèles précédents (y compris des modèles fondationnels lourds comme HyperSIGMA-B) tout en restant extrêmement léger.
• Efficacité : Les gains de performance sont obtenus sans augmenter le nombre de paramètres ni les FLOPs (opérations en virgule flottante). Les modèles restent des centaines de fois plus légers que les modèles fondationnels (ex: 16 000x plus légers que HyperSIGMA-B).
• Robustesse : Les ablations montrent que le curriculum learning est essentiel ; sans lui, l'apprentissage multi-tâche pur (MTSSL) n'est pas toujours supérieur à l'entraînement supervisé classique.

5. Signification et Impact

Ce travail démontre que l'apprentissage auto-supervisé peut être efficacement appliqué aux contraintes sévères du traitement embarqué sur satellite.

• Opérationnel : Il permet de déployer des modèles de haute précision sur des satellites aux ressources limitées, réduisant ainsi la nécessité de transmettre des données brutes inutiles vers la Terre.
• Généralisation : La méthode est agnostique à l'architecture, ce qui la rend applicable à divers modèles légers.
• Économie de données : Elle réduit la dépendance aux données annotées, un goulot d'étranglement majeur en télédétection.

En résumé, CMTSSL offre une solution robuste pour l'analyse hyperspectrale en temps réel à bord, combinant efficacité computationnelle et richesse des représentations apprises. Le code est disponible publiquement sur GitHub.