CrossEarth-SAR: A SAR-Centric and Billion-Scale Geospatial Foundation Model for Domain Generalizable Semantic Segmentation

Ce papier présente CrossEarth-SAR, le premier modèle fondationnel d'observation de la Terre à base de radar à synthèse d'ouverture (SAR) à l'échelle du milliard de paramètres, qui utilise une architecture guidée par la physique pour surmonter les décalages de domaine et atteindre des performances de segmentation sémantique généralisables inédites.

L'essentiel

🌍 CrossEarth-SAR : Le Super-Héros de la "Vision" Radar

Imaginez que vous essayez de reconnaître des objets dans le brouillard, la nuit, sous la pluie, avec des lunettes de soleil différentes à chaque fois. C'est exactement ce que font les satellites SAR (Radar à Ouverture Synthétique). Contrairement aux caméras classiques qui ont besoin de lumière du soleil, le SAR utilise des ondes radar pour voir la Terre, 24h/24 et par tous les temps. C'est un outil incroyable pour surveiller les catastrophes naturelles ou les villes.

Mais il y a un gros problème : les images radar sont très difficiles à comprendre pour les ordinateurs.

🧩 Le Problème : Un Puzzle Brisé

Dans le monde de la vision par ordinateur, on a l'habitude d'entraîner un modèle (un "cerveau" artificiel) sur des photos de chats et de chiens. Une fois entraîné, il reconnaît un chat partout.

Avec le radar, c'est différent. Une image radar dépend de trop de facteurs :

1. Le capteur (comme si on changeait de caméra tous les 5 minutes).
2. L'angle de vue (comme si on regardait un bâtiment de face, puis de côté).
3. La météo et le sol (l'humidité change tout).

Si vous entraînez un modèle sur des images d'une ville en Chine prises par un satellite spécifique, il sera complètement perdu si on lui montre une image d'une ville au Brésil prise par un autre satellite. C'est ce qu'on appelle le "décalage de domaine". Le modèle ne généralise pas.

🚀 La Solution : CrossEarth-SAR

Les auteurs de cet article ont créé CrossEarth-SAR, le premier "modèle fondamental" (une sorte de super-cerveau) dédié au radar, avec une taille colossale (des milliards de paramètres).

Voici comment ils ont fait, avec des analogies simples :

1. Une Cuisine avec des Chefs Spécialisés (L'architecture MoE)
Au lieu d'avoir un seul chef cuisinier qui essaie de tout faire (poulet, poisson, dessert), CrossEarth-SAR est comme un restaurant avec des centaines de chefs experts.

• Il y a un chef expert en "bruit de pluie".
• Un autre expert en "angles de vue bizarres".
• Un autre en "textures de sol".
  Le système est intelligent : il regarde l'image radar et dit : "Hé, celle-ci ressemble à un sol humide vu sous un angle étrange, appelons l'expert n°42 !". Cela permet au modèle de s'adapter à n'importe quelle situation sans devenir trop lent.

2. Le Guide Physique (Les Descripteurs Physiques)
C'est la partie la plus ingénieuse. Les ordinateurs ont du mal à comprendre pourquoi une image radar a l'air comme ça. Les auteurs ont donné au modèle un guide physique.
Imaginez que vous apprenez à un enfant à reconnaître des voitures. Au lieu de juste lui montrer des photos, vous lui donnez un manuel qui dit : "Si la voiture est mouillée, elle brille plus. Si elle est sur une pente, elle semble plus courte."
CrossEarth-SAR calcule automatiquement ces "règles physiques" (la rugosité du sol, la force du bruit, l'angle) et les donne au modèle en même temps que l'image. Cela aide le modèle à comprendre la logique derrière l'image, pas juste à mémoriser des formes.

3. La Bibliothèque Géante (CrossEarth-SAR-200K)
Pour entraîner ce super-cerveau, il faut des millions d'exemples. Les chercheurs ont créé une base de données géante de 200 000 images provenant de partout dans le monde (villes, déserts, forêts, océans).
Comme il n'y a pas assez d'images étiquetées par des humains, ils ont utilisé d'autres intelligences artificielles pour créer des "étiquettes probables" (comme des devinettes très précises) et ont ainsi pu apprendre à partir de données du monde entier.

4. Le Grand Test (Le Benchmark)
Pour prouver que leur modèle est le meilleur, ils ont créé un examen final avec 22 épreuves différentes.

• Exemple d'épreuve : "Tu as appris sur des images de Corée, maintenant reconnais des objets en Chine."
• Exemple d'épreuve : "Tu as appris avec un radar vertical, maintenant reconnais avec un radar horizontal."

Le résultat ? CrossEarth-SAR a gagné 20 épreuves sur 22, battant tous les autres modèles de loin (parfois de plus de 10 %). Il est capable de passer d'un contexte à l'autre sans perdre ses moyens.

💡 Pourquoi c'est important ?

Aujourd'hui, si un satellite repère une inondation soudaine en Afrique, mais que le modèle a été entraîné sur des données d'Europe, il risque de ne rien voir ou de faire des erreurs.
Avec CrossEarth-SAR, on a enfin un modèle capable de comprendre n'importe quelle image radar, n'importe où, n'importe quand. C'est un pas de géant pour sauver des vies lors de catastrophes, surveiller l'environnement et gérer nos villes, peu importe les conditions météo ou le type de satellite utilisé.

En résumé : C'est comme donner à un détective une carte du monde complète, un manuel de physique et une équipe d'experts spécialisés, pour qu'il puisse résoudre n'importe quel mystère, même dans le brouillard le plus épais.

Résumé technique

1. Problématique et Contexte

L'observation de la Terre par Radar à Ouverture Synthétique (SAR) est un outil indispensable pour les applications tout-temps et jour/nuit (gestion des catastrophes, surveillance environnementale, urbanisme). Cependant, l'application de la segmentation sémantique sur les images SAR rencontre des obstacles majeurs qui limitent la généralisation des modèles :

• Complexités physiques inhérentes :
  • Bruit de speckle : Le processus d'imagerie cohérent crée un bruit multiplicatif granulaire qui corrompt les statistiques locales et les textures, dégradant les modèles basés sur l'apprentissage de motifs textuels.
  • Distorsions géométriques : La géométrie de visée latérale provoque des effets de superposition (layover), de raccourcissement (foreshortening) et d'ombre, altérant radicalement la forme et la topologie apparente des objets.
  • Ambiguïté sémantique : Contrairement aux images optiques, le SAR mesure la rétrodiffusion (liée à la rugosité de surface et aux propriétés diélectriques) et non la couleur. Des classes différentes peuvent avoir la même apparence sombre, tandis qu'une même classe peut varier considérablement selon l'humidité ou l'orientation des cultures.
• Fragmentation des domaines (Domain Shift) : Les caractéristiques des données SAR varient considérablement selon le capteur (Sentinel-1, ALOS-2, Capella), la bande de fréquence (C, L, X), le mode de polarisation (HH, VV, etc.) et l'angle d'incidence. Un modèle entraîné sur un jeu de données spécifique échoue souvent catastrophiquement lorsqu'il est appliqué à un autre capteur ou une autre région.

L'objectif principal est de développer un modèle capable de généralisation de domaine (Domain Generalization - DG) robuste, capable de comprendre sémantiquement des images SAR provenant de sources hétérogènes sans réentraînement spécifique.

---

2. Méthodologie : CrossEarth-SAR

Les auteurs proposent CrossEarth-SAR, le premier modèle fondationnel de vision SAR à l'échelle du milliard de paramètres, conçu spécifiquement pour la segmentation sémantique inter-domaines.

Architecture Principale

Le modèle est basé sur une architecture ViT (Vision Transformer) (dérivée de DINOv2) intégrant une architecture MoE (Mixture of Experts) sparse guidée par la physique.

1. Descripteurs Physiques SAR (SAR Physical Descriptors) :
   Pour stabiliser la sélection des experts face aux variations physiques, le modèle calcule trois descripteurs physiques pour chaque image d'entrée (après transformation en log-intensité) :

   • Entropie Directionnelle ($H_{DE}$) : Mesure la régularité structurelle et l'orientation des gradients (géométrie d'imagerie).
   • Nombre Équivalent de Vues (ENL) : Mesure la force du bruit de speckle (système radar).
   • Rugosité Locale ($R_{LR}$) : Mesure la variabilité de la texture basée sur la variance des moyennes de blocs (diffusion des objets).
     Ces descripteurs sont concaténés et injectés dans le routeur du MoE pour guider la sélection des experts.

2. MoE Sparse Guidé par la Physique :

   • Chaque bloc ViT remplace le réseau feed-forward (FFN) standard par un module MoE composé d'un routeur et de plusieurs experts ($n=6$).
   • Le routeur sélectionne dynamiquement les $k$ experts les plus pertinents pour chaque token en fonction des embeddings du token et des descripteurs physiques.
   • Cela permet à différents experts de se spécialiser dans des caractéristiques SAR spécifiques (ex: un expert pour les statistiques de speckle, un autre pour les structures géométriques) tout en maintenant un coût de calcul raisonnable (activation sparse).
   • Une perte d'équilibrage de charge (Load Balancing Loss) est appliquée pour éviter l'effondrement des experts (qu'un seul expert ne fasse tout le travail).

3. Stratégie d'Entraînement :

   • Pré-entraînement continu (CPT) : Le modèle est pré-entraîné sur le jeu de données CrossEarth-SAR-200K.
   • Fine-tuning (PEFT) : Pour les tâches en aval, seuls les décodeurs (et éventuellement des adaptateurs comme Earth-Adapter) sont entraînés, tandis que le backbone est gelé.

---

3. Contributions Clés

1. CrossEarth-SAR (Modèle) : Le premier modèle fondationnel SAR à l'échelle du milliard de paramètres, utilisant une architecture MoE sparse guidée par la physique pour la généralisation de domaine. Des versions Small, Base et Large sont disponibles.
2. CrossEarth-SAR-200K (Jeu de Données) : Un ensemble de données massif contenant 200 000 images SAR annotées pour la segmentation sémantique. Il combine :
   • Des données étiquetées publiquement.
   • Des données privées collectées.
   • Des données faiblement supervisées générées via des pseudo-étiquettes (en utilisant des modèles optiques puissants comme CrossEarth sur des paires SAR-Optique).
   • La couverture géographique est mondiale (6 continents, centaines de villes).
3. Suite de Benchmarks Unifiée : Création d'une suite de référence comprenant 22 sous-benchmarks couvrant 8 écarts de domaine distincts (régions, polarisation, valeurs complexes, plateformes, bandes micro-ondes). C'est la première norme unifiée pour évaluer la DG sur le SAR.
4. Résultats SOTA : Démonstration d'une supériorité significative sur les tâches de segmentation sémantique inter-domaines.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur les 22 benchmarks définis, comparant CrossEarth-SAR à des modèles de base (DINOv2, DINOv3), des modèles fondationnels optiques (SatMAE, ScaleMAE) et des modèles SAR existants (SARATR-X).

• Performance Globale : CrossEarth-SAR atteint des performances State-of-the-Art (SOTA) sur 20 des 22 benchmarks.
• Gain de Performance : Dans certains scénarios de transfert multi-écarts, le modèle dépasse les méthodes précédentes de plus de 10% de mIoU (mean Intersection over Union).
• Généralisation à un écart (One Gap) :
  • Sur les écarts de polarisation (ex: VV vers Full), CrossEarth-SAR-L améliore le mIoU de +8,4% à +15,5% par rapport à la base.
  • Sur les écarts de valeurs complexes (réel vs complexe), le modèle montre une compréhension supérieure des signaux SAR complexes.
• Généralisation Multi-écarts (Two & Three Gaps) :
  • Le modèle maintient une robustesse exceptionnelle même lorsque plusieurs facteurs changent simultanément (ex: Région + Polarisation + Bande de fréquence).
  • Sur le benchmark A2F (Airborne vers Satellite + Polarisation), CrossEarth-SAR-L* atteint 27,0% de mIoU, surpassant la base de 11,5 points.
• Analyse Ablative :
  • L'utilisation des descripteurs physiques améliore significativement la performance (gain de +2,2% à +3,0% selon les configurations).
  • L'architecture MoE avec équilibrage de charge est cruciale pour capturer la diversité des données SAR sans explosion des coûts de calcul.
  • Les données pseudo-étiquetées (CrossEarth-SAR-200K) s'avèrent aussi efficaces, voire plus, que des données réelles limitées géographiquement pour le pré-entraînement.

---

5. Signification et Impact

Ce travail représente une avancée majeure pour la communauté de la télédétection SAR :

• Démocratisation de l'IA SAR : En fournissant un modèle fondationnel robuste et des données massives, il réduit la barrière à l'entrée pour les applications SAR complexes.
• Approche Physique-Aware : L'intégration explicite de la physique radar (via les descripteurs et le routage) dans l'architecture d'apprentissage profond offre une nouvelle voie pour résoudre le problème de la généralisation de domaine, dépassant les approches purement statistiques.
• Standardisation : La création d'un benchmark unifié permet désormais une évaluation rigoureuse et comparable des futurs modèles de généralisation de domaine en SAR.
• Applications Futures : Ce modèle ouvre la voie à des applications critiques en temps réel pour la gestion des catastrophes, la surveillance agricole et la défense, où la capacité à interpréter des données SAR de n'importe quel capteur est vitale.

En résumé, CrossEarth-SAR établit un nouveau standard pour la compréhension sémantique des images SAR, prouvant qu'une approche fondée sur la physique et l'échelle massive peut surmonter les défis historiques de la fragmentation des données radar.