LEPA: Learning Geometric Equivariance in Satellite Remote Sensing Data with a Predictive Architecture

Ce papier propose LEPA, une architecture prédictive qui apprend l'équivariance géométrique pour ajuster avec précision les embeddings de modèles de fondation géospatiaux selon des zones d'intérêt définies par l'utilisateur, surmontant ainsi les limitations de l'interpolation standard qui échoue dans les variétés non convexes.

L'essentiel

🌍 Le Problème : La Carte qui ne correspond pas au Terrain

Imaginez que vous avez une énorme bibliothèque de photos satellites de la Terre. Pour ne pas avoir à télécharger des téraoctets de données lourdes chaque fois que vous voulez analyser une zone, des chercheurs ont créé des "résumés intelligents" (appelés embeddings ou vecteurs d'incrustation). Ce sont comme des cartes de crédit pour chaque carré de l'image : elles contiennent toute l'information nécessaire sans le poids de la photo elle-même.

Le souci ?
Ces cartes de crédit sont pré-calculées sur une grille fixe, comme un damier parfait. Mais vous, en tant qu'utilisateur, vous voulez peut-être analyser une zone qui tourne, qui est décalée, ou qui a une taille différente.

• Si vous essayez de "mélanger" ces cartes de crédit pour adapter la grille à votre besoin (comme faire une interpolation), c'est comme essayer de mélanger de l'eau et de l'huile : ça ne donne rien de cohérent. Le résultat est faux, flou, et ne correspond à rien de réel.

🛠️ La Solution : LEPA (Le "Traducteur Géométrique")

Les auteurs proposent une nouvelle architecture appelée LEPA (Learning Geometric Equivariance in Satellite Remote Sensing Data with a Predictive Architecture).

Pour faire simple, au lieu d'essayer de "mélanger" les cartes de crédit, LEPA apprend à les transformer intelligemment.

L'analogie du Chef Cuisinier et du Miroir

Imaginez que vous avez un Chef Cuisinier (le modèle d'IA) qui a déjà mémorisé des milliers de recettes (les images satellites).

1. L'ancienne méthode (Interpolation) : Si vous demandez au chef de vous donner une recette pour un plat tourné de 90 degrés, il essaie de prendre les ingrédients de deux recettes différentes et de les coller ensemble. Le résultat est un plat bizarre et immangeable.
2. La méthode LEPA : Le chef possède un miroir magique (le prédicteur). Vous lui montrez la recette originale et vous lui dites : "Fais-la tourner de 90 degrés". Le chef utilise son miroir pour calculer exactement à quoi ressemblera la recette après la rotation, sans avoir besoin de retourner en cuisine pour cuisiner tout à nouveau.

🔑 Comment ça marche ? (Les 3 étapes clés)

1. L'Entraînement (Apprendre la géométrie) :
   Au lieu d'entraîner l'IA juste à reconnaître des objets, on lui apprend à prédire comment les données changent quand on les tourne, les étire ou les déplace. C'est comme entraîner un gymnaste à savoir exactement où atterrir s'il fait une pirouette, sans avoir besoin de voir le sol.

2. Le "Prédicteur" (Le cerveau rapide) :
   LEPA ajoute un petit module intelligent à côté du gros modèle. Ce module reçoit deux choses :

   • La carte de crédit originale.
   • Les instructions de transformation (ex: "tourne de 30 degrés").
     Il calcule instantanément la nouvelle carte de crédit adaptée.

3. Le Résultat (Précision et Vitesse) :
   Les tests montrent que cette méthode est énormément meilleure que les anciennes.

   • Avant (Interpolation) : La précision était très basse (moins de 20 % de réussite). C'était comme essayer de deviner le mot manquant dans une phrase en regardant seulement les lettres voisines.
   • Avec LEPA : La précision dépasse 80 %. L'IA comprend vraiment la géométrie de l'image.

💡 Pourquoi c'est important ?

• Économie de temps et d'argent : Plus besoin de faire tourner des supercalculateurs puissants pour recalculer des images chaque fois qu'on change d'angle de vue. On utilise juste le "traducteur" LEPA.
• Fiabilité : On évite les erreurs de "fantômes" dans les images (des artefacts qui apparaissent quand on mélange mal les données).
• Flexibilité : Les chercheurs et les agences spatiales peuvent maintenant utiliser ces données pré-calculées pour n'importe quelle forme de zone, même si elle ne correspond pas parfaitement à la grille d'origine.

En résumé

LEPA, c'est comme donner à une intelligence artificielle la capacité de penser en 3D et en mouvement. Au lieu de bricoler des données statiques, elle apprend à prédire comment elles évoluent quand on les bouge, permettant d'adapter instantanément les cartes satellites aux besoins réels des utilisateurs, avec une précision incroyable.

Résumé technique

1. Problématique

Les modèles de fondation géospatiaux génèrent des embeddings (vecteurs de caractéristiques) précalculés pour des données de télédétection satellitaire à grande échelle. Bien que ces embeddings réduisent les goulots d'étranglement de transfert de données et les coûts computationnels, ils posent un problème majeur : les décalages géométriques.

• Le conflit : Les utilisateurs définissent souvent des zones d'intérêt (AOI) qui ne correspondent pas exactement à la grille fixe des embeddings précalculés.
• L'échec de l'interpolation : La méthode standard pour ajuster ces embeddings (interpolation dans l'espace latent, comme l'interpolation bilinéaire) s'avère peu fiable. Les auteurs démontrent que la variété (manifold) des embeddings est hautement non convexe.
• Conséquence : Interpoler linéairement des vecteurs d'embeddings de patches (patchs) crée des représentations qui ne correspondent pas à des entrées réalistes, détruisant l'information géométrique contenue dans les patches individuels.

2. Méthodologie : LEPA

Pour résoudre ce problème sans avoir à réexécuter le coûteux encodeur de fondation, les auteurs proposent LEPA (Learned Equivariance-Predicting Architecture).

• Concept de base : Au lieu d'interpoler des vecteurs, LEPA utilise un modèle prédictif conditionné par des paramètres d'augmentation géométrique (rotation, translation, mise à l'échelle) pour prédire directement l'embedding transformé.
• Architecture :
  • Basée sur l'architecture I-JEPA (Image Joint-Embedding Predictive Architecture).
  • Un encodeur "étudiant" produit des embeddings de patches à partir d'une image d'entrée.
  • Un prédictif prend ces embeddings (contexte) et les paramètres de transformation géométrique comme entrée.
  • Le prédictif doit "inpaint" (reconstituer) les embeddings manquants ou transformés dans l'espace latent, en apprenant à inverser ou appliquer la transformation géométrique directement dans l'espace des embeddings.
• Améliorations architecturales :
  • Utilisation d'un token CLS (classification) pour agréger les informations globales.
  • Développement de codages de position conditionnels (Conditioned Positional Encodings) centrés sur le centre de l'image plutôt que sur un coin, afin de mieux refléter les changements de position sous transformation.
• Entraînement : Le modèle est pré-entraîné sur ImageNet-1k et sur des données HLS (Harmonized Landsat-Sentinel), en utilisant une stratégie inspirée des "Image World Models" pour forcer la sensibilité du prédictif aux transformations géométriques.

3. Contributions Clés

1. Démonstration de l'échec de l'interpolation : Les auteurs prouvent empiriquement que l'interpolation et le sous-échantillonnage linéaires sur des embeddings de patches brisent la structure de l'information, rendant les vecteurs résultants non significatifs.
2. Proposition de LEPA : Une architecture qui évite les passes d'inférence répétées des grands modèles de fondation en utilisant un modèle prédictif léger pour aligner les embeddings sur les données de l'utilisateur.
3. Modèles I-JEPA performants : Introduction de modèles I-JEPA entraînés sur ImageNet et HLS qui atteignent des performances compétitives sur le benchmark PANGAEA, avec des améliorations architecturales (token CLS, codages de position).
4. Analyse de l'équivariance : Une étude approfondie montrant comment conditionner le prédictif améliore la capacité du modèle à respecter l'équivariance géométrique (c'est-à-dire que la transformation de l'entrée entraîne une transformation correspondante de la sortie).

4. Résultats Expérimentaux

Les résultats sont évalués principalement via la Moyenne du Réciproque du Rang (MRR), une métrique mesurant la capacité du modèle à retrouver la bonne transformation parmi un ensemble d'augmentations.

• Performance de l'interpolation : Les méthodes d'interpolation standard (y compris sur Prithvi-EO-2.0) obtiennent un MRR inférieur à 0,2, confirmant leur inefficacité.
• Performance de LEPA :
  • L'approche apprise (LEPA) augmente le MRR à environ 0,7.
  • Avec un réglage fin (fine-tuning) du prédictif (en gelant l'encodeur et en ne l'entraînant que sur la prédiction de transformation), le MRR dépasse 0,8.
• Qualité des représentations : Les modèles I-JEPA entraînés sur ImageNet et HLS obtiennent des scores normalisés compétitifs sur le benchmark PANGAEA (segmentation sémantique), rivalisant avec des modèles de pointe comme TerraMind et RemoteCLIP.
• Analyse des artefacts : L'ajout d'un token CLS réduit le "bruit spécifique à la classe" observé dans les modèles entraînés sur ImageNet (où le fond ressemble au sujet), mais a un effet limité sur les données HLS qui sont plus hétérogènes et sans sujet central fixe.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Efficacité opérationnelle : Il offre une solution viable pour l'utilisation de bases de données d'embeddings précalculés dans des applications de télédétection où les zones d'intérêt sont dynamiques, évitant ainsi le coût prohibitif de ré-exécuter des encodeurs massifs.
• Validité géométrique : Il établit que les embeddings de patches ne sont pas de simples vecteurs interchangeables ; leur structure interne contient des informations géométriques critiques qui doivent être préservées par des méthodes d'apprentissage (comme LEPA) plutôt que par des opérations linéaires aveugles.
• Fondation pour l'avenir : La méthode ouvre la voie à des modèles de fondation plus robustes et "steerable" (pilotables) pour l'observation de la Terre, en intégrant l'équivariance géométrique directement dans l'architecture de prédiction.

En résumé, LEPA remplace l'interpolation linéaire défaillante par un modèle prédictif appris, permettant des ajustements géométriques précis des embeddings satellitaires avec une précision accrue (MRR > 0,8) et une efficacité computationnelle supérieure.