MOMO: Mars Orbital Model Foundation Model for Mars Orbital Applications

1. Problématique et Contexte

Les modèles de fondation (Foundation Models - FMs) ont révolutionné la vision par ordinateur sur Terre, notamment pour l'observation de la Terre (EO), en permettant un apprentissage de représentations à grande échelle. Cependant, à ce jour, aucun modèle de fondation n'existe spécifiquement pour la télédétection martienne.

Les défis principaux pour Mars sont :

• Hétérogénéité des capteurs : Les satellites martiens (HiRISE, CTX, THEMIS) capturent des données à des résolutions radicalement différentes (de 0,25 m/pixel à 100 m/pixel), à différentes longueurs d'onde (optique, infrarouge) et avec des couvertures géographiques variables.
• Limitations des approches actuelles : Les chercheurs utilisent souvent des modèles pré-entraînés sur ImageNet ou des modèles EO terrestres, qui ne généralisent pas bien aux conditions spécifiques de Mars (atmosphère, éclairage, matériaux de surface).
• Complexité de l'entraînement multi-capteurs : Combiner directement des données hétérogènes dans un seul modèle d'entraînement nécessite des données coïncidentes (spatialement et temporellement), ce qui est rare sur Mars, ou un ré-entraînement complet à chaque ajout de nouveau capteur.

2. Méthodologie : MOMO

L'article propose MOMO, le premier modèle de fondation multi-capteurs pour Mars. L'approche repose sur une stratégie de fusion de modèles (Model Merging) plutôt que sur un entraînement direct sur un corpus hétérogène.

A. Pré-entraînement par Capteur

Au lieu d'entraîner un seul modèle sur toutes les données, les auteurs pré-entraînent trois modèles indépendants (basés sur l'architecture Masked Autoencoder - MAE) :

1. Un modèle pour HiRISE (0,25 m/pixel, optique).
2. Un modèle pour CTX (5 m/pixel, optique).
3. Un modèle pour THEMIS (100 m/pixel, infrarouge thermique).
   Chaque modèle apprend les distributions et caractéristiques uniques de son capteur respectif sur un corpus de ~4 millions d'échantillons chacun (totalisant ~12 millions d'échantillons).

B. Fonction de Coût Améliorée

Pour le pré-entraînement, l'objectif de reconstruction (généralement l'erreur quadratique moyenne - MSE) est insuffisant car il néglige les détails structurels géomorphologiques. Les auteurs introduisent une fonction de perte composite :
$$L_{total} = \lambda_1 L_{MSE} + \lambda_2 L_{SSIM} + \lambda_3 L_{LPIPS} + \lambda_4 L_{grad}$$
Cette fonction combine :

• La perte MSE (intensité des pixels).
• La similarité structurelle (SSIM).
• La métrique perceptuelle (LPIPS).
• Une pénalité de gradient ($L_{grad}$) pour préserver les bords et la continuité des formes (cratères, glissements de terrain).

C. Stratégie de Sélection de Checkpoint : EVL (Equal Validation Loss)

C'est l'innovation centrale de l'article. Pour fusionner les modèles, il ne suffit pas de prendre les derniers checkpoints. Les auteurs proposent la stratégie Equal Validation Loss (EVL) :

1. Alignement des pertes : On identifie des tuples d'époques (un checkpoint par capteur) où les pertes de validation sont mutuellement proches ($\Delta_{ij} \le \epsilon$).
2. Sélection guidée par la distance : Parmi les tuples alignés, on choisit celui qui est le plus proche des points d'arrêt anticipé (early-stopping) de chaque modèle individuel.
3. Fusion par arithmétique de tâches : Une fois les checkpoints optimaux sélectionnés, les modèles sont fusionnés via une opération d'arithmétique de tâches (addition pondérée des paramètres), créant un modèle unifié MOMO.

Cette stratégie garantit que les modèles sont fusionnés à des stades de convergence compatibles, évitant le sur-ajustement (overfitting) ou le sous-ajustement (underfitting) d'un capteur spécifique lors de la fusion.

3. Contributions Clés

1. Premier Modèle de Fondation pour Mars : MOMO est le premier modèle systématiquement développé, analysé et évalué pour les applications orbitales martiennes.
2. Gestion Multi-Capteurs et Multi-Résolutions : Capacité à intégrer des données allant de 0,25 m à 100 m/pixel sans nécessiter de ré-entraînement complet lors de l'ajout de nouveaux capteurs.
3. Stratégie EVL : Une nouvelle méthode de sélection de checkpoints basée sur l'alignement des pertes de validation pour assurer une fusion stable et généralisable.
4. Corpus de Données : Création d'un ensemble de données de pré-entraînement de haute qualité (~12M d'échantillons) filtré et échantillonné de manière stratifiée selon la carte géologique de Mars (GMoM).

4. Résultats Expérimentaux

Les performances de MOMO ont été évaluées sur Mars-Bench, une suite de 9 tâches en aval (4 classifications, 5 segmentations).

• Comparaison avec les Baselines :

  • MOMO surpasse les modèles pré-entraînés sur ImageNet (moyenne +1,25% en F1 pour la classification, +1% en mIoU pour la segmentation).
  • MOMO surpasse les modèles de fondation pour l'observation de la Terre (EO-FMs comme SatMAE, Prithvi, CROMA), confirmant que les modèles terrestres ne généralisent pas parfaitement à Mars.
  • MOMO surpasse l'approche de pré-entraînement spécifique à un capteur (gain de ~1,75% en classification et ~4,2% en segmentation), tout en offrant l'avantage d'un modèle unique.
  • MOMO surpasse l'approche de fusion de données (Data Merge) où toutes les données sont mélangées avant l'entraînement, démontrant la supériorité de la fusion de modèles.

• Performance sur la Segmentation :
  L'amélioration est particulièrement notable sur les tâches de segmentation (localisation précise de rochers, cratères, glissements de terrain), où MOMO montre une capacité supérieure à capturer les détails fins et les structures géomorphologiques grâce à la fonction de perte améliorée et à la fusion optimisée.

• Analyse de la Fusion :
  Les visualisations du paysage de perte (Loss Landscape) montrent que la stratégie EVL sélectionne des checkpoints situés dans le même "bassin de perte" que les modèles constitutifs, assurant une stabilité supérieure par rapport à la fusion des derniers checkpoints (Last Epoch) ou des checkpoints d'arrêt anticipé (Early Stopping) sans alignement.

5. Signification et Impact

• Avancée Scientifique : MOMO représente une étape majeure pour la science planétaire, permettant aux chercheurs de développer des modèles pour des tâches scientifiques personnalisées à un coût réduit par rapport à l'entraînement supervisé complet.
• Évolutivité : L'architecture permet d'intégrer facilement de nouveaux capteurs futurs en pré-entraînant uniquement le nouveau modèle et en le fusionnant via EVL, sans ré-entraîner tout le système.
• Applications Pratiques : Le modèle a démontré sa capacité à générer des cartes globales de features géologiques sur des régions non vues lors de l'entraînement (Out-of-Distribution), prouvant son utilité pour la cartographie planétaire à grande échelle.
• Ressources Ouvertes : Les auteurs publient les poids du modèle, le code de pré-entraînement, les données et le code d'évaluation, favorisant la reproductibilité et l'innovation future dans le domaine.

En conclusion, MOMO démontre que l'approche de fusion de modèles via une sélection optimale de checkpoints est une méthode efficace et robuste pour construire des modèles de fondation capables de gérer des données multi-résolutions et multi-capteurs complexes, ouvrant la voie à une nouvelle ère d'analyse automatisée des données martiennes.