MOMO: Mars Orbital Model Foundation Model for Mars Orbital Applications

1. Il Problema

Nonostante l'attività di ricerca sui Foundation Models (FM) per l'osservazione terrestre (EO) sia fiorente, non esisteva al momento di questa pubblicazione alcun modello fondazionale specifico per le applicazioni di telerilevamento su Marte.
Le sfide principali includono:

• Dati Eterogenei: I satelliti marziani (come HiRISE, CTX e THEMIS) operano con risoluzioni spaziali molto diverse (da 0,25 m/pixel a 100 m/pixel), lunghezze d'onda differenti e coperture geografiche non sovrapposte.
• Limiti dei Modelli Esistenti: L'uso di modelli pre-addestrati su ImageNet o su dati terrestri (Earth Observation) non garantisce prestazioni ottimali a causa delle differenze nelle condizioni atmosferiche, nell'illuminazione, nei materiali superficiali e nelle caratteristiche dei sensori.
• Complessità dell'Integrazione: Unire dati da sensori con risoluzioni così disparate in un unico modello di pre-addestramento richiede risorse computazionali enormi e rende difficile l'aggiunta di nuovi sensori in futuro senza ri-addestrare l'intero sistema.

2. Metodologia: MOMO e la Strategia di Fusione

Gli autori propongono MOMO (Mars Orbital Model), il primo modello fondazionale multi-sensore per Marte. L'approccio innovativo non combina direttamente i dati grezzi dei sensori in un unico dataset, ma utilizza una strategia di fusione di modelli (Model Merging).

Fasi Principali:

1. Pre-addestramento Indipendente: Vengono addestrati tre modelli Masked Autoencoder (MAE) indipendenti, uno per ciascun sensore chiave:

   • HiRISE: 0,25 m/pixel (Ottico).
   • CTX: 5 m/pixel (Ottico).
   • THEMIS: 100 m/pixel (Infrarosso termico).
   • Il corpus di pre-addestramento comprende circa 12 milioni di campioni (4 milioni per sensore), selezionati in modo stratificato per garantire la rappresentatività geologica e geografica.

2. Funzione di Costo Ibrida: Per superare i limiti della sola perdita MSE (Mean Squared Error), che spesso fallisce nel ricostruire dettagli strutturali come i bordi dei crateri, gli autori introducono una funzione di perdita composta:

   • MSE: Per la coerenza dei pixel.
   • LPIPS: Per la fedeltà percettiva.
   • SSIM: Per la similarità strutturale.
   • Perdita del Gradiente ($L_{grad}$): Per penalizzare le differenze nei gradienti orizzontali e verticali, preservando i bordi e la geometria degli oggetti.

3. Strategia di Selezione dei Checkpoint (EVL - Equal Validation Loss): Questo è il contributo metodologico centrale. Invece di fondere i modelli al loro ultimo checkpoint (spesso sovrallenato) o a quello di early stopping, gli autori introducono l'EVL:

   • Si identificano i checkpoint di ogni modello in cui la perdita di validazione è simile tra i diversi sensori.
   • Si seleziona la combinazione di checkpoint che minimizza la distanza dai rispettivi punti di "early stopping" (il punto di massima generalizzazione per ogni sensore).
   • Questo garantisce che i modelli vengano fusi in una fase di convergenza compatibile, riducendo l'instabilità.

4. Fusione tramite Task Arithmetic: Una volta selezionati i checkpoint ottimali, i pesi dei modelli vengono fusi utilizzando un algoritmo di "aritmetica dei task" (somma dei pesi), creando un unico modello unificato.

3. Contributi Chiave

• Primo FM per Marte: MOMO è il primo modello fondazionale sistematicamente sviluppato, analizzato e valutato per le applicazioni orbitali marziane.
• Gestione Multi-Risoluzione: Il modello gestisce efficacemente dati da sensori con risoluzioni che variano di tre ordini di grandezza (da 0,25m a 100m).
• Strategia EVL: Introduzione di una strategia di selezione dei checkpoint basata sull'allineamento della perdita di validazione, che supera i metodi tradizionali di fusione (come l'uso dell'ultimo epoch o dello stopping precoce).
• Scalabilità: Il framework permette di integrare nuovi sensori in futuro semplicemente pre-addestrando un nuovo modello per quel sensore e fondendolo con quelli esistenti, senza bisogno di ri-addestrare l'intero sistema.

4. Risultati Sperimentali

Il modello è stato valutato su 9 task downstream tratti da Mars-Bench, includendo classificazione e segmentazione.

• Prestazioni Generali: MOMO supera tutti i baseline, inclusi:
  • Modelli pre-addestrati su ImageNet.
  • Modelli fondazionali per l'osservazione terrestre (es. SatMAE, Prithvi, TerraFM).
  • Modelli pre-addestrati su singoli sensori marziani.
  • Approcci di fusione dati diretta (Data Merge).
• Segmentazione: I miglioramenti sono particolarmente significativi nei task di segmentazione (es. rilevamento di massi, crateri, frane), dove MOMO mostra un miglioramento medio del ~1% mIoU rispetto a ImageNet e del ~4% su task specifici come il rilevamento di massi (Boulder).
• Classificazione: MOMO ottiene prestazioni superiori o comparabili ai migliori baseline, con un miglioramento medio del ~1,25% nel F1-score rispetto a ImageNet.
• Confronto con Strategie di Fusione: La strategia EVL supera le fusioni basate sull'ultimo epoch (LE) e sull'early stopping (ES), confermando che allineare i checkpoint in base alla perdita di validazione porta a modelli più stabili e generalizzabili.
• Impatto Reale: MOMO ha dimostrato di superare il modello attualmente utilizzato nel sistema PDS (Planetary Data System) della NASA per la classificazione delle caratteristiche superficiali, migliorando la macro-media F1 del 4%.

5. Significato e Impatto

Il lavoro di MOMO rappresenta un punto di svolta per la scienza planetaria:

• Efficienza Scientifica: Permette agli scienziati planetari di addestrare modelli per compiti personalizzati a costi inferiori rispetto ai metodi supervisionati da zero.
• Generalizzazione: Dimostra che un unico modello può generalizzare efficacemente su diverse scale spaziali e tipi di sensori, semplificando l'analisi globale di Marte.
• Scalabilità Futura: L'approccio modulare basato sulla fusione di modelli offre una via sostenibile per incorporare dati da future missioni marziane senza i costi computazionali proibitivi del ri-addestramento completo.
• Open Source: Gli autori rilasciano pesi, codice e dati, facilitando la ricerca futura nella comunità scientifica.

In sintesi, MOMO stabilisce un nuovo standard per l'analisi dei dati marziani, dimostrando che l'uso intelligente della fusione di modelli e di strategie di selezione dei checkpoint può colmare il divario tra i dati eterogenei dei satelliti e le esigenze di modelli fondazionali robusti.