MarsRetrieval: Benchmarking Vision-Language Models for Planetary-Scale Geospatial Retrieval on Mars

1. Il Problema

L'esplorazione planetaria, in particolare su Marte, sta generando volumi senza precedenti di dati ad alta risoluzione (immagini orbitali e da rover). Sebbene l'apprendimento profondo abbia accelerato compiti specifici come la classificazione del terreno e la mappatura, la maggior parte dei benchmark esistenti (es. Mars-Bench) si concentra su task supervisionati a insieme chiuso (closed-set), come la classificazione di immagini o la segmentazione.

Esiste un vuoto critico nella capacità di supportare la ricerca guidata dal linguaggio (language-guided discovery). Nella pratica scientifica reale, i ricercatori partono da concetti testuali esperti per allineare e scoprire nuovi pattern geologici nelle immagini marziane. Attualmente, mancano protocolli standardizzati per valutare l'efficacia dei Modelli Vision-Language (VLM) nel comprendere e recuperare informazioni geospaziali marziane basate su descrizioni testuali complesse e specifiche.

2. Metodologia: MarsRetrieval

Gli autori introducono MarsRetrieval, un benchmark completo e centrato sul recupero (retrieval) progettato per valutare l'utilità dei VLM nella scoperta geospaziale su Marte. Il benchmark organizza la valutazione in tre compiti complementari, che coprono diverse scale spaziali e origini geomorfologiche:

A. Compito 1: Recupero Accoppiato Immagine-Testo (Paired Image–Text Retrieval)

• Obiettivo: Valutare l'allineamento fondamentale visione-linguaggio.
• Dataset: 2.287 coppie immagine-testo curate, che spaziano da mosaici orbitali globali a immagini microscopiche da rover.
• Processo: Le coppie sono state filtrate e raffinate utilizzando modelli LLM/MLLM per garantire la pertinenza scientifica e la precisione delle didascalie (rimozione di rumore, coordinate, ID).
• Metriche: Recall@1, Recall@10, Mean Reciprocal Rank (MRR), Median Rank (MedR).

B. Compito 2: Recupero delle Forme Geomorfologiche (Landform Retrieval)

• Obiettivo: Valutare la generalizzazione da concetto a istanza (concept-to-instance).
• Dataset: 1.185 patch di immagini organizzate in 48 categorie geomorfologiche (distribuzione a coda lunga) raggruppate in 7 classi genetiche principali (es. eoliche, vulcaniche, fluviali).
• Sfida: Gestire la diversità morfologica e spaziale (es. diverse fasi di erosione, latitudini, illuminazione) per lo stesso concetto.
• Metriche: mAP (macro), nDCG@10, Hits@10.

C. Compito 3: Geo-localizzazione Globale (Global Geo-Localization)

• Obiettivo: Simulare la scoperta su scala planetaria localizzando concetti scientifici all'interno di un mosaico globale.
• Dataset: Un indice di ricerca su 1,4 milioni di tasselli (tiles) del mosaico globale CTX di Marte (6m/pixel).
• Sfida: Estrema sparsità dei positivi (pochi tasselli rilevanti) immersi in un enorme rumore di fondo.
• Metriche: AUPRC (Area Under Precision-Recall Curve) e F1-score ottimale ($F1@K^*$), con una tolleranza spaziale di 0,5°.

Protocollo di Valutazione Unificato:
Il benchmark utilizza un protocollo di recupero basato su embedding. Vengono testati diversi architetture:

1. VLM Dual-Encoder: (es. CLIP, SigLIP, PE-Core).
2. Modelli di Embedding basati su MLLM: (es. Qwen3-VL-Embedding, E5-V, GME).
3. Modelli Vision-Only: (es. DINOv3).
4. Modello Specializzato: MarScope, un modello fine-tuned specificamente per Marte.

3. Risultati Chiave

L'analisi sperimentale rivela diverse conclusioni fondamentali:

• Sfida Estrema per i Modelli Generali: Anche i modelli foundation più potenti (come PE-Core o Qwen3-VL) faticano a distinguere le sottili differenze geomorfologiche specifiche di Marte. Senza adattamento, le prestazioni sono spesso modeste o inadeguate per scopi scientifici.
• Importanza del Fine-Tuning Specifico: Il modello MarScope (fine-tuned su dati marziani) supera drasticamente tutti i modelli generici.
  • Nel Landform Retrieval, MarScope raggiunge un mAP del 71,89%, contro il 20,93% del miglior modello generico (PE-Core).
  • Nella Geo-localizzazione Globale, MarScope mostra un allineamento robusto tra terminologia scientifica e immagini, superando di gran lunga i modelli base.
• Qualità dei Dati (Caption Refinement): L'uso di didascalie raffinate (refined captions) migliora significativamente le prestazioni di tutti i modelli, specialmente per i MLLM, dimostrando che il rumore nei dati web-scale ostacola l'allineamento visione-linguaggio.
• Query Testuali vs. Immagini: Nel compito di geo-localizzazione globale, le query testuali tendono a generalizzare meglio e a produrre distribuzioni spaziali più coerenti con i cataloghi scientifici rispetto alle query basate su immagini. Questo è dovuto all'alta diversità visiva intracategoriale delle forme marziane, che rende difficile selezionare pochi esempi visivi rappresentativi.
• Scalabilità: L'aumento delle dimensioni del modello (es. famiglia SigLIP2) porta a miglioramenti costanti, ma non risolve il problema della mancanza di conoscenza di dominio.

4. Contributi Principali

1. Primo Benchmark di Recupero per Marte: Introduzione di MarsRetrieval, il primo framework standardizzato per valutare i VLM in compiti di scoperta geospaziale planetaria basata sul linguaggio.
2. Dataset Curati e Diversi: Creazione di dataset su larga scala che coprono scale multiple (da globale a microscopica) e 48 categorie geomorfologiche, con annotazioni validate da esperti planetari.
3. Protocollo di Valutazione Unificato: Definizione di un protocollo di valutazione centrato sul recupero che permette il confronto equo tra architetture diverse (dual-encoder, MLLM, vision-only) in scenari zero-shot e fine-tuned.
4. Analisi Empirica Approfondita: Dimostrazione che l'addestramento generico non è sufficiente per la scienza planetaria e che il fine-tuning specifico del dominio è cruciale per la scoperta affidabile.

5. Significato e Impatto

MarsRetrieval colma il divario tra le capacità attuali dell'IA multimodale e le esigenze reali della ricerca planetaria. Il benchmark dimostra che, sebbene i VLM siano potenti, richiedono un adattamento specifico al dominio per essere strumenti utili nella scienza marziana.

• Per la Scienza Planetaria: Fornisce uno strumento per accelerare la catalogazione globale delle forme del terreno e la verifica di ipotesi scientifiche tramite query linguistiche.
• Per l'IA: Stabilisce un nuovo standard per la valutazione dei modelli foundation in contesti scientifici specializzati, suggerendo che la "generalizzazione" senza conoscenza di dominio è insufficiente per compiti ad alta precisione.
• Futuro: Il framework è adattabile ad altre esplorazioni planetarie autonome, facilitando lo sviluppo di modelli foundation per la scoperta nello spazio profondo.

Il codice e i dati sono disponibili pubblicamente su GitHub per favorire la ricerca riproducibile.