💬 NLP

MarsRetrieval: Benchmarking Vision-Language Models for Planetary-Scale Geospatial Retrieval on Mars

Este trabajo presenta MarsRetrieval, un nuevo benchmark diseñado para evaluar y mejorar la capacidad de los modelos de visión y lenguaje para realizar tareas de recuperación geoespacial en Marte, demostrando que el ajuste fino específico del dominio es esencial para superar las limitaciones de los modelos fundacionales actuales en este entorno.

Autores originales: Shuoyuan Wang, Yiran Wang, Hongxin Wei

Publicado 2026-02-17

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Shuoyuan Wang, Yiran Wang, Hongxin Wei

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que la exploración de Marte es como intentar encontrar una aguja en un pajar, pero ese pajar es un planeta entero lleno de rocas, dunas y cráteres, y la "aguja" es un tipo específico de formación geológica que los científicos necesitan estudiar.

Aquí tienes una explicación sencilla de la investigación "MarsRetrieval", usando analogías de la vida cotidiana:

🚀 El Problema: El "Google" de Marte no sabe lo que busca

Hasta ahora, los ordenadores que analizan fotos de Marte eran como estudiantes muy obedecidos pero con poca imaginación. Si les decías: "Busca fotos de dunas de arena", podían hacerlo. Pero si un científico le decía: "Busca esas formaciones raras que parecen conos con agujeros, típicas de la zona norte", el ordenador se quedaba bloqueado.

Los sistemas actuales solo funcionan bien si les das una lista cerrada de cosas que ya conocen (como un examen de opción múltiple). Pero en la ciencia real, los investigadores necesitan hacer preguntas con sus propias palabras y encontrar cosas que quizás ni siquiera habían pensado antes. Necesitaban un "Google" que entendiera el lenguaje humano y pudiera buscar en millones de fotos espaciales.

🛠️ La Solución: MarsRetrieval (El nuevo "Entrenador" para la IA)

Los autores de este paper crearon MarsRetrieval, que no es un nuevo robot, sino un gimnasio de entrenamiento (un "benchmark") diseñado específicamente para probar si las Inteligencias Artificiales (IA) modernas pueden entender Marte.

Imagina que MarsRetrieval es una prueba de conducir para coches autónomos, pero en lugar de calles, la IA debe navegar por el paisaje marciano. La prueba tiene tres niveles de dificultad:

1. Nivel 1: El "Juego de Parejas" (Recuperación Imagen-Texto)

La analogía: Imagina que tienes un montón de fotos de Marte y un montón de tarjetas con descripciones escritas por científicos. Tu trabajo es emparejar la foto correcta con la tarjeta correcta.
El reto: Las fotos van desde vistas globales (como ver la Tierra desde el espacio) hasta fotos microscópicas de una sola roca. La IA debe entender que "una foto de un cráter en Marte" y "un cráter marciano visto desde el orbitador" son lo mismo.
Resultado: Las IAs generales (como las que usamos en el móvil) se equivocan mucho. A menudo confunden una foto de la Tierra con una de Marte si la descripción no es perfecta.

2. Nivel 2: El "Detective de Formas" (Recuperación de Formas Geológicas)

La analogía: Imagina que eres un detective y tienes una descripción: "Busca un deslizamiento de tierra". Pero en Marte, un deslizamiento de tierra puede verse de mil maneras diferentes: puede ser grande, pequeño, en una pendiente suave o en una muy empinada.
El reto: La IA debe encontrar todas las fotos de deslizamientos de tierra, aunque parezcan muy distintas entre sí. Es como buscar "perros" en un álbum de fotos: un chihuahua y un gran danés son muy diferentes, pero ambos son perros.
Resultado: Aquí es donde las IAs generales fallan estrepitosamente. No reconocen que dos formas de roca diferentes pertenecen a la misma categoría científica. Solo una IA que ha sido entrenada específicamente (como un especialista en geología marciana) logra hacerlo bien.

3. Nivel 3: El "GPS Planetario" (Geo-localización Global)

La analogía: Imagina que tienes un mapa gigante de todo el mundo (en este caso, todo Marte) con 1.4 millones de piezas. Alguien te dice: "¿Dónde están los valles con forma de 'Y' (Yardangs)?".
El reto: La IA debe señalar en el mapa gigante dónde están esos valles, sin equivocarse con otras rocas que se ven parecidas. Es como buscar una mancha de aceite específica en un océano entero.
Resultado: Las IAs que no han estudiado Marte a fondo se pierden. Las que sí han sido entrenadas (como el modelo llamado MarScope) logran dibujar un mapa casi perfecto de dónde están esas formaciones.

💡 Las Conclusiones Clave (Lo que aprendimos)

La IA "general" no sirve para Marte: Las inteligencias artificiales que hemos entrenado con fotos de internet (gatos, coches, paisajes de la Tierra) no entienden la geología de Marte. Son como un chef experto en cocina italiana que intenta cocinar comida china sin recetas; se las arregla, pero no sabe lo que hace.
Se necesita "entrenamiento específico": Para que la IA funcione en Marte, hay que darle un "curso intensivo" con datos reales de Marte. Una vez que se entrena específicamente (como el modelo MarScope), sus resultados son espectaculares.
Las palabras son poderosas: Sorprendentemente, pedirle a la IA que busque usando texto (ej. "Busca conos con agujeros") funcionó mejor que mostrarle una foto de ejemplo. ¿Por qué? Porque las rocas de Marte son tan variadas que una sola foto no las representa todas, pero una buena descripción científica sí puede capturar la esencia de todas ellas.

🌟 En resumen

MarsRetrieval es como crear un examen de admisión para las inteligencias artificiales que quieren trabajar en la NASA. Nos dice: "Oye, las IAs actuales son inteligentes, pero para explorar Marte de verdad, necesitan estudiar más y aprender el idioma de los geólogos".

Gracias a este trabajo, los científicos ahora tienen una herramienta para medir qué tan bien entienden las máquinas nuestro vecino planetario, y saben exactamente qué les falta para ayudarnos a descubrir los secretos de Marte en el futuro.

Resumen Técnico: MarsRetrieval

1. Planteamiento del Problema

El avance de la ciencia planetaria, especialmente en la exploración de Marte, ha sido impulsado por el aprendizaje profundo para tareas como la clasificación de terrenos y la navegación autónoma. Sin embargo, existe una brecha crítica en la evaluación de los Modelos de Visión y Lenguaje (VLM) en este dominio:

Limitación de los benchmarks actuales: Herramientas existentes como Mars-Bench se centran en tareas supervisadas de "conjunto cerrado" (closed-set), como clasificación o segmentación de objetos específicos.
Falta de recuperación guiada por texto: La investigación planetaria real a menudo comienza con conceptos textuales de expertos (ej. "conos con hoyos" o "abanicos aluviales") para buscar y descubrir patrones geológicos en grandes volúmenes de imágenes. Los VLMs actuales carecen de protocolos estandarizados para evaluar su capacidad de realizar esta búsqueda cruzada (texto-imagen) y la localización geoespacial a escala planetaria.
Desafío de la generalización: Los modelos generales de visión y lenguaje a menudo fallan en distinguir matices geomorfológicos específicos de Marte debido a la falta de conocimiento de dominio y a la diversidad visual intrínseca de las formaciones marcianas.

2. Metodología y Propuesta: MarsRetrieval

Los autores introducen MarsRetrieval, el primer benchmark integral centrado en la recuperación para evaluar la utilidad de los VLMs en el descubrimiento geoespacial marciano. El benchmark se estructura en tres tareas complementarias que cubren diferentes escalas espaciales y orígenes geomorfológicos:

Tarea 1: Recuperación de Pares Imagen-Texto (Paired Image–Text Retrieval)
- Objetivo: Evaluar la alineación fundamental entre descripciones científicas especializadas e imágenes marcianas.
- Datos: 2,287 pares curados que abarcan desde mosaicos orbitales globales hasta imágenes microscópicas de rovers.
- Proceso: Incluye un pipeline riguroso de filtrado (usando CLIPScore y LLMs para relevancia) y refinamiento de subtítulos por expertos para eliminar ruido y asegurar la precisión científica.
- Métricas: Recall@1, Recall@10, MRR (Mean Reciprocal Rank) y MedR (Median Rank).
Tarea 2: Recuperación de Formas Terrenales (Landform Retrieval)
- Objetivo: Evaluar la generalización de "concepto a instancia" para 48 categorías geomorfológicas (long-tail) agrupadas en 7 orígenes geológicos principales (ej. eólico, volcánico, fluvial).
- Desafío: Las formaciones tienen una diversidad morfológica y espacial extrema (diferentes etapas de erosión, latitudes, iluminación).
- Métricas: mAP (macro), nDCG@10 y Hits@10 en un escenario de recuperación multi-positiva.
Tarea 3: Geolocalización Global (Global Geo-Localization)
- Objetivo: Localizar conceptos científicos dentro de un mosaico global de Marte compuesto por más de 1.4 millones de baldosas (tiles) CTX, bajo un ruido de fondo masivo.
- Enfoque: Simula la aplicación en el mundo real donde los positivos son extremadamente escasos. Se evalúa la capacidad de generar mapas de distribución global coherentes.
- Métricas: AUPRC (Área bajo la curva de Precisión-Recall) y F1@K* (puntuación F1 óptima), utilizando un radio de tolerancia espacial ( $r=0.5^\circ$ ) para el emparejamiento de puntos.

Protocolo de Evaluación Unificado:
Se evalúan arquitecturas diversas bajo un protocolo de recuperación centrado en la similitud cosenosa en un espacio de embeddings compartido:

Modelos de doble torre (Contrastivos): CLIP, SigLIP, PE-Core.
Modelos MLLM (Multimodales): Qwen3-VL, E5-V, GME, etc.
Modelos de Visión Única: DINOv3, AIMV2.
Modelo Especializado: MarScope (un modelo fine-tuned desde CLIP para ciencia planetaria).

3. Resultados Clave

Los experimentos revelan que MarsRetrieval es un desafío significativo incluso para los modelos base más potentes:

Rendimiento de Modelos Generales: Los modelos fundacionales (VLMs generales) a menudo fallan en distinguir formaciones geomorfológicas específicas de Marte. En la Tarea 2, el modelo general más fuerte (PE-Core) alcanzó un mAP de ~21%, mientras que el modelo especializado (MarScope) alcanzó un 71.89%.
Importancia del Fine-Tuning de Dominio: El ajuste fino específico del dominio (domain-specific fine-tuning) es crítico. MarScope superó consistentemente a todos los modelos pre-entrenados generales en las tres tareas, demostrando que el conocimiento planetario explícito es necesario para la alineación precisa entre terminología científica y características visuales sutiles.
Calidad de los Datos: El refinamiento de los subtítulos (captions) mejoró significativamente el rendimiento de todos los modelos. Los datos crudos de internet contenían demasiado ruido (IDs, coordenadas, narrativa) que degradaba la alineación visión-lenguaje.
Consulta de Texto vs. Imagen: En la Tarea 3 (Geolocalización Global), las consultas basadas en texto mostraron una mayor capacidad de generalización y produjeron distribuciones globales más consistentes con los catálogos científicos que las consultas basadas en imágenes. Esto se debe a la alta variabilidad visual intrínseca de las formaciones marcianas, que hace difícil encontrar un pequeño conjunto de ejemplos visuales representativos.
Escalabilidad: Se observó que aumentar el tamaño del modelo (número de parámetros) mejora el rendimiento, pero no compensa la falta de especialización en el dominio.

4. Contribuciones Principales

MarsRetrieval Benchmark: Un nuevo estándar de evaluación que cierra la brecha entre las capacidades de los VLMs modernos y las necesidades de la investigación planetaria basada en lenguaje.
Protocolo de Evaluación Unificado: Un marco que permite comparar equitativamente arquitecturas diversas (doble torre, MLLM, visión única) en tareas de recuperación geoespacial.
Conjunto de Datos Curado: Creación de datasets de alta calidad con validación de expertos, incluyendo 2,287 pares imagen-texto refinados y 1.4 millones de baldosas globales para localización.
Hallazgos Científicos: Demostración empírica de que, sin un ajuste fino específico del dominio, los modelos multimodales generales no son suficientes para el descubrimiento geoespacial experto en Marte.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de la exploración espacial autónoma:

Puente entre IA y Ciencia: Facilita que los científicos utilicen consultas en lenguaje natural para explorar grandes volúmenes de datos de misiones espaciales, acelerando la hipótesis y la verificación.
Reproducibilidad: Proporciona una base para comparaciones justas y reproducibles en la comunidad de aprendizaje automático planetario.
Escalabilidad: El paradigma de evaluación propuesto puede adaptarse fácilmente a otros cuerpos celestes y misiones de exploración profunda, impulsando el desarrollo de modelos fundacionales para la ciencia espacial.

En conclusión, MarsRetrieval establece que la próxima generación de modelos para la exploración de Marte no debe ser solo "más grande", sino específicamente adaptada al dominio planetario, con una fuerte alineación entre el lenguaje científico y las características visuales del entorno marciano.