Resumen Técnico: Moonstone – Un Modelo de Base Multimodal y un Benchmark para la Teledetección Lunar

1. Planteamiento del Problema

Décadas de misiones orbitales (por ejemplo, LRO de la NASA, Chandrayaan-1 de la India, GRAIL) han generado terabytes de datos de teledetección multimodales para la Luna, que abarcan imágenes ópticas, espectroscopia, emisión térmica, radar, gravedad y composición elemental. Sin embargo, estos conjuntos de datos permanecen fragmentados en archivos incompatibles (NASA PDS, USGS, ISRO PRADAN) con resoluciones espaciales y formatos variables. Crucialmente, no existe un benchmark estandarizado para evaluar modelos de aprendizaje automático en datos lunares. Los modelos de base de Observación de la Tierra (EO) existentes no pueden aplicarse directamente porque sus incrustaciones de parches (patch embeddings) están codificadas para sensores específicos de la Tierra (por ejemplo, Sentinel-2, C-band SAR) y carecen de correspondencia con las modalidades lunares como la reflectancia hiperespectral M3 o la gravedad de GRAIL. Además, los datos lunares presentan desafíos únicos: una cobertura espacial altamente no uniforme (que varía del 16% al 100% según el instrumento), la ausencia de atmósfera/vegetación y una escasez extrema de datos etiquetados para tareas supervisadas.

2. Metodología: El Marco de Trabajo Moonstone

2.1 El Conjunto de Datos

Los autores presentan Moonstone, un conjunto de datos de preentrenamiento global que comprende 28 canales de siete familias de instrumentos a través de cinco misiones.

• Resolución: 128 píxeles por grado (aproximadamente 237 m/píxel).
• Organización: Los canales se agrupan en siete grupos de modalidades físicamente significativos: Superficie (WAC/LOLA), Térmica (Diviner), Espectral (M3), Gravedad (GRAIL), Radar (Mini-RF), Hapke (WAC) y Composición (Clementine/LP-GRS).
• Cobertura: Varía significativamente, desde el 100% para Superficie y Gravedad hasta tan solo el 16–18% para Radar.
• Preprocesamiento: Los datos se alinean a una rejilla equirectangular común, se normalizan mediante z-score y se almacenan como arreglos mapeados en memoria para permitir un muestreo aleatorio ilimitado de recortes de 256×256 durante el entrenamiento.

2.2 El Modelo: MG-MAE (Autoencoder Enmascarado por Grupos de Modalidad)

El artículo propone MG-MAE, un autoencoder enmascarado diseñado específicamente para manejar la heterogeneidad de los datos lunares. Los componentes arquitectónicos clave incluyen:

• Tokenización Agrupada: En lugar de asignar un tokenizador a cada uno de los 28 canales, el modelo utiliza un único tokenizador convolucional multicanal por grupo de modalidad (7 tokenizadores en total). Esto permite que el modelo aprenda correlaciones intra-grupo (por ejemplo, a través del espectro continuo de reflectancia M3) al tiempo que reduce el número de parámetros.
• Codificador Compartido con Enmascaramiento de Modalidad Ausente: Un codificador ViT-Base compartido procesa los tokens de todos los grupos. Para manejar instrumentos con cobertura parcial (por ejemplo, el Radar que cubre solo el 16% de la superficie), el modelo inserta tokens de marcador de posición (vectores cero) para los grupos ausentes y aplica un enmascaramiento de atención de dimensión clave (estableciendo los puntajes de atención en $-\infty$). Esto evita que las modalidades no disponibles corrompan el mecanismo de atención, una distinción crítica frente a los modelos multimodales estándar que asumen que todas las modalidades están presentes.
• Enmascaramiento Adaptativo de Cobertura: Reconociendo que la cobertura varía por un orden de magnitud, la relación de enmascaramiento se ajusta por grupo basada en la cobertura global ($m_g = 0.75 + \alpha(c_g - \bar{c})$). Esto preserva más tokens de las modalidades raras (por ejemplo, Radar) mientras enmascara más de los grupos con cobertura completa.
• Decodificador Cross-Modal: Un decodificador ligero compartido utiliza atención cruzada para reconstruir los parches enmascarados. Aprovecha la información de todos los grupos disponibles para inferir los datos faltantes en un grupo específico (por ejemplo, inferir patrones térmicos a partir de observaciones de superficie).
• Función de Pérdida: El objetivo combina:
  1. MSE Proporcionalmente Ponderado: Los pesos ($w_g$) se ajustan dinámicamente basados en la pérdida de reconstrucción actual de cada grupo, aumentando automáticamente el peso de los grupos más difíciles (como el Radar) y disminuyendo el de los más fáciles (como la Gravedad).
  2. Pérdida Contrastiva InfoNCE: Alinea las características de media agrupada a través de diferentes grupos de modalidad para fomentar representaciones invariantes de la modalidad.
  3. Regularización de Continuidad Espectral ($\mathcal{L}_{SCR}$): Una penalización L2 sobre las diferencias finitas de segundo orden a través de los 8 canales espectrales M3 reconstruidos. Esto impone reconstrucciones espectrales suaves y físicamente plausibles, una restricción específica de la espectroscopia planetaria que no se encuentra en los modelos de EO de la Tierra.

2.3 Protocolo de Entrenamiento

El modelo se entrena durante 100 épocas con 256 parches por lote utilizando AdamW. Se emplea una estrategia de enmascaramiento complementario donde, con una probabilidad del 50%, 1–2 grupos de anclaje retienen el 100% de sus tokens mientras otros son enmascarados al 90%, forzando al modelo a depender fuertemente de la inferencia cross-modal.

3. Benchmark y Evaluación

Los autores definen un conjunto de benchmark de seis tareas de seguimiento con divisiones fijas de entrenamiento/validación/prueba:

1. Clasificación Geológica: Clasificación de 49 clases de unidades geológicas de la USGS.
2. Clasificación de Edad: Clasificación de 5 clases de periodos de edad de la superficie.
3. Regresión de Composición: Predicción de las fracciones de peso de FeO y TiO2.
4. Regresión Cross-Modal: Predicción de valores térmicos a partir de entradas no térmicas.
5. Segmentación de Mares: Segmentación binaria de basaltos de mares frente a tierras altas.
6. Segmentación de Cráteres: Delimitación de cráteres de impacto (> 10 km).

Las métricas de evaluación incluyen Exactitud/F1, $R^2$ y mIoU.

4. Resultados Clave

• Desempeño Superior: Las características preentrenadas de MG-MAE superan a las líneas base de "desde cero" (scratch), a los modelos preentrenados con ImageNet y a los modelos basales de MAE vanilla en todas las seis tareas.
  • Geología: MG-MAE logra una exactitud del 56.3% (ajuste fino), una ganancia de +16.2% sobre el modelo desde cero y una ventaja masiva sobre ImageNet (33.2%).
  • Segmentación de Cráteres: MG-MAE logra un 0.768 mIoU, una ganancia de +14.7 puntos sobre el modelo desde cero.
  • Composición: El sondeo lineal (linear probing) de las características de MG-MAE produce un $R^2$ de 0.924, superando tanto al modelo desde cero (0.802) como al modelo de ajuste fino (0.908), lo que indica que el codificador captura eficazmente las tendencias geoquímicas.
• Aprendizaje de Pocos Ejemplos (Few-Shot Learning): En regímenes de bajos datos (5-shot y 10-shot), MG-MAE supera significativamente a las líneas base desde cero (por ejemplo, +9.3% de exactitud en geología de 5-shot), demostando su utilidad para la prospección de recursos donde la verdad de campo es escasa.
• Generalización: Bajo divisiones geográficas (entrenamiento en regiones ecuatoriales, prueba en latitudes altas), MG-MÁE mantiene ganancias relativas consistentes (+14.4% sobre el modelo desde cero), confirmando que las representaciones se generalizan a través de diferentes regiones lunares.
• Especificidad de Dominio: La transferencia de aprendizaje desde modelos de base de Observación de la Tierra (SatMAE, Prithvi-EO-2.0, TerraMind) proporciona solo ganancias marginales (+1.9% como máximo) sobre el modelo desde cero, confirmando que las características específicas de la Tierra (vegetación, atmósfera) no se transfieren a la Luna.
• Perspectivas de Ablación:
  • El enmascaramiento de modalidad ausente es el componente más crítico; eliminarlo reduce la exactitud de geología en un 4.6%.
  • La tokenización agrupada mejora el desempeño sobre los tokenizadores por canal al capturar correlaciones intra-grupo.
  • La regularización de continuidad espectral mejora la regresión de composición en 1.3 puntos de $R^2$.

5. Significado y Reivindicaciones

El artículo afirma que Moonstone es el primer benchmark de modelo de base multimodal para la teledetección lunar. Su importancia radica en:

1. Abordar la Fragmentación de Datos: Unifica conjuntos de datos lunares dispares en un único formato estandarizado mapeado en memoria.
2. Habilitar la Ciencia Lunar Asistida por IA: Al proporcionar un benchmark, permite la comparación justa de modelos, una capacidad que faltaba anteriormente para los datos lunares.
3. Validar el Preentrenamiento Específico del Dominio: Los resultados demuestran que, mientras que los modelos de base de la Tierra fallan en la transferencia, el preentrenamiento en datos lunares con adaptaciones arquitectónicas específicas (manejo de modalidades ausentes, continuidad espectral) produce ganancias de desempeño sustanciales.
4. Escalabilidad: La arquitectura está diseñada para acomodar futuros datos de misiones venideras (por ejemplo, Chandrayaan-3, Lunar Trailblazer) como nuevos grupos de modalidad sin requerir cambios arquitectónicos.

Los autores concluyen que el preentrenamiento multimodal es esencial para la ciencia lunar, particularmente para tareas que requieren la interpretación conjunta de morfología, mineralogía y gravedad, y que su conjunto de datos, código y suite de benchmark liberados proporcionan un protocolo común para la investigación futura en modelos de base planetarios.