🤖 AI

Moonstone: A Multimodal Foundation Model and Benchmark for Lunar Remote Sensing

本文介绍了 Moonstone，这是首个针对月球遥感的多模态基础模型基准测试，它具有一个全面的 28 通道全球数据集，并提出了一种新型的模态分组掩码自编码器（MG-MAE），该模型在六项下游任务中显著优于现有的基准模型。

原作者： Ayush Prasad, Swarnalee Mazumder

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Ayush Prasad, Swarnalee Mazumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，月球是一座巨大的、布满尘埃的图书馆，在过去的几十年里，有五位不同的探险家曾造访于此。每位探险家都带来了不同类型的相机或传感器：有的拍摄照片，有的测量热量，有的记录雷达回波，还有的测量月球的重力。

问题在于？所有的书籍都散落在不同的房间里，用着不同的语言，而且从未有人尝试将它们整合在一起去理解月球的故事。

这篇论文介绍了 Moonstone，这是一个全新的项目，它扮演着一位超级聪明的图书管理员和一位通用的翻译官，负责处理所有这些月球数据。以下是它的工作原理，通过简单的概念进行拆解：

1. 大规模收藏（数据集）

作者们收集了来自五个不同太空任务的 28 个不同“通道”的数据。这就像是在拼凑一个由 28 块碎片组成的拼图，其中每一块都是关于月球同一位置的不同类型的信息。

混合构成： 它包括照片、热图、雷达扫描、重力读数和化学成分。
挑战： 在某些区域，这些“碎片”是缺失的。例如，雷达数据仅覆盖了约 16% 的面积，而重力数据则覆盖了 100%。这就像是在尝试解决一个拼图，其中某些地方完全缺失了碎片。

2. 智能翻译官（模型：MG-MAE）

为了理清这座混乱的图书馆，他们构建了一个名为 MG-MAE 的新型 AI 模型。该模型不再将每条数据视为独立、无关的事实，而是按“家族”对它们进行分组。

分组： 它将所有的热传感器归为一类，所有的雷да传感器归为另一类，依此类推。这有助于 AI 理解即使热传感器彼此相距甚远，它们之间也是相互关联的。
“幽灵”技巧： 由于某些地方存在数据缺失（如雷达数据），该模型使用了一个巧妙的技巧。它在缺失数据的位置放入一个“幽灵标记”（占位符），并告诉 AI：“暂时忽略这个位置，但不要崩溃。”这使得模型能够在不被间隙干扰的情况下，从现有的数据中学习。
物理法则教学： 该模型还内置了一套基于真实物理学的规则手册。例如，它知道月球岩石反射的光色变化是平滑过渡的，而不是剧烈的跳变。这有助于它以符合物理逻辑的方式填补缺失信息。

3. 试驾测试（基准测试）

为了证明这个新 AI 确实聪明，作者设计了一个包含六个不同挑战的“驾驶执照考试”：

地质学： 识别照片中是什么类型的岩石或地形（49 种不同类型）。
年龄： 猜测地表的年龄（从古老到年轻）。
化学成分： 预测土壤中铁或钛的含量。
跨模态魔法： 仅通过照片和重力数据来预测某个位置的热量（而无需看到热量数据本身）。
制图： 勾勒出暗色“海”（月海）与明亮高地的界限。
陨石坑搜寻： 寻找并描绘大型撞击坑的轮廓。

4. 结果：为什么它能胜出

当他们测试这个新 AI 时，它碾压了竞争对手：

对比随机猜测： 与从零开始的 AI 相比，它学习得更快，且结果更好。
对比地球 AI： 他们尝试将针对地球训练的 AI 模型（了解树木和海洋的模型）应用于月球。结果失败得很惨。月球没有树木或海洋，所以地球训练的 AI 就像试图用巴黎的地图在东京导航一样。专门针对月球数据训练的 Moonstone 模型表现优异得多。
对比旧方法： 它在寻找陨石坑和推测化学成分方面，以显著优势击败了以往最优秀的方法。

5. “少样本”超能力

Moonstone 最酷的一点在于，即使在没见过多少例子的情况下，它依然表现出色。在月球科学领域，我们经常面临标注样本极少的情况（比如只有极少数带有正确答案的照片）。

类比： 想象一名学生已经阅读了一整部关于月球事实的百科全书（预训练）。如果给他一份只有 5 个例题的测试卷，他依然能取得优异成绩，因为他已经理解了底层的规则。而没有这部百科全书的其他模型则会失败。

总结

论文将 Moonstone 呈现为首个月球“基础模型”。它将来自五个不同任务的碎片化、杂乱的数据进行整合，通过逻辑分组，教会 AI 理解月球的地质、年龄和化学成分。它证明了要理解月球，你不能仅仅使用地球训练的 AI；你需要一个专门为月球独特的、多感官环境而构建的模型。作者已经发布了所有数据和代码，以便其他科学家可以使用这个新的“图书馆”来进一步探索月球。

技术摘要：Moonstone —— 一个用于月球遥感的多模态基础模型与基准测试

1. 问题陈述

数十年的轨道任务（例如 NASA 的 LRO、印度对月探测器 Chandrayaan-1、GRAIL）已经产生了数以 TB 计的多模态月球遥感数据，涵盖了光学图像、光谱、热发射、雷达、重力和元素组成。然而，这些数据集分散在不兼容的存档中（如 NASA PDS、USGS、ISRO PRADAN），且具有不同的空间分辨率和格式。至关重要的是，目前尚不存在用于评估月球数据机器学习模型的标准化基准。现有的地球观测（EO）基础模型无法直接应用，因为它们的补丁嵌入（patch embeddings）是针对地球特定传感器（如 Sentinel-2、C 波段 SAR）硬编码的，并且缺乏与月球模态（如 GRAIL 重力或 M3 高光谱反射率）的对应关系。此外，月球数据带来了独特的挑战：空间覆盖极不均匀（根据仪器不同，从 16% 到 100% 不等）、缺乏大气/植被，以及监督学习任务中标签数据的极度匮乏。

2. 方法论：Moonstone 框架

2.1 数据集

作者引入了 Moonstone，这是一个包含来自 五项任务 的 七类仪器 共 28 个通道 的全球预训练数据集。

分辨率： 每度 128 像素（约 237 米/像素）。
组织结构： 通道被分为 七个具有物理意义的模态组：表面（WAC/LOLA）、热（Diviner）、光谱（M3）、重力（GRAIL）、雷达（Mini-RF）、Hapke（WAC）以及成分（Clementine/LP-GRS）。
覆盖范围： 差异显著，从表面和重力的 100% 到雷达的 16–18% 不等。
预处理： 数据被对齐到统一的等距圆柱投影网格，进行 Z-score 标准化，并以内存映射数组（memory-mapped arrays）形式存储，以支持训练期间无限次的随机 256×256 裁剪采样。

2.2 模型：MG-MAE（模态组掩码自编码器）

论文提出了 MG-MAE，这是一种专门为处理月球数据异构性而设计的掩码自编码器。其核心架构组件包括：

分组分词（Grouped Tokenization）： 该模型并非为每个通道分配一个分词器，而是为每个模态组使用单个多通道卷积分词器（共 7 个分词器）。这使得模型能够学习组内相关性（例如，跨连续 M3 反射率谱），同时减少参数量。
带有缺失模态掩码的共享编码器： 一个共享的 ViT-Base 编码器处理来自所有组的 token。为了处理覆盖范围不全的仪器（例如仅覆盖 16% 表面的雷达），模型会为缺失的组插入 占位符 token（零向量），并应用 关键维度注意力掩码（将注意力分数设为 $-\infty$ ）。这防止了不可用的模态破坏注意力机制，这是与假设所有模态都存在的标准多模态模型的关键区别。
覆盖度自适应掩码： 意识到覆盖范围存在数量级的差异，模型根据全局覆盖率调整每个组的掩码比例（ $m_g = 0.75 + \alpha(c_g - \bar{c})$ ）。这保留了更多稀有模态（如雷达）的 token，同时对完全覆盖的组进行更多掩码。
跨模态解码器： 一个共享的轻量级解码器使用交叉注意力来重建被掩码的补丁。它利用来自所有可用组的信息来推断特定组中缺失的数据（例如，从表面观测推断热模式）。
损失函数： 目标结合了：
1. 比例加权 MSE： 权重 ( $w_g$ ) 根据每个组当前的重建损失进行动态调整，自动增加较难组（如雷达）的权重，并降低较易组（如重力）的权重。
2. InfoNCE 对比损失： 在不同模态组之间对齐平均池化特征，以鼓励模态不变的表示。
3. 光谱连续性正则化 ( $\mathcal{L}_{SCR}$ )： 对 8 个重建 M3 光谱通道的二阶有限差分施加 L2 惩罚。这强制执行了物理上合理的、平滑的光谱重建，这种约束是地球 EO 模型中所没有的行星光谱学特有约束。

2.3 训练协议

模型使用 AdamW 在 256 个补丁/批次的条件下训练 100 个 epoch。采用 互补掩码 策略：其中 50% 的概率下，1–2 个锚点组保留 100% 的 token，而其他组则以 90% 的比例被掩码，从而迫使模型高度依赖跨模态推理。

3. 基准测试与评估

作者定义了一个包含 六个下游任务 的基准测试套件，并设有固定的训练/验证/测试集划分：

地质分类： USGS 地质单元的 49 类分类。
年龄分类： 表面年龄时期的 5 类分类。
成分回归： 预测 FeO 和 TiO2 的质量分数。
跨模态回归： 从非热输入预测热值。
月海分割： 月海玄武岩与高地的二元分割。
陨石坑分割： 描绘撞击坑（>10 km）。

评估指标包括 Accuracy/F1、 $R^2$ 和 mIoU。

4. 关键结果

卓越性能： MG-MAE 预训练特征在 所有六个任务 上均优于“从零开始”（scratch）的基线、ImageNet 预训练模型以及 vanilla MAE 基线。
- 地质学： MG-MAE 实现 56.3% 的准确率（微调后），相比 scratch 提升了 16.2%，并大幅领先于 ImageNet（33.2%）。
- 陨石坑分割： MG-MAE 实现 0.768 mIoU，比 scratch 提高了 14.7 个百分点。
- 成分： 对 MG-MAE 特征进行线性探测得到的 $R^2$ 为 0.924，超过了 scratch (0.802) 和微调模型 (0.908)，表明编码器有效地捕捉到了地球化学趋势。
少样本学习： 在低数据机制下（5-shot 和 10-shot），MG-MAE 显著优于 scratch 基线（例如，在 5-shot 地质任务上提升了 9.3% 的准确率），证明了其在资源勘探（此类任务中真实值极度匮乏）中的应用价值。
泛化能力： 在地理划分下（在赤道地区训练，在高纬度地区测试），MG-MAE 保持了稳定的相对增益（比 scratch 高出 14.4%），证实了其表示能够跨越不同的月球区域进行泛化。
领域特定性： 从地球观测基础模型（SatMAE, Prithvi-EO-2.0, TerraMind）进行迁移学习仅带来了微小的收益（最高 +1.9%），证实了地球特定特征（植被、大气）无法有效迁移至月球。
消融实验洞察：
- 缺失模态掩码 是最关键的组件；移除该组件会导致地质准确率下降 4.6%。
- 分组分词 比逐通道分词器表现更好，因为它能捕捉组内的相关性。
- 光谱连续性正则化 使成分回归的 $R^2$ 提升了 1.3 个点。

5. 意义与主张

论文声称 Moonstone 是 首个用于月球遥感的多模态基础模型基准。其重要性在于：

解决数据碎片化问题： 它将零散的月球数据集统一为单一的、标准化的内存映射格式。
实现 AI 辅助月球科学： 通过提供基准测试，它允许对模型进行公平比较，这是此前月球数据领域所缺失的能力。
验证领域特定预训练的有效性： 结果表明，虽然地球基础模型无法有效迁移，但通过特定的架构适配（处理缺失模态、光谱连续性）在月球数据上进行预训练，可以获得实质性的性能提升。
可扩展性： 该架构旨在容纳来自未来任务（如 Chandrayaan-3, Lunar Trailblazer）的新模态组，而无需更改架构。

作者总结道，多模态预训练对于月球科学至关重要，特别是对于需要综合解释形态学、矿物学和重力的任务，并且他们发布的数据集、代码及其基准测试套件为未来的行星基础模型研究提供了通用协议。