将地球想象成一个巨大而复杂的拼图。多年来，科学家们试图理解这个拼图，一直使用不同类型的“镜头”来观察它。有些镜头以宽广、色彩丰富的笔触呈现世界（如标准卫星照片），而另一些则以黑白雷达图或热图呈现。
很长一段时间里，有一种非常特殊、高威力的镜头被称为高光谱成像（HSI）。这种镜头不仅能看见颜色，还能看见数百种微小、特定的光色，从而精确识别地面上的物质（例如区分两种小麦或发现特定矿物）。然而，这种特殊镜头大多被孤立使用。科学家们拥有针对“广角”镜头的强大模型，也有针对“特殊”镜头的独立模型，但他们很少让这些模型协同工作。
SpectralEarth-FM 是专为解决这一问题而设计的新系统。其工作原理可分解为以下简单概念：
1. 庞大的图书馆（SpectralEarth-MM）
在学生开始学习之前，需要一座图书库。作者构建了一个名为 SpectralEarth-MM 的庞大数字图书馆。
- 馆藏：包含超过 40 TB 的数据——足以填满数千块硬盘。
- 组合：它不仅包含“特殊”的高光谱照片，还将这些照片与标准照片、雷达图像和热图配对，所有数据均取自地球同一地点、同一时间。
- 规模：覆盖全球约 200 万个不同地点，生成 2500 万组匹配图像集。这就像一本全球相册，每一页都包含同一后院的高清彩色照片、雷达扫描图和热图，且所有图像完美对齐。
2. 智能翻译器（架构）
问题在于，这些不同的“镜头”说着不同的语言。高光谱相机用数百个微小的频率词汇说话，而雷达相机则用几个响亮、宽泛的词汇说话。如果试图将它们直接输入标准模型，模型会感到困惑。
SpectralEarth-FM 充当一位拥有独特大脑结构的杰出翻译：
- 专业助手：它为每种类型的相机配备了不同的“助手”（分支）。高光谱相机的助手经过训练，能够理解复杂、细致的光谱模式；雷达相机的助手经过训练，能够理解纹理和形状。
- 融合桌：一旦每个助手理解了自己手中的拼图部分，它们便将笔记带到中央桌前。在这里，“融合模块”将它们的见解整合为单一、统一的理解。
- 共享大脑：最后，这种综合理解被传递给一个共享的“大脑”（分层编码器），该大脑学习宏观图景，使系统能够利用这些传感器的任意组合来回答关于地球的问题。
3. 学习方法（JEPA 预训练）
如何在没有老师提供答案的情况下训练模型？作者使用了一种名为 JEPA（联合嵌入预测架构）的游戏。
想象你正在观察一片风景。
- 老师：“老师”利用所有可用的传感器（完整画面）观察整个风景，并形成关于此处内容的深层抽象概念。
- 学生：“学生”仅使用 一个 传感器（例如，仅雷达或仅高光谱视图）获得风景的一小块模糊裁剪图。
- 挑战：学生必须基于这一小块、单一传感器的视图，猜测“老师”的深层概念。
- 结果：通过数百万次玩这个游戏，模型学会了理解地球的本质。它学会了特定的雷达纹理结合特定的热特征通常意味着“森林”，即使它尚未看到完整的彩色照片。它学会了预测场景的“含义”，而不仅仅是复制像素。
4. 结果
作者在两类挑战上测试了这一新系统：
- 高光谱任务：它能否利用高细节镜头识别特定矿物或作物类型？可以。 其表现优于所有仅在高光谱数据上训练过的先前模型。
- 通用地球任务：它能否利用传感器混合处理洪水监测或土地覆盖分类等标准任务？可以。 其表现与使用标准卫星数据的最佳现有模型相当，甚至更优。
核心结论
SpectralEarth-FM 是一种新型“地球大脑”，它终于学会同时运用所有感官来解读地球。通过将高光谱相机的超精细视觉与雷达及标准相机的稳健、全天候视觉相结合，它以前所未有的方式创造了更完整、更准确的地球认知。作者还承诺将这座庞大的图书馆和大脑的代码向公众发布，以便他人能在此基础上继续构建。
技术摘要：SpectralEarth-FM
问题陈述
地球观测（EO）基础模型（FMs）日益采用多传感器预训练，整合多光谱影像（MSI）、合成孔径雷达（SAR）及衍生地理空间图层。然而，提供高维、光谱连续测量（约 10 纳米带宽）的高光谱影像（HSI），在这些多模态框架中仍代表性不足。相反，现有的 HSI 基础模型通常仅基于 HSI 数据进行训练，导致 HSI 与同址 MSI、SAR 及热红外观测的联合预训练与融合尚未得到探索。
当前建模方法在整合 HSI 时面临特定挑战：
- 光谱复杂性：HSI 包含强烈的波段间相关性及传感器依赖性噪声，需要明确的光谱 - 空间处理，而非简单的图像块投影。
- 异质性：将 HSI 与低通道传感器（MSI、SAR、地表温度）整合，需要一种既能保留细粒度光谱处理能力，又能支持宽带光学输入的架构。
- 数据稀缺：缺乏大规模、空间对齐的数据集，将星载 HSI 与其他主要 EO 模态（Sentinel-2、Landsat、Sentinel-1）在共同地理覆盖范围内进行配对。
方法论
1. 数据集：SpectralEarth-MM
为实现大规模预训练，作者构建了以星载 HSI 任务为核心的多传感器数据集 SpectralEarth-MM。
- 来源：该数据集以三个传感器的 HSI 数据为锚点：EnMAP、EMIT 和 DESIS。
- 同址配准：这些数据与 Sentinel-2、Landsat-8/9（MSI 和地表温度）以及 Sentinel-1（SAR）进行了空间对齐。
- 规模：数据集涵盖约 200 万个全球分布位置，包含 2500 万个地理参考图像块，数据总量超过 40 TB。
- 构建：处理流程包括针对特定传感器的质量控制（云检测、地理参考检查）、将图像块提取为非重叠的 (3.84 km)2 覆盖范围，以及利用 AlphaEarth 嵌入进行分层重平衡，以减少空间和语义冗余，同时保留罕见的传感器配置。
2. 架构：SpectralEarth-FM
作者提出了 SpectralEarth-FM，这是一种专为异质光谱维度设计的分层 Transformer。该架构由四个主要组件构成：
- 光谱标记化（HSI）：与标准图像块投影不同，HSI 输入经过特定传感器的光谱标记器。空间图像块内的波段被划分为连续组，通过专用投影进行嵌入，并由 光谱 Transformer（SpecTr） 处理。可学习的光谱位置编码注入顺序信息。生成的组标记被聚合为单个空间标记。
- 传感器特定局部分支：低维传感器（MSI、SAR、LST）使用标准的卷积图像块投影。所有分支随后通过基于 Hiera 设计的 局部分层块（LHBs）。这些分支在融合前独立运行，以处理特定传感器的统计特性。
- 跨传感器融合：在局部编码后，分支嵌入在每个空间位置进行融合。一个可学习的查询在投影的传感器标记（辅以特定传感器嵌入）上进行注意力机制处理，生成单个融合标记网格。
- 共享分层编码器：融合后的标记被送入共享的 Hiera 编码器，以生成最终表示 Z。
3. 预训练策略
该模型使用 联合嵌入预测架构（JEPA） 风格的 objectives 进行预训练，并针对多模态 EO 融合进行了适配。
- 目标：模型学习匹配同一位置的 全局视图 与 单传感器局部视图 之间的表示，而不是重建原始像素（由于不同模态具有不同的噪声特性，跨模态像素重建非常困难）。
- 教师 - 学生设计：采用非对称设置，其中指数移动平均（EMA）教师仅处理包含多种模态的全局视图以定义稳定目标。学生处理全局、局部及传感器丢弃视图以预测该目标。
- 损失函数：该目标结合了不变性损失（学生与教师投影之间的均方误差）与 SIGReg 惩罚项，以防止表示坍塌。
主要贡献
- SpectralEarth-MM：一个全球平衡、多时相的 40+ TB 语料库，涵盖 HSI、MSI、SAR 和 LST，专门设计用于弥合高光谱与多传感器 EO 之间的差距。
- SpectralEarth-FM：一种新颖的基础模型架构，具有针对 HSI 的显式光谱标记化、传感器特定局部分支，以及分层 Transformer 框架内的跨传感器融合模块。
- 多模态 JEPA 预训练：一种定制的预训练策略，避免在不同传感器之间直接进行像素重建，而是专注于对齐全局与局部视图之间的潜在表示。
- 综合评估：在十个高光谱下游任务及标准 PANGAEA EO 基准套件上进行了广泛的基准测试。
结果
论文在两种设置下评估了 SpectralEarth-FM：单分支路由（将输入路由至最接近的光谱分支）和多分支路由（连接来自多个分支的特征）。
- 高光谱基准测试：在十个下游任务（包括 CDL、BD-Foret、EuroCrops 和 OxHyperMinerals）上，SpectralEarth-FM-a（多分支） 取得了最佳的整体平均排名（1.4），优于 HyperSIGMA、Panopticon 和 CARL 等最先进模型。它在基于 EnMAP 的任务中表现出特别强的优势，并通过光谱插值成功展示了向未见传感器（如 EO-1 Hyperion、GF-5）的迁移能力。
- 通用 EO 基准测试（PANGAEA）：在七个任务（如 HLS Burns、Sen1Floods11、AI4Farms）上，SpectralEarth-FM-a 取得了 3.43 的平均排名，使其跻身表现最佳的模型之列（在比较中超越了 TerraMind、CROMA 和 Prithvi）。
- 消融研究：
- 分支选择：EnMAP 分支通常在 HSI 任务上产生最高性能，而组合所有 HSI 分支进一步提升了结果。
- 传感器融合：将 EnMAP 与 Sentinel-2 或 Landsat OLI 融合提供了互补信息，与单传感器输入相比产生了显著增益（例如，在 EuroCrops 上 mIoU 提升了 +3.4）。
意义与主张
作者声称，SpectralEarth-FM 代表了将高光谱数据整合到更广泛的地球观测基础模型生态系统中的重要一步。通过通过专用标记化和融合机制明确解决 HSI 的高光谱维度问题，该模型在高光谱任务上实现了最先进的性能，同时在标准多传感器基准测试中保持了竞争力。
这项工作强调了以下几点：
- HSI 与 MSI、SAR 及 LST 的联合预训练是可行且有益的，允许模型学习跨传感器泛化的表示。
- 所提出的 JEPA 风格目标有效地处理了传感器噪声和光谱分辨率的异质性，而无需进行像素级重建。
- SpectralEarth-MM 和 SpectralEarth-FM 的发布为未来多模态 EO 研究提供了必要的资源，解决了 HSI 以往要么孤立存在、要么被排除在大规模基础模型之外的历史空白。
论文以谦逊的态度总结指出，虽然该模型在分布内表现强劲，但融合表示中空间与光谱特征的复杂相互作用值得进一步研究其可解释性。此外，当前框架专注于特定的预训练传感器，以换取更强的光谱表示，牺牲了开箱即用的灵活性，作者承认这是未来工作的权衡点。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。