🤖 machine learning

Changing Modalities: Adapting Remote Sensing Models to New Satellites and Sensors

本文介绍了 DeluluNet，这是一种端到端训练的架构，它通过利用模态幻觉（modality hallucination）从无标签数据中预测缺失的传感器表示，从而使遥感模型能够适应变化的卫星模态（替换、增加或子集），进而实现无需高昂重新标注或重新训练成本的模型部署。

原作者： Tim G. Zhou, Anthony Fuller, Geoff Pleiss, Evan Shelhamer

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tim G. Zhou, Anthony Fuller, Geoff Pleiss, Evan Shelhamer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位名厨，多年来一直致力于用一套特定的食材来完善你的食谱：新鲜罗勒、番茄和马苏里拉奶酪。你完全知道如何制作出一份完美的卡布里沙拉（Caprese salad）。

现在，想象一下杂货店发生了变化。罗勒被退役了，取而代之的是一种新的异域香草。或者，他们不再卖番茄，而是开始卖一种新型辣椒。又或者，他们既有旧的番茄，也有新的辣椒，但你从未将它们组合在一起烹饪过。

在卫星成像的世界里，情况正是如此。卫星就像是不断更新其“传感器”（即食材）的杂货店。有一天，它们传回清晰的照片（光学数据）；第二天，它们可能传回雷达图像（可以穿透云层）或数百种不同的色彩波段。

问题在于，那些针对旧食材进行训练的“厨师”（AI 模型）在面对新食材时往往会失败。通常情况下，为了解决这个问题，你需要雇佣一整支全新的厨师团队来品尝并标注成千上万道新菜肴（重新标注数据），并从头开始训练一个新的模型。这既昂贵又缓慢。

欢迎来到“DeluluNet”（论文中一个俏皮的名字，取自“delusion/幻觉”的概念）。

核心理念：“幻觉”缺失的食材

该论文提出了一种聪明的技巧：模态幻觉（Modality Hallucination）。

与其等待新食材被标注，不如让 DeluluNet 学习如何根据它已有的食材来“想象”或“幻觉”出缺失的食材看起来是什么样的。

以下是利用论文中的类比对三种简单场景进行的说明：

1. 模态迁移（替换）

情境： 旧卫星（卫星 A）退役了，由新卫星（卫星 B）接替。你有一个基于 A 训练的模型，但现在你只有来自 B 的数据。
类比： 你习惯了用罗勒烹饪。现在，商店里只有迷迭香。你没有关于迷迭香的食谱，但你有一大堆未标注的照片，显示罗迭香和罗勒是如何生长在一起的。
解决方案： DeluluNet 观察迷迭香并说道：“我以前见过它长在罗勒旁边。我可以猜出这里的罗勒原本看起来是什么样的。”它利用这个猜测来更新它的食谱，以便它能仅靠迷迭香进行烹饪，而无需聘请新的人类厨师来进行味觉测试。

2. 模态叠加（混合）

情境： 旧卫星仍在工作，但有一颗新卫星加入了团队。你想通过使用两者来做出更好的预测。
类比： 你拥有罗勒，现在你还有一种新的、辛辣的辣椒。你想做一个同时使用两者的沙拉。
解决方案： DeluluNet 学习罗勒和辣椒是如何相互作用的。它利用那些它们生长在一起的未标注照片，并学习如何将它们组合成一份“超级沙拉”。它不需要人类去标注每一片叶子；它能自行理解其中的关系。

3. 模态窥探（偷看）

情境： 你仍需使用旧卫星（卫星 A）进行日常工作，但有一颗新的高科技卫星（卫星 B）可以使用。卫星 B 太贵或太稀有，无法用于所有任务，但它拥有“超视觉”（例如可以看到微观细节）。
类比： 你正在用标准的番茄烹饪，但你有一个朋友拥有一台高科技显微镜，可以观察番茄内部的微小细节。你不能为每个番茄都使用显微镜，但你可以观察其中一些。
解决方案： DeluluNet 在使用标准数据（卫星 A）的同时，“窥探”高科技数据（卫星 B）。它从高科技视角中学习秘密模式，然后将这些知识应用于改进它使用标准番茄的烹饪方式。它变得更聪明，而无需永久更换昂贵的工具。

它是如何学习的？（“魔法”训练）

论文解释说，DeluluNet 使用了一种特殊的训练方法，称为批次混合（Batch Mixing）：

老师： 它从一个基于旧数据训练的智能模型（“教师”）开始。
遮掩游戏： 在训练期间，系统有时会隐藏（遮掩）一种类型的数据。例如，它展示一张雷达图像，但隐藏了光学图像。
猜测： 模型尝试“幻觉”（预测）基于雷达图像，隐藏的图像应该看起来是什么样的。
检查： 它将自己的猜测与真实的隐藏图像进行比较（它在训练数据中拥有真实的图像，只是没有标签）。如果猜测接近，它就完成了学习。
结果： 模型变得非常擅长猜测缺失的部分，以至于当它进入现实世界且只获得一种类型的数据时，它仍然可以在脑海中“填补空白”并做出准确的预测。

为什么这很重要？

无需新标签： 通常，要教会模型一种新传感器，你需要人类去标注数千张图像。DeluluNet 利用未标注的数据（仅仅是来自两颗卫星的原始图像）即可完成，这类数据丰富且免费。
一个模型统治一切： 你不必为每一颗新卫星都构建一个新模型，你可以获取现有的模型并使用这些模块化的部分对其进行“升级”。
它行之有效： 论文在真实的卫星数据（Sentinel-1 和 Sentinel-2）上测试了它。在许多情况下，DeluluNet 的表现优于那些使用昂贵标注数据进行完整重训的模型。

总结

卫星的世界在不断变化。旧传感器会失效，新传感器会诞生，数据格式也会发生偏移。DeluluNet 是一个灵活的、“具有幻觉能力的”AI，它允许我们在不承担重新标注世界的沉重成本的情况下，即时地使现有模型适应这些变化。这就像是通过让厨师练习如何猜测缺失的食材，而不是在菜单每次变化时都重新雇佣一位新厨师，从而教会厨师如何适应变化的杂货店。

技术摘要：改变模态：使遥感模型适应新的卫星与传感器

问题陈述

遥感（RS）模型通常是在静态的模态集（例如，特定的卫星传感器或光谱波段）上进行训练和部署的。然而，地球观测领域是动态变化的：新卫星被发射并带有新型传感器，旧卫星被退役，且数据可用性也在发生变化（例如，免费数据变为付费数据）。这产生了一个关键挑战：当面对训练期间未见的模态时，现有模型会失效。例如，一个在 Sentinel-2 的 12 个波段图像上训练的模型，无法对具有数百个波段的新型高光谱传感器进行预测。

本文识别了三个特定的场景，在这些场景中，模型必须适应不断变化的模态，且无法通过重新标注数据或从头开始训练来解决，因为这受到计算和标注能力的限制：

模态迁移（Modality Transfer）： 将模型从旧模态（ $M_A$ ）切换到新模态（ $M_B$ ），同时保持预测能力（例如，从 LandSAT 迁移到 Sentinel-2）。
模态增加（Modality Addition）： 在进行预测时，将新模态（ $M_B$ ）引入现有的模态（ $M_A$ ）之中，以利用互补信息。
模态窥探（Modality Peeking）： 通过观察新的、无标签的模态（ $M_B$ ）来改进对旧模态（ $M_A$ ）的预测，然后在推理阶段回归到 $M_A$ 。

现有文献分别孤立地处理这些场景（例如，用于迁移的知识蒸馏、用于窥探的半监督学习、用于增加的跨模态知识扩展），或者假设模态是固定的（持续学习、领域自适应）。目前尚不存在一个统一的框架，能在使用无标签多模态数据的无标签设置下处理所有这三种场景。

方法论：DeluluNet

作者提出了 DeluluNet，这是一个统一的架构，旨在利用无标签的配对数据（ $D_a \subset M_A \times M_B$ ）使现有的单模态预测模型（ $f_0$ ）适应变化的模态。其核心概念是模态幻觉（Modality Hallucination）：即从存在的模态中预测缺失的模态表示。

架构

DeluluNet 通过以下方式增强预训练的单模态教师模型（ $f_0$ ，通常为 ViT）并添加了三个模块化组件：

模态特定提取器（Modality-Specific Extraction）：
- $M_A$ 组件通过 $f_0$ 的权重进行初始化。
- $M_B$ 组件（分词器和 Transformer 层）是随机初始化的，用以学习特定于新模态的特征。
通过掩码 Transformer 进行跨模态融合（Cross-Modality Fusion via Masking Transformers）：
- 受掩码图像建模的启发，该组件促进了模态间的学习。
- 它采用标记级掩码（token-level masking）（在不同模态间随机掩码标记）和模态级掩码（modality-level masking）（将整个模态视为缺失）。
- **掩码 Transformer（Masking Transformer）**利用交叉注意力机制，基于来自另一模态的可视标记来“幻觉”（填补）被掩码的标记或整个模态。一个学习到的查询（query）会关注来自另一模态的可视标记，以预测缺失的标记。
预测头（Predictor Head）：
- 一个任务特定的头部（ $Head_{M_B}$ ），用于从 $M_B$ 表示中进行预测。

训练策略

DeluluNet 通过**批次混合（batch mixing）**策略进行端到端训练，该策略在两个数据拆分之间交替：

无标签自适应拆分（ $D_a$ ）： 包含配对的 $M_A$ 和 $M_B$ 数据。模型应用掩码（标记级和模态级）并使用蒸馏损失（Distillation Loss）。模型学习从幻觉表示中进行预测，从而从单模态教师 $f_0$ 中蒸馏知识。
有标签拆分（ $D_l$ ）： 包含有标签的 $M_A$ 数据。模型将 $M_B$ 视为被掩码（幻觉）的状态，并应用交叉熵损失（Cross-Entropy Loss）。这使得模型能够利用伪多模态输入从真实标签中学习。

损失函数

训练目标结合了四个损失项：

蒸馏损失（Distillation Loss）： 在无标签批次上，使预测结果与教师模型 $f_0$ 对齐。
交叉熵损失（Cross-Entropy Loss）： 在有标签批次上，使预测结果与地面真值（ground truth）对齐。
融合前 MSE（Pre-fusion MSE）： 直接监督掩码 Transformer，鼓励预测的 CLS 和 patch 标记与被掩码模态的真实标记相匹配。
潜空间 MSE（Latent MSE）： 通过解码器将融合后的表示锚定到教师模型冻结的倒数第二层表示上。

关键结果

作者在涵盖跨波段变化（在 Sentinel-2 内部）和跨卫星变化（从 Sentinel-1 到 Sentinel-2）的三个数据集（EuroSAT, reBEN, DFC2020）上评估了 DeluluNet。

模态迁移： DeluluNet 一致优于无标签基准模型，如知识蒸馏（KD）和变换教师匹配（TTM）。值得注意的是，在若干迁移场景中（例如，S2-rgb 到 S2-non-rgb），DeluluNet 的表现超过了全监督微调的 DINOv3 模型，达到了接近多模态基础模型（RSFMs）的 Oracle 水平，且无需目标模态的标签。
模态增加： DeluluNet 提升了单模态基准 $f_0$ 的性能，并优于多模态知识扩展（MKE）基准。在某些情况下，它达到了甚至超过了在有标签多模态数据上训练的监督式 RSFM Oracle（如 Panopticon, OlmoEarth）的水平。
模态窥探： 通过利用无标签的 $M_B$ 观测，DeluluNet 持续改进了对原始模态（ $M_A$ ）的预测，表现优于 MixMatch 等半监督学习基准。
消融实验： 移除任何组件（掩码 Transformer、Pre-fusion MSE、Latent MSE 或批次混合）都会导致所有场景下的性能下降，这证实了幻觉机制和特定损失项的必要性。
计算成本： 虽然由于存在幻觉机制，DeluluNet 比单模态模型更耗费计算资源，但其成本与处理多模态输入时的现有多模态 RSFM（如 Panopticon）相当。

意义与主张

本文声称 DeluluNet 提供了一个实用的、无须标签的替代方案，以应对不断变化的世界中的重新标注和重新训练问题。其主要意义在于：

统一框架： 它是第一个在单一架构下共同解决迁移、增加和窥探场景的方法。
可持续性： 它为现有模型适应新传感器提供了一条路径，而无需为了每个新传感器都从头开始预训练基础模型或收集大规模的有标签数据集，从而避免了不可持续的成本。
即时部署性： 从业者可以使用广泛存在的无标签配对卫星数据，通过模块化组件增强现有的微调模型，而不必等待新的基础模型开发完成。

作者承认了局限性，指出当前工作假设了静态的土地利用任务和配对的共定位观测。他们强调，时间对齐（例如在灾害监测中）以及基础模型本身的持续自监督学习是未来工作的重要方向。论文最后呼吁建立多样化的模态长期基准，以支持遥感模型随卫星星座演进的可持续发展。