💻 computer science

Latent Space Guided Scenario Sampling for Multimodal Segmentation Under Missing Modalities

本文提出了一种针对缺失模态下多模态语义分割的新型训练策略，该策略基于表征失真从预训练潜在空间学习采样分布，从而引导微调朝向更具信息量的模态可用性场景，进而超越标准微调及基于 LoRA 的适配方法。

原作者： Irem Ulku, Ö. Özgür Tanrıöver, Erdem Akagündüz

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Irem Ulku, Ö. Özgür Tanrıöver, Erdem Akagündüz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人来识别天空中的物体，比如树木、庄稼或建筑物。为了出色地完成这项任务，该机器人通常配备了一套“超级装备”传感器：标准相机（RGB）、红外相机（NIR）、雷达（SAR）以及三维高度图（DSM）。每种传感器观察世界的方式各不相同，它们共同协作，为机器人呈现一幅完美的全景图。

然而，在现实世界中，情况往往会出现差错。有时雷达会故障，有时云层会遮挡红外相机，或者三维地图缺失。当这种情况发生时，机器人会陷入困惑，因为它在训练时预期所有传感器都能正常工作。

本文提出了一种巧妙的训练新方法，使机器人在传感器失效时不会惊慌失措。以下是使用简单类比进行的详细解析：

问题所在：“随机猜测”式训练

目前，当科学家训练这些机器人以应对缺失的传感器时，他们使用一种称为**均匀随机丢弃（Uniform Random Dropout）**的方法。

这就像一位老师正在为一名学生准备一场可能缺少某些题目的考试。老师决定通过随机划掉题目来进行练习。有时划掉一道题，有时两道，有时三道。他们完全随机地这样做，假设每一种缺题场景的难度都是相同的。

缺陷： 本文认为这种方法效率低下。事实上，雷达缺失对机器人来说可能是一个巨大的问题，而红外相机缺失可能只是一个小麻烦。通过将它们一视同仁，机器人花费了太多时间练习简单的问题，而没有足够的时间去攻克难题。

解决方案：“潜在空间”指南针

作者提出了一种名为潜在空间引导场景采样（Latent Space Guided Scenario Sampling）的新策略。与其随机猜测，不如让机器人自己的“大脑”（即其内部数学表示，或潜在空间）来告诉我们要识别哪些缺失传感器的场景最为危险。

以下是其工作原理的分步说明：

“全套装备”基线： 首先，他们观察当所有传感器都存在时，机器人的“大脑”是如何工作的。这是机器人的“最佳状态”。
测量“失真”： 接下来，他们模拟传感器故障（例如，“如果雷达没了会怎样？”）。他们测量机器人的“大脑”相对于其最佳状态被“打乱”或失真的程度。
- 类比： 想象一根吉他弦。如果你正常拨动它，它会发出清晰的音符。如果你在弦上压上一个重物（缺失传感器），音符就会失真。本文测量的是这种失真有多严重。
“平滑”过滤器： 某些失真可能仅仅是因为偶然（噪声）而显得奇怪。作者使用一种名为**核平滑（Kernel Smoothing）**的数学工具。
- 类比： 想象你试图在图表上的一堆散点之间画出一条平滑的曲线。你不是用锯齿状的线连接每一个点，而是画出一条捕捉总体趋势的平滑曲线。这确保了机器人不会因为一个奇怪的数据点而反应过度，而是专注于困难程度的整体模式。
新的训练计划： 最后，他们制定了一个新的计划。那些导致最大大脑失真（即最难的问题）的场景在训练中被选中的频率更高。而那些导致轻微失真（即简单的问题）的场景被选中的频率则较低。
- 类比： 老师不再随机划掉题目，而是查看学生过去的错误。如果学生总是在“雷达”题目缺失时失败，老师就会确保 80% 的时间专门练习这一特定场景。

结果：更聪明的机器人

研究人员在三个不同的真实世界数据集（DSTL、Potsdam 和 Hunan）上，使用三种不同的机器人架构（CBC-SLP、CBC 和 CMX）对此进行了测试。

结果： 采用这种新“智能采样”方法训练的机器人，其表现优于采用随机猜测训练的机器人。即使在传感器缺失的情况下，它们在识别树木、庄稼和森林方面也更加准确。
惊喜： 有趣的是，当所有传感器都存在时，这些机器人在识别物体方面也略有提升。这表明，通过掌握困难的“损坏传感器”场景，机器人学会了一种更稳健的整体世界观。

总结

简而言之，本文指出：不要随机训练你的 AI。 让 AI 自身的内部困惑来告诉你哪些缺失传感器的场景最为关键，并将你的训练时间集中在这些特定的、困难的情况上。这就像一位教练不再每天以同样的方式执行训练，而是将团队专注于那些导致他们输掉比赛的具体战术。

本文声称，这种方法比标准训练效果更好，甚至优于其他流行的“微调”技术（如 LoRA），从而使 AI 在现实世界传感器失效时更加可靠。

技术摘要：缺失模态下多模态分割的潜在空间引导场景采样

1. 问题定义

遥感中的多模态语义分割利用来自不同传感器（例如光学、SAR、DSM）的互补信息，以改进土地覆盖制图和环境监测。然而，现实世界的部署常因传感器故障、大气干扰或数据采集问题而遭受模态缺失。尽管现有方法通过重建、模态不变特征学习或鲁棒训练目标来解决这一问题，但一个关键局限依然存在：标准的训练策略通常采用均匀随机模态丢弃。

这种均匀采样将所有模态可用性场景视为具有同等信息量。作者假设这是次优的，因为不同的缺失模态模式以不同程度上破坏模型学习到的共享潜在表示。因此，使用均匀丢弃训练的模型可能在微调阶段未能充分优先处理最具挑战性或信息量最大的场景，从而限制了其在模态缺失时的鲁棒性。

2. 方法论

本文提出了一种新颖的微调策略，用潜在空间引导的场景采样分布取代均匀随机丢弃。其核心思想是直接从预训练多模态分割模型的行为中推导采样概率。该方法主要分四个阶段进行：

A. 场景失真量化

作者利用一个预训练模型（具体为 CBC-SLP 架构，尽管该方法适用于其他架构），该模型将其潜在空间结构化为共享组件和模态特定组件。

参考状态：对于给定输入，在模态完全可用情况下的共享潜在表示（ $\mathbf{z}_{sh, full}$ ）作为参考。
失真测量：对于每个可能的模态可用性场景 $\mathbf{s}^{(k)}$ ，模型生成共享潜在表示 $\mathbf{z}_{sh}(\mathbf{X}, \mathbf{s}^{(k)})$ 。“共享潜在失真”计算为该场景的表示与全模态参考之间的均方欧几里得距离：
$d_{sh}^{(k)}(i) = \frac{1}{|\Omega_{sh}|} \|\mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{s}^{(k)}) - \mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{F}_M)\|_2^2$
原始重要性：训练集上的平均失真定义了场景 $k$ 的原始重要性得分 $\eta^{(k)}$ 。较高的得分表示导致共享潜在空间更大破坏的场景。

B. 核化场景耦合

为了细化这些原始得分并考虑场景之间的关系，作者采用了一种受 MaD-Mix 框架启发的正则化核平滑方法。

核定义：在场景描述符（即原始失真得分）上定义径向基函数（RBF）核，以捕捉场景间的相似性：
$\kappa(\eta^{(p)}, \eta^{(q)}) = \exp\left(-\frac{(\eta^{(p)} - \eta^{(q)})^2}{2\sigma^2}\right)$
正则化优化：目标是在再生核希尔伯特空间（RKHS）中找到一个细化评分函数 $f$ ，使其在拟合原始得分的同时，在相似场景间平滑变化。这被表述为一个正则化目标，最小化 RKHS 范数以及相对于原始得分的误差。
闭式解：利用表示定理，通过对原始重要性向量 $\mathbf{\nu}$ 应用谱软阈值滤波器，推导出最优得分向量 $\mathbf{r}$ ：
$\mathbf{r} = \mathbf{K}(\mathbf{K} + \lambda\mathbf{I})^{-1}\mathbf{\nu}$
其中 $\mathbf{K}$ 是核矩阵， $\lambda$ 是正则化系数。这确保了具有相似潜在扰动的场景获得相似的得分，从而降低了对噪声的敏感性。

C. 概率分布构建

将细化后的得分转换为用于微调的采样概率分布 $p$ ：

标准化：对得分进行标准化（零均值，单位方差）。
温度缩放：应用温度缩放的 softmax 以生成非均匀分布。
凸组合：为防止模型忽略罕见场景，最终分布是学习到的 softmax 分布与均匀分布的混合，由混合系数 $\gamma$ 控制。

D. 训练协议

该方法分两个阶段运行：

预训练：使用标准的均匀随机模态丢弃训练模型。
微调：对模型进行额外几个 epoch 的微调。在此阶段，模态可用性掩码根据学习到的概率分布 $p$ 进行采样，而非均匀采样。这将训练偏向于引起更高潜在失真的场景。

3. 主要贡献

本文概述了三个主要贡献：

新颖的训练策略：一种多模态语义分割方法，直接从学习到的潜在空间推导场景权重，用学习到的非均匀分布取代均匀随机丢弃。
潜在失真公式：一种基于共享潜在失真的场景重要性具体定义，通过正则化核平滑转换为采样分布。该公式既捕捉了单个场景的严重程度，也捕捉了它们在潜在描述符空间中的关系结构。
全面评估：在三个遥感数据集（DSTL、Potsdam、Hunan）上使用三种不同骨干网络（CBC-SLP、CBC、CMX）进行的广泛实验。研究表明，该方法在标准微调和基于 LoRA 的适应方面均表现出一致的改进。

4. 实验结果

所提出的策略在以下方面进行了评估：

数据集：DSTL（同质光学）、Potsdam（异质 RGB/IRRG/DSM）和 Hunan（异质 MSI/SAR/DEM）。
骨干网络：CBC-SLP、CBC 和 CMX。
基线：无微调、随机丢弃微调以及基于 LoRA 适应的微调。

关键发现：

一致改进：所提出的策略在所有数据集和骨干网络上均优于标准随机丢弃微调和基于 LoRA 的适应。
缺失模态下的鲁棒性：在模态缺失的场景中观察到显著增益。例如，在仅可用 RGB 的 Potsdam 数据集上使用 CBC-SLP 时，与随机丢弃相比，该方法将 IoU 提高了 0.9%。
全模态下的性能：值得注意的是，当所有模态均可用时，该方法并未降低性能；事实上，它通常显示出轻微改进（例如，在 Hunan 数据集全模态下，IoU 比 LoRA 提高 1.3%），表明该策略在增强通用特征学习的同时，并未损害完整数据场景。
泛化性：该方法在不同架构设计（共享与共享特定潜在空间）和异质模态组合中均被证明有效，表明潜在空间引导是一种与模型无关的信号。
定性分析：视觉比较显示，与基线相比，所提出的方法在具有挑战性的缺失模态场景（例如缺失 DSM 或 MSI）中产生了更准确的边界，并恢复了更多的目标像素。

5. 意义与主张

作者声称，他们的工作表明预训练的潜在表示可以作为缺失模态微调期间采样的有效基础。

本文论证了：

均匀随机丢弃未能考虑到不同缺失模态模式影响模型内部表示的异质性。
通过直接利用预训练的潜在结构，所提出的方法比通用的参数高效微调（如 LoRA）或标准均匀采样提供了更具信息量和任务相关性的指导。
该策略不限于特定架构，而是为模态不可用时的多模态分割微调性能提升提供了一个通用框架。

研究结论认为，从潜在空间学习场景采样分布，使模型在微调过程中能更有效地关注最具挑战性和信息量的配置，从而在传感器数据可能不完整的现实世界遥感应用中实现更鲁棒的性能。