💻 computer science

Rethinking Efficient Mixture-of-Experts for Remote Sensing Modality-Missing Classification

本文提出了 MaMOL，一种参数高效的缺失感知混合 LoRA（Missing-aware Mixture-of-LoRAs）框架，该框架利用双重路由机制来统一遥感分类中多样化的模态缺失场景，以极低的计算开销显著增强了模型的鲁棒性和泛化能力。

原作者： Qinghao Gao, Jiahui Qu, Wenqian Dong

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qinghao Gao, Jiahui Qu, Wenqian Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在森林中识别一种特定的树木。通常情况下，你拥有一套完美的工具箱：一个高分辨率彩色摄像头、一个热成像传感器和一个 3D 激光扫描仪。当你同时拥有这三者时，你可以以 100% 的信心识别出那棵树。

但在现实世界中，事情总会出错。也许阳光太刺眼导致摄像头无法工作，或者热成像传感器坏了，又或者激光扫描仪没电了。突然之间，你只能靠一两个工具，甚至只靠一张模糊的照片来尝试识别这棵树。

问题所在：“全或无”的方法
目前大多数用于遥感（如卫星或无人机成像）的计算机系统，其训练方式就像那些只有在课本完整时才学习的学生。如果缺了一页，他们就会惊慌失措并考试不及格。为了解决这个问题，工程师通常不得不为每种可能的工具损坏组合都构建一个不同的系统版本。如果你有 3 个传感器，你可能需要为以下每种情况构建并训练独立的模型：

全套传感器都在工作。
只有摄像头在工作。
只有热成像传感器在工作。
摄像头 + 热成像在工作，但没有激光。
……等等。

这就像是为每一种工具损坏的组合都专门聘请一位不同的专家。这种做法既昂贵又缓慢，而且需要消耗大量的计算机内存。

解决方案：“专家混合”模式 (Mixture of Experts, MoE)
该论文的作者提出了一种更聪明的方法。他们没有建立独立的专家系统，而是构建了一个超级灵活的团队，称为 MaMOL（缺失感知型 LoRA 混合模型）。

把 MaMOL 想象成一把瑞士军刀或一个动态厨房团队：

基础主厨（共享专家）： 这是系统的核心大脑。它了解关于树木的通用知识（例如“树木有叶子”），这些知识无论你使用哪些工具都适用。这部分内容永远不会改变。
专业化主厨（模态特定专家）： 这些是只有在特定工具存在时才会介入的专家。如果你有热成像传感器，“热成像主厨”就会加入协助。如果热成像传感器坏了，这位主厨就会退出，由其他成员接手工作。
自适应主厨（动态专家）： 这些是问题解决者。如果你缺少某种工具，这些主厨就会介入，设法进行补偿。他们就像一位副主厨，会说：“好吧，我们没有激光扫描仪了，那我们就结合摄像头和热成像数据来推测其 3D 形状。”

它是如何运作的：“智能开关”
MaMOL 的魔力在于一个智能开关（称为路由器），它能观察你现有的工具，并立即决定激活哪些主厨。

如果你拥有所有工具？开关会激活整个团队。
如果摄像头坏了？开关会关闭“摄像头主厨”，并告诉“自适应主厨”利用剩余的数据更加努力地工作。

论文将此称为“条件计算”（Conditional Computation）。这意味着计算机仅根据它所拥有的数据进行必要的计算，而不是在数据缺失时仍强行进行完整的计算。

实验结果：为什么它更好
研究人员在真实的遥感数据（城市和农场的卫星图像）上测试了该模型，在这些数据中，他们特意“破坏”了传感器以模拟数据缺失的情况。

性能： MaMOL 的表现始终优于旧方法。即使在 90% 的数据缺失或传感器差异巨大的情况下，MaMOL 依然能保持很高的准确度。
效率： 由于它不需要为每种传感器损坏的情景重新训练新模型，因此节省了大量的时间和计算资源。
通用性： 他们甚至在自然图像（如普通物体照片）上进行了测试，结果发现它同样有效，这证明了这种“专家团队”的思想不仅适用于卫星，也是处理信息缺失的一种通用的方法。

简而言之
与其为每一个损坏的部件都制造一个新机器人，MaMOL 构建的是一个拥有专家团队的机器人，这些专家可以根据现有工具的变化瞬间重新编组。这是一种更轻量、更快速、也更鲁棒的方式，让计算机学会观察世界，即使在视觉不完美的情况下也是如此。

技术摘要：重新思考面向遥感模态缺失分类的高效混合专家模型

1. 问题定义

多模态遥感分类依赖于互补的数据源（例如光学、SAR、高光谱、LiDAR）来实现稳健的地球观测。然而，在现实场景中，由于传感器故障、大气干扰或预算限制，经常会出现模态缺失的问题。这种不完整性会导致传统的多种模态模型性能严重下降，因为这些模型通常假设在训练和推理阶段均具有完整的模态可用性。

现有的解决方案通常遵循两阶段范式：在完整数据上训练模型，然后通过额外的模块或重新训练来使其适应缺失场景。这种方法存在两个主要局限性：

计算开销： 针对多种缺失模态模式进行重复训练或适配是非常低效的。
泛化差距： 在完整数据上训练的模型无法考虑到现实观测中固有的不完整性，从而限制了其处理未见过的模态缺失情况的能力。

虽然基于提示（prompt-based）的参数高效微调（PEFT）提供了一种轻量级的替代方案，但随着模态数量的增加，它往往需要指数级增长的配置，阻碍了可扩展性。

2. 方法论：MaMOL

作者提出了缺失感知 LoRA 混合专家模型（MaMOL），这是一个将缺失模态学习重新定义为条件计算问题的参数高效框架。MaMOL 并非将缺失模态视为数据重建任务，而是利用混合专家（MoE）架构，根据可用输入动态选择计算路径。

核心架构

MaMOL 构建在冻结的预训练 Vision Transformer (ViT) 主干网络之上。它在馈送前向层（feed-forward layers）中注入低秩自适应（LoRA）专家，将变换分解为三个结构化组件：
$f(z, m) = f_{shr}(z) + f_{mod}(z, m) + f_{pat}(z, m)$
其中 $z$ 是输入表示， $m$ 是模态可用性指示器。

该框架采用了一种双重路由机制，由两类互补的专家组成：

静态专家（模态不变与特定）：
- 共享专家（Shared Expert）： 始终激活，用于编码在所有场景中通用的模态不变知识，确保全局稳定性。
- 模态特定专家（Modality-Specific Experts）： 仅在对应的模态存在时激活（ $\alpha_i = m_i$ ）。这些专家保留了模态依赖的先验知识，并在特定传感器可用时稳定特征对齐。
动态专家（模式感知）：
- 一组 $K_d$ 个专家，能够自适应地专门处理不同的缺失模式配置。
- 路由机制： 与标准 MoE 不同，路由器显式地结合了输入的语义内容 ( $z$ ) 和缺失模态配置 ( $\psi(m)$ )。它通过门控函数选择 Top- $K$ 个专家：
  $g = \text{TopK}(\text{softmax}(W \phi([z; \psi(m)])))$
- 这使得模型能够在无需重新训练的情况下，学习针对特定缺失模式（例如“仅缺失高光谱”对比“仅缺失 LiDAR”）的特定适配。

参数效率

通过使用 LoRA（低秩自适应），MaMOL 引入了极少的训练参数。专家被分解为低秩矩阵（ $A \in \mathbb{R}^{r \times d}, B \in \mathbb{R}^{d \times r}$ ，其中 $r \ll d$ ），从而使单个模型结构能够统一处理 $2^M - 1$ 种可能的模态组合。

3. 核心贡献

问题的重新定义： 本文将遥感领域的缺失模态学习重新定义为一个条件专家选择问题，为研究多样化缺失模态设置下的 MoE 范式提供了首次系统性的研究。
MaMOL 框架： 引入了一个双重路由、参数高效的 MoE 框架，统一了多种缺失模态场景。它将模态不变的共享知识与模态感知的动态适配解耦。
实证验证： 大量的实验表明，MaMOL 在多种缺失模态场景下显著提高了鲁棒性和泛化能力，且计算开销极小。该框架被证明可扩展至自然图像任务，验证了其跨领域适用性。

4. 实验结果

作者在三个公开的多模态遥感数据集上评估了 MaMOL：Houston2013 (HS + LiDAR)、Trento (HS + LiDAR) 和 Augsburg (HS + SAR)。

性能： 在所有缺失率（50%, 70%, 90%）和缺失配置下，MaMOL 始终优于最先进的基准模型（包括 MMP、DCP 以及各种 MoE 变体如 Moerep, Moeada, Moetask）。
- 在 Houston2013 数据集（50% 缺失率）上，MaMOL 达到了 98.40% OA（次优为 97.60%）；在 50% 训练/100% 测试划分场景下达到 88.00% OA，显著优于跌至 ~83-85% 的基准模型。
- 在模态差异较大的 Augsburg 数据集上，MaMOL 表现出明显优势，在 50% 缺失率下实现了 79.05% OA，而表现最好的基准模型为 78.57%。
泛化能力： 在 MM-IMDb 自然图像数据集上的迁移实验证实，MaMOL 具备超越遥感的泛化能力，在所有训练/测试划分中均取得了最高的 F1-Macro 分数。
消融实验：
- 移除动态专家导致性能大幅下降，证实了它们在适应缺失模式方面的作用。
- 移除静态专家降低了稳定性，凸显了它们在保留不变知识方面的重要性。
- 将专家放置在最后六个 Transformer 层中效果最好，这表明动态路由对于建模高层跨模态交互最为有效。

5. 意义与主张

本文声称 MaMOL 为现实世界中的多模态不完整性提供了一个轻量级、稳健且可扩展的解决方案。通过将缺失模态视为一个条件计算问题而非数据重建问题，作者证明了：

MoE 架构可以天生适应多样化的模态缺失场景，而无需单独的重新训练或指数级的提示配置。
共享专家与动态专家的解耦，既能实现稳定的知识迁移，又能保持对特定缺失模式的灵活性。
该方法具有可扩展性，能够处理复杂的多模态组合（实验中高达三种模态），并能迁移至自然图像领域。

这项工作将 MaMOL 定位为构建缺失感知且具泛化能力的多种模态学习系统的重要一步，解决了传感器受限的遥感应用中关于可靠性的根本挑战。