💻 computer science

Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection

该论文提出了一种面向多模态伪装目标检测的模态无关提示学习框架，通过为 Segment Anything Model 生成统一的模态无关提示并结合轻量级掩码细化模块，实现了无需定制融合策略即可高效适配任意辅助模态并显著提升检测性能。

原作者： Hao Wang, Jiqing Zhang, Xin Yang, Baocai Yin, Lu Jiang, Zetian Mi, Huibing Wang

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Wang, Jiqing Zhang, Xin Yang, Baocai Yin, Lu Jiang, Zetian Mi, Huibing Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让计算机更聪明地“发现伪装者”的新方法。为了让你轻松理解，我们可以把这项技术想象成给一个超级侦探（AI）配备了一套“万能翻译器”和“智能放大镜”。

以下是用大白话和生动的比喻对这篇论文的解读：

1. 核心难题：寻找“隐身”的物体

想象一下，你正在玩“找茬”游戏，但对手是伪装大师。

伪装物体检测（COD）：就像在茂密的森林里找一只穿着树叶衣服的变色龙，或者在沙滩上找一只和沙子颜色一样的螃蟹。
传统方法的困境：以前的 AI 主要靠“眼睛”（RGB 图像，也就是普通照片）看。但如果伪装得太好，照片里根本分不清哪里是物体，哪里是背景。
多模态的尝试：为了解决这个问题，科学家引入了“其他感官”，比如深度（像蝙蝠的声呐，看距离）、热成像（像夜视仪，看温度）或偏振光（像特殊的墨镜，看材质反光）。
旧方案的缺点：以前的方法就像是给每种“感官”都造一个专门的侦探。如果要加“热成像”，就得重新造一个懂热成像的侦探；如果要加“深度”，又得造一个懂深度的。这太麻烦了，而且换个新感官（比如以后有了“气味传感器”），之前的侦探就废了，无法通用。

2. 新方案：万能翻译器 + 智能提示（Modality-Agnostic Prompt Learning）

这篇论文提出了一种**“模态无关”（Modality-Agnostic）的新框架。简单来说，就是不管输入的是深度图、热成像还是偏振光，AI 都能把它们统一翻译**成一种通用的“提示语”，直接喂给一个超级强大的基础模型（SAM）。

我们可以把这个过程想象成**“给超级侦探配了一个万能翻译官”**：

A. 主角：Segment Anything Model (SAM)

比喻：SAM 是一个**“全能但有点迟钝的超级侦探”**。它看过全世界所有的图片，什么都能切分（比如把图里的猫、狗、树都圈出来），但它不懂“伪装”这个概念，也看不懂那些特殊的“感官数据”（热成像、深度图等）。
现状：如果直接让它去抓伪装者，它经常抓错，因为它太依赖普通照片了。

B. 创新点：双域互动（内容域 vs. 提示域）

作者设计了一个巧妙的机制，让 SAM 学会“听提示”：

内容域（Content Domain）—— “现场证据”
- 比喻：这是**“现场勘查员”。它把普通照片（RGB）和辅助数据（比如热成像）像拼图**一样叠在一起。
- 作用：它告诉侦探：“看，这里虽然颜色一样，但温度不一样（热成像）”或者“这里虽然颜色一样，但距离不一样（深度）”。它提供了事实依据。
提示域（Prompt Domain）—— “老侦探的经验”
- 比喻：这是**“经验丰富的老侦探”。它不直接看现场，而是脑子里装着“伪装者通常长什么样”的通用知识**（比如：伪装者通常边缘模糊、和背景融合度高）。
- 作用：它提供直觉和线索。
核心魔法：双向交流（Cross-Attention）
- 比喻：现场勘查员（内容域）和老侦探（提示域）坐在一起开会。
- 过程：勘查员说：“这里有个奇怪的热源。”老侦探说：“哦，根据经验，伪装者经常利用热源伪装，快把那个区域标记出来！”
- 结果：老侦探把这种“经验”转化成了具体的**“提示词”（Prompts）**，直接告诉 SAM 侦探：“嘿，别只看颜色，重点看这里！”

C. 辅助工具：Mask Refine Module（掩码精修模块）

比喻：就像侦探画完草图后，用**“高精度修图笔”**再描一遍。
作用：SAM 第一次画出来的轮廓可能有点粗糙（比如把树叶边缘画歪了）。这个模块利用刚才讨论出的“精细提示”，把边缘修得像刀切一样整齐，确保伪装者的轮廓分毫不差。

3. 为什么这个方法很牛？（优势）

通用性强（Modality-Agnostic）：
- 比喻：以前的侦探需要专门学“热成像语”或“深度语”。现在的侦探只需要一个万能翻译器。不管是热成像、深度图，还是未来可能出现的“超声波图”，只要扔进去，翻译器都能把它变成侦探能听懂的“提示语”。
- 好处：不需要为每种新传感器重新训练模型，省时间、省资源。
参数少，效率高：
- 比喻：以前的方法像是在侦探身上装满了各种笨重的装备（每个装备都要训练）。新方法只是给侦探配了一个轻便的翻译耳机。
- 数据：论文显示，他们的方法只需要训练273 万个参数（非常少），但效果却比那些需要训练几千万甚至上亿参数的方法还要好。
实战效果：
- 在三个不同的测试集（RGB+ 深度、RGB+ 热成像、RGB+ 偏振光）上，这个方法都拿到了第一名（SOTA）。
- 特别是在跨模态测试中（比如用深度图训练的模型，直接去测热成像），它依然表现很好，证明了它的“万能性”。

4. 总结：这到底解决了什么？

这就好比以前我们要找伪装者，每换一种侦查手段（从肉眼到热成像），就得重新培训整个团队。
现在，作者发明了一套**“通用思维转换系统”**：

不管输入什么新数据，先把它翻译成通用的线索。
让线索和经验结合，生成精准的提示。
把提示喂给超级侦探（SAM），让它瞬间变成伪装检测专家。

一句话总结：
这篇论文让 AI 学会了一种**“举一反三”的能力，不再需要为每种新传感器重新造轮子，而是用一套轻量级、通用的“提示语言”**，让强大的基础模型（SAM）能轻松应对各种复杂的伪装检测任务，既聪明又省钱。

论文技术总结：基于模态无关提示学习的多模态伪装目标检测

1. 研究背景与问题 (Problem)

伪装目标检测 (Camouflaged Object Detection, COD) 旨在分割那些与复杂背景高度融合的目标，在医学影像、工业缺陷检测和遥感等领域具有重要应用。然而，现有的单模态（仅 RGB）方法在强伪装、弱边界对比度的场景下表现脆弱。

虽然引入辅助模态（如深度、热红外、偏振）的多模态方法能提升鲁棒性，但现有研究存在以下主要局限：

模态特异性架构 (Modality-specific Architectures)： 大多数方法为每种辅助模态（如深度或热成像）设计特定的融合策略或网络结构，导致模型缺乏扩展性。
泛化能力差： 针对特定模态组合设计的模型难以直接迁移到其他模态组合，限制了跨模态的通用性。
SAM 微调的局限性： 虽然基于 Segment Anything Model (SAM) 的微调方法（如插入适配器）降低了训练成本，但现有的多模态 SAM 扩展（如 DSAM, SAM-DSA）通常仍针对特定模态设计，缺乏统一的模态无关（Modality-Agnostic）解决方案。

核心问题： 如何设计一种高效、可扩展且模态无关的框架，能够将任意辅助视觉模态（深度、热、偏振等）统一转换为 SAM 兼容的提示（Prompt）表示，从而实现通用的多模态伪装目标分割？

2. 方法论 (Methodology)

论文提出了一种模态无关的提示学习框架 (Modality-Agnostic Prompt Learning Framework)，基于冻结的 SAM 模型进行参数高效微调。其核心思想是将多模态学习建模为数据驱动的内容域 (Content Domain) 与 知识驱动的提示域 (Prompt Domain) 之间的交互。

2.1 整体架构

框架包含三个主要部分：

特征提取与内容域构建：
- 使用冻结的 SAM 图像编码器提取 RGB 特征。
- 使用冻结的 PVT (Pyramid Vision Transformer) 提取辅助模态（深度/热/偏振）的多尺度特征。
- 通过加权融合（Weighted Fusion）辅助特征，并与 RGB 特征进行逐元素相加，构建内容域。这提供了异质的目标相关空间线索和语义信息。
内容 - 提示交互模块 (CPIM, Content-Prompt Interaction Module)：
- 提示域生成： 初始化一组可学习的提示原型（Prompt Prototypes），作为通用的几何、语义和材质先验知识。利用内容域特征通过轻量级注意力机制对这些原型进行自适应调制。
- 双向协同交互： 采用对称交叉注意力机制 (Symmetric Cross-Attention) 建立内容域与提示域之间的双向联系。
  - 内容域向提示域传递任务相关的证据。
  - 提示域向内容域注入结构化先验，修正空间保真度。
- 引入可学习的 Auxi-tokens，与 SAM 原始 Token 拼接，增强网络的模态无关灵活性。
掩码细化模块 (Mask Refine Module, MRM)：
- 针对 SAM 在低对比度环境下边界模糊的问题，利用细化后的提示域特征（ $\hat{F}_{pro}$ ）对 SAM 解码器内部的 Token-to-Image Attention 特征和转置卷积特征进行调制。
- 通过细粒度的提示线索校准粗粒度的预测掩码，显著提升伪装目标的边界精度。

2.2 训练策略

采用参数高效微调（PEFT），仅训练少量参数（提示原型、交互模块、细化模块等），冻结 SAM 主干网络。
支持独立训练（针对特定模态）和联合训练（多模态混合数据）。

3. 主要贡献 (Key Contributions)

首个统一的多模态 COD 框架： 提出了首个能够无缝集成 RGB 与任意辅助视觉模态（深度、热、偏振）的统一框架，实现了真正的模态无关性。
双域学习范式 (Dual-Domain Learning Paradigm)： 创新性地提出了“内容域 + 提示域”的交互机制。通过双向交叉注意力，将数据驱动的感知证据与知识驱动的先验提示有效结合，替代了传统的复杂多模态融合架构。
高效的掩码细化机制： 设计了轻量级的掩码细化模块，利用提示信号校准预测边界，显著提升了伪装目标的分割精度。
卓越的效率与泛化性： 在保持极少量可训练参数（仅 2.73M）的同时，在多个基准数据集上取得了 SOTA 性能，并展现出强大的跨模态迁移能力。

4. 实验结果 (Results)

论文在三个主流多模态 COD 基准数据集上进行了广泛验证：

RGB-D (COD10K, CAMO, NC4K, CHAMELEON)： 在 COD10K 上， $S_\alpha$ 达到 0.901， $F^\omega_\beta$ 达到 0.863，优于现有 SOTA 方法（包括 HQSAM, SAM-Adapter 等）。
RGB-P (PCOD-1200)： 在所有指标上均达到 SOTA， $S_\alpha$ 为 0.945， $F^\omega_\beta$ 为 0.924。证明了偏振模态在纹理互补上的有效性。
RGB-T (VIAC)： 在包含植物伪装、伪装网等多种场景的 VIAC 数据集上表现最佳， $S_\alpha$ 为 0.930， $F^\omega_\beta$ 为 0.929。

关键性能指标：

参数量： 仅 2.73M 可训练参数，远低于 DSAM (121.93M) 和 MM-SAM (93.73M) 等方法，实现了极高的效率。
跨模态泛化： 在跨模态迁移实验中（如用 RGB+D 训练，在 RGB+P 上测试），性能下降极小，证明了框架的通用性。
扩展性： 在 RGB-T 显著目标检测 (SOD) 任务上也取得了 SOTA 结果，表明框架具有良好的跨任务泛化能力。

5. 意义与影响 (Significance)

打破模态壁垒： 该研究解决了多模态 COD 中“一种模态一种架构”的痛点，提供了一种通用的解决方案，使得模型能够灵活适应未来可能出现的任何新辅助模态，而无需重新设计网络结构。
推动基础模型应用： 成功将 SAM 的大规模预训练能力扩展到复杂的伪装目标检测领域，并通过提示学习实现了低成本、高效率的领域适应。
实际价值： 提出的轻量化、高精度模型在医疗诊断（如肿瘤边界）、工业检测（如缺陷识别）和军事侦察等对边界精度要求极高的场景中具有巨大的应用潜力。
未来方向： 为构建统一的“前景分割”框架（涵盖 COD、SOD、阴影分离等）奠定了基础，推动了通用视觉感知模型的发展。

总结： 本文通过创新的双域交互机制和提示学习策略，成功构建了一个高效、通用且高精度的多模态伪装目标检测框架，在性能、效率和泛化性之间取得了极佳的平衡，是该领域的重要突破。