🤖 AI

Weakly Supervised Camouflaged Object Detection Based on the SAM Model and Mask Guidance

本文提出 MGNet，一种用于伪装目标检测的新型弱监督框架，该框架利用带有边界框提示的 Segment Anything Model（SAM）生成高质量伪标签，并采用级联掩码解码器以及上下文增强和特征聚合模块，以克服标注限制并提升分割精度。

原作者： Xia Li, Xinran Liu, Lin Qi, Junyu Dong

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Xia Li, Xinran Liu, Lin Qi, Junyu Dong

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在玩“威利在哪里”的游戏，但你要寻找的不是卡通人物，而是那些擅长融入背景的动物、昆虫或医学问题。这就是**伪装目标检测（COD）**所面临的挑战。这就像试图在一片叶子上发现一只变色龙；目标与背景看起来几乎一模一样，使得计算机极难分辨哪里是目标的终点，哪里又是背景的开始。

通常，教会计算机完成这项任务需要人类在数千张图像上 painstakingly（费尽心力地）为每一个隐藏目标的像素上色。这就像雇佣一支艺术家大军，只为向计算机展示一片叶子长什么样，而让他们去描摹树上的每一片叶子。这种方法虽然准确，但速度慢、成本高且枯燥乏味。

本文介绍了一种更聪明、更快速的方法，无需那支艺术家大军即可教会计算机这项技能。以下是他们如何实现这一点的简化步骤：

1. “框”捷径（BoxSAM）

与其要求人类描绘隐藏目标的精确轮廓，作者意识到我们可以只要求他们在目标周围画一个简单的矩形（边界框）。这就像说“鱼就在这个框里的某个地方”，而不是去画鱼本身。

然而，这里有一个陷阱。作者使用了一个非常强大的 AI 工具，称为SAM（Segment Anything Model，分割一切模型），将这个简单的框转化为详细的轮廓。但 SAM 在面对伪装时有点“天真”。因为背景与目标如此相似，SAM 经常感到困惑，将背景误涂为目标的一部分，或者完全漏掉目标。这就像一个孩子看到树周围有一个框，就决定把整个天空都涂色，因为它认为天空“在框里面”。

解决方案：“冗余过滤器”
为了解决 SAM 的困惑，作者创建了一个特殊的清理过程，称为冗余处理策略。

将 SAM 的初次尝试想象成一幅带有额外杂乱线条的粗略草图。
作者将这个草图输入他们自定义的网络（MGNet），看看它“认为”目标是什么。
然后，他们比较这两者。如果 SAM 将一片背景涂色，而他们的网络认为那是空的，他们就会将其擦除。如果 SAM 漏掉了目标的微小部分，他们就会将其填补。
最终结果是一个高质量的“伪标签”（一种虚假但非常准确的训练指南），计算机可以从中学习，而无需人类描绘每一个像素。

2. 侦探网络（MGNet）

一旦计算机拥有了这些清理过的指南，它就需要一个大脑来从中学习。作者构建了一个名为MGNet（Mask-guided Network，掩码引导网络）的新网络。他们设计了三个特殊工具来解决伪装的具体问题：

“上下文增强器”（CEM）：
- 问题： 当计算机缩小视野以观察整张图片时，有时会丢失微小的细节，导致完全错过小的隐藏目标（例如珊瑚礁中的小鱼）。
- 解决方案： 该模块就像一个拿着放大镜的侦探。它使用特殊的“空洞”层（就像通过广角镜头观察场景，但仍能看清细字），确保在缩放过程中不会丢失任何微小细节。
“级联解码器”（CMD）：
- 问题： 伪装目标的边缘模糊不清。很难确切地说出目标在哪里停止。
- 解决方案： 这个工具就像一位正在精修雕像的雕塑家。它从一个粗略的全局形状开始，逐步添加细节层，将大局与微小细节融合，创造出清晰、准确的轮廓。
“掩码引导”（MFAM）：
- 问题： 计算机需要知道图像的哪些部分很重要，哪些只是背景噪声。
- 解决方案： 该模块利用前一个工具创建的粗略轮廓作为“地图”。它告诉网络：“嘿，把注意力集中在这里，忽略其余部分。”它帮助网络将不同层次的信息粘合在一起，以做出最终、清晰的预测。

3. 结果

作者在三个用于寻找隐藏目标的主要数据集（图像集合）上测试了他们的方法。他们将他们的“框 + 清理”方法与其他使用以下方法的方法进行了比较：

点：仅在目标上点击一个点。
涂鸦： 在目标上画一条杂乱的线。
全描摹： 昂贵的逐像素方法。

结论：
他们使用简单框和清理过程的方法，表现优于使用涂鸦或点的方法，并且与全描摹方法具有竞争力。它成功地在复杂场景中找到了隐藏目标，从海洋中的鱼到金属表面的微小缺陷。

他们还在哪里测试了它？

论文提到，他们不仅将这项技术测试于一般的隐藏目标。他们还将他们的"MGNet"大脑应用于两个具体的现实世界任务：

息肉分割： 在结肠中寻找小的生长物（息肉），这对于预防癌症至关重要。他们的方法比现有的医疗工具更好地发现了这些息肉。
缺陷检测： 在钢铁或瓷砖等工业表面上寻找划痕或瑕疵。他们的方法比其他相机更准确地发现了这些瑕疵。

唯一的弱点

作者诚实地承认了一个局限性。有时，即使有了他们的清理过程，如果背景与目标过于相似，初始的“框”提示仍然可能混淆 AI。在这些罕见情况下，AI 仍可能将轮廓弄错一点点。他们建议未来的工作可能需要结合不同类型的提示（例如框和点），以使初始猜测更加准确。

总结：
这篇论文是关于通过给计算机一个简单的框作为起点，教它们寻找隐藏事物，然后利用一个智能的“清理小组”来修复 AI 的错误，最后使用专门的“侦探网络”来学习完美的轮廓。它在保持结果高度准确的同时，节省了标注时间。

技术摘要：基于 SAM 模型与掩码引导的弱监督伪装目标检测

1. 问题陈述

伪装目标检测（COD）涉及对纹理、颜色和形状与周围环境无缝融合的目标进行像素级分割。尽管深度学习推动了 COD 的发展，但现有的全监督方法依赖于劳动密集型的像素级标注，获取成本高昂。相反，利用粗略标注（点、涂鸦或边界框）的弱监督方法（WSCOD）往往性能下降，具体表现为边缘模糊以及对微小或高度相似目标的漏检。此外，尽管“分割一切”模型（SAM）提供了强大的通用分割能力，但由于伪装目标与背景之间固有的高度相似性，其在 COD 任务中表现不佳，常将背景区域误分类为目标（产生冗余预测）。

2. 方法论

作者提出了一个包含两个主要组件的框架：BoxSAM用于生成高质量伪标签，MGNet（掩码引导网络）用于分割任务。

2.1 BoxSAM：伪标签生成

为解决弱监督的挑战，作者引入了 BoxSAM，该模型利用边界框标注作为“分割一切”模型（SAM）的提示。

标注策略：使用边界框而非涂鸦或点，因为它们不易受人类主观因素（如涂鸦长度或点的位置）的影响，并能定义目标的最小外接框。
冗余处理策略（RPS）：由于 SAM 在 COD 场景中常生成冗余的背景预测，因此采用了一种后处理策略。
1. 使用边界框提示由 SAM 生成初始伪标签。
2. 检测到的目标数量与标注数量一致的标签直接用于训练。
3. 数量不匹配的标签（表明存在冗余）使用训练好的 MGNet 进行处理。利用预测的掩码过滤初始 SAM 输出：将冗余区域中与 MGNet 预测不重叠的像素设为零，而保留重叠区域。这将伪标签精炼为高质量的像素级监督信号。

2.2 MGNet：掩码引导分割

MGNet 旨在利用 BoxSAM 流水线生成的掩码作为引导来优化分割。它包含三个新颖模块：

级联掩码解码器（CMD）：该模块逐步融合来自编码器（PVTv2）的多尺度特征。它通过上采样和拼接整合高层语义信息，并结合经 CBAM 处理的低层细节信息，生成初始掩码（ $P_4$ ）。该掩码作为后续精炼的全局引导。
上下文增强模块（CEM）：为缓解下采样过程中信息丢失导致的漏检，CEM 采用具有不同膨胀率的卷积层以扩大感受野。它还结合了块注意力（BA）机制以增强高频细节提取，补偿丢失的上下文。
掩码引导特征聚合模块（MFAM）：该模块解决边缘模糊问题。它利用初始掩码（ $P_4$ ）生成前景和背景注意力图。这些图引导不同层级特征的聚合，融合相邻层级的特征以产生边缘增强的预测。

2.3 训练与损失

模型使用结合加权二元交叉熵（wBCE）和加权交并比（wIoU）的混合损失函数进行训练。在弱监督设置下，真实标签（ $G$ ）被 BoxSAM 生成的精炼伪标签所取代。

3. 主要贡献

该论文概述了三项主要贡献：

BoxSAM：一种将边界框标注与 SAM 模型相结合的 WSCOD 方法。它引入了一种冗余处理策略，以过滤掉 SAM 错误的背景预测，从而生成用于训练的高质量伪标签。
MGNet：一种利用初始掩码作为引导的新型网络架构。其特点包括用于渐进式掩码生成的级联掩码解码器（CMD）、用于减少漏检的上下文增强模块（CEM），以及通过引导特征融合解决边缘模糊的掩码引导特征聚合模块（MFAM）。
性能：该方法在三个标准数据集（CAMO、COD10K、NC4K）上的 WSCOD 任务中实现了最先进（SOTA）的性能，并在基于边界框监督的弱监督显著性目标检测（SOD）中展现出优越结果。此外，作者在息肉分割和工业缺陷检测任务上验证了模型的泛化能力。

4. 实验结果

在三个 COD 数据集和四个 SOD 数据集上进行了大量实验。

WSCOD 性能：BoxSAM 优于现有的弱监督方法（使用点、涂鸦和边界框监督）。在 CAMO 数据集上，其 $S_\alpha$ 指标比次优的边界框方法（SAM-COD）提高了 2.6%，比次优的基于点的方法提高了 3.8%。
全监督性能：当使用真实标签训练时，MGNet 超越了当前的 SOTA CNN 和基于 Transformer 的 COD 方法。例如，使用 PVTv2_B2 作为骨干网络，其 $S_\alpha$ 平均提高了 1.3%， $F_\beta$ 平均提高了 2.3%，优于次优方法 MSCAF-Net。
消融研究：
- 移除冗余处理策略（RPS）导致性能下降，证实了其对标签质量的必要性。
- 用其他骨干网络（SINet、HitNet 等）替换 MGNet 产生了较差的结果，验证了 MGNet 特定设计的有效性。
- 单独的模块消融实验证实，CMD、CEM 和 MFAM 均对边缘清晰度和检测完整性有显著贡献。
效率：与几种基于 Transformer 的竞争对手相比，MGNet 表现出更低的计算复杂度（FLOPs）和更少的参数。
应用：与这些领域的专用 SOTA 模型相比，该模型在息肉分割（CVC-ColonDB、CVC-ClinicDB）和缺陷检测（CDS2K）方面表现出性能提升。

5. 意义与局限性

作者声称，他们的工作为伪装目标的标注效率与检测准确性之间提供了可行的折衷方案。通过利用 SAM 的泛化能力，并通过专门的冗余策略和掩码引导网络对其输出进行精炼，该方法有效地平衡了像素级标注成本与精确分割需求之间的权衡。

然而，论文也谦逊地承认了局限性。尽管冗余处理策略改进了 SAM 的输出，但 SAM 在 COD 任务中仍存在失败案例，例如分割错误，或在边界框提示下无法识别高度伪装的目标。作者建议未来的研究应专注于提高初始伪标签的准确性，潜在方法包括结合多种标注方法作为大模型的提示。