💻 计算机科学

Improve Salient Object Detection via Adaptive Boundary-Location Feature Fusion

本文提出了一种用于显著性目标检测的自适应边界定位特征融合框架，该框架将任务分解为定位和精细化两个分支，并采用自适应特征增强和动态交叉注意力模块来增强鲁棒性并达到最先进的性能。

原作者： Yuanbin Fu, Jiahao Wang

发布于 2026-10-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanbin Fu, Jiahao Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机视觉这一广袤的领域中，机器正在学习如何观察世界，而其中存在着一个模仿人类本能的特定挑战：知道该看哪里。当一个人瞥向拥挤的街景时，他们的目光并不会以同等的强度扫描每一块砖或每一片叶子；相反，他们会被最引人注目的元素立即吸引，比如一件鲜红的外套或一辆行驶中的车辆。这种自动过滤被称为显著性目标检测（salient object detection）。几十年来，研究人员一直在教计算机执行同样的功能，训练它们将图像中的重要主体从复杂的背景中分离出来。其目标是创建一个数字地图，精准地标出人类会注意到的内容，这一能力是实现自动驾驶或医学成像等更复杂任务的关键第一步。然而，实现这种精确度已被证明是困难的，因为视觉世界是不一致的。一个物体在某张照片中可能由锐利的边缘定义，而在另一张照片中则由整体形状定义，单一的计算机模型往往难以适应这些变化的模式，有时会被看起来重要但实际上只是噪声的误导性细节所迷惑。

来自苏州大学和天津大学的一个研究小组开发了一种新方法来解决这个僵化问题。他们的研究题为“通过自适应边界定位特征融合改进显著性目标检测”（Improve Salient Object Detection via Adaptive Boundary-Location Feature Fusion），提出了一种不依赖于单一、静态规则来寻找目标的系统。相反，他们设计了一个将“视觉”工作拆分为两个截然不同的专业任务的框架：确定物体的所在位置以及精细化其边缘的具体位置。为了理解这种分离为何重要，请考虑识别一辆汽车既需要理解其在场景中的大致形状和位置，也需要注意到汽车与道路或天空接触处的微细细节。以往的方法通常试图用一个模型同时完成这两项任务，这经常导致次优的结果，因为计算机无法同时专注于宏观全局和微观细节。这个新系统使用两个独立的路径（或分支）来处理这些任务。一个分支基于一种擅长捕捉局部细节的网络，专注于物体的边界；另一个分支则利用旨在理解全局关系的网络，专注于物体的位置。

这项研究真正的创新在于这两个分支如何进行交流。在许多现有系统中，来自网络不同部分的信息只是简单地结合在一起，如果图像的某个部分包含令人困惑或具有误导性的数据，这可能会产生问题。研究人员意识到，并非所有的视觉信息对于每张图片都是同样有用的；有时，在一种图片中有助于识别物体的特征，在另一种图片中可能会导致错误。为了解决这个问题，他们引入了一种称为“自适应特征增强”（adaptive feature augmentation）的技术。在两个分支合并其发现之前，这项技术充当一个过滤器，识别并抑制那些可能导致错误的特定数据部分。它本质上是要求计算机对某些可能误导它的细节保持怀疑，增加了一层鲁棒性，从而防止系统被无关的模式所欺骗。这个过程是动态的，这意味着它会根据正在分析的具体图像来改变其行为，而不是对每种情况都应用固定的规则。

一旦系统清理了来自边界和位置分支的数据，它就需要有效地结合它们。研究人员开发了一种“自适应交叉注意力机制”（adaptive cross-attention mechanism）来处理这种融合。与对待所有信息一视同仁的标准方法不同，这种机制允许系统针对每张特定的图像，决定在位置数据和边界数据之间分配多少权重。这类似于人类可能会根据光照条件，更多地关注模糊物体的轮廓，或者更多地关注其大致形状，但在这种情况下，计算机是基于数学逻辑并瞬间做出这种决策。通过让系统根据它所看到的景象来生成自己的组合规则，研究人员确保了最终输出能够针对每张图片的独特特征进行定制。

该方法的测试结果是在使用包含数千张多样化图像的几个标准数据集时，与广泛的现有方法进行了对比。该新系统表现持续优于其竞争对手，在识别物体方面达到了更高的准确度，并在定义边界方面具有更低的错误率。在五个不同数据集的测试中，该模型展示了处理复杂场景（如其他方法难以应对的杂乱背景或物体融入周围环境的图像）的明显能力。研究人员确认，他们的成功不仅是因为拥有更多的计算能力，更是因为其设计的自适应性质。当他们从模型中移除自适应组件时，性能显著下降，这证明了适应不同输入的能力才是关键因素。这项工作表明，计算机视觉的未来可能不在于构建更大、更僵化的模型，而在于创造足够灵活的系统，使其能够理解每一张图片都在讲述不同的故事。

技术摘要：通过自适应边界-位置特征融合改进显著性物体检测

问题陈述

显著性物体检测（SOD）旨在从背景中分割出视觉上突出的物体，作为高级视觉任务的前序步骤。虽然深度学习已将端到端网络确立为标准，但现有方法通常依赖于仅由物体级显著性图监督的单一模型。作者认为，这种策略会导致次优的准确率，因为统一的模型难以同时封装完成物体定位（需要全局语义信息）和边界精细化（需要对强度变化敏感的局部细节）所需的多种多样知识。

此外，目前的多分支模型存在缺乏适应性的问题。它们通常采用静态的特征融合策略，无法考虑到不同输入图像的差异化属性。因此，在一种场景下有益的特征（例如，针对对齐物体的方向信息）在另一种场景下可能会变得有害或具有误导性，从而在融合过程中引入负面影响。核心挑战在于如何有效地探索并融合针对单个图像独特需求而定制的有用信息。

方法论

所提出的框架通过边界-位置特征融合策略来应对这些挑战，将 SOD 任务分解为两个子任务：物体定位和边界精细化。

1. 双分支网络架构

该框架采用两个专门的分支来提取不同的特征类型：

定位分支（Location Branch）： 利用 Vision Transformer (ViT) 主干网络（具体为预训练 P2T 的前四个模块）来捕获全局语义特征以及补丁标记（patch tokens）之间的相互依赖关系。
边界分支（Boundary Branch）： 利用卷积神经网络 (CNN) 主干网络（具体为预训练 MobileNetV2 的前四个模块）来提取局部细节特征。
融合： 来自两个分支的特征经过处理并融合，以生成最终的显著性图。用于边界和定位的辅助预测头仅在训练期间用于提供监督。

2. 自适应特征增强 (AFA)

为了减轻特征空间中误导性归因带来的负面影响，作者提出了一个应用于融合之前的自适应特征增强模块。

归因估计： 归因预测器动态估计一个归因矩阵 ( $A$ )，代表特定特征元素导致错误预测的可能性。同时还学习了一个阈值预测器 ( $T$ )，以根据每个输入实例自适应地调整阈值，而非使用固定值。
可微阈值化： 由于二值阈值化是不可微的，作者使用由标量 $\alpha$ 控制的双曲正切函数 ( $\tanh$ ) 进行可微近似。
增强过程： 该模块将由识别出的误导性归因 ( $\hat{T}_\alpha(A)$ ) 缩放后的随机噪声 ( $\varepsilon$ ) 注入特征图中。这一过程旨在使随后的融合模块从破坏性特征的负面影响中解脱出来，从理论上增强对偏差的鲁棒性。

3. 自适应交叉注意力机制

设计了一个自适应交叉注意力模块，以有效地聚合增强后的边界和位置特征。

动态参数生成： 与具有固定权重的标准注意力机制不同，线性投影参数 ( $W_Q, W_K, W_V$ ) 是根据输入特征动态生成的。通过全局平均池化 (GAP) 和全连接 (FC) 层处理边界和位置特征以生成这些参数。
互补角色： 该设计利用了两个分支的长处：
- 查询 ( $Q$ )： 衍生自位置特征（全局上下文），用于评估长程依赖关系。
- 键 ( $K$ ) 和值 ( $V$ )： 衍生自边界特征（局部细节），用于封装局部上下文和内部表示。
融合： 该机制计算注意力分数以融合特征，从而允许模型根据特定的输入图像自适应地探索互补性。

4. 学习目标

总损失函数 ( $L_{Final}$ ) 结合了四个正则化项：

显著性正则化 ( $L_{Sal}$ )： 二进制交叉熵 (BCE) 和交并比 (IoU) 损失。
归因正则化 ( $L_{Attr}$ )： 一个惩罚项，用于防止平凡归因分数（全为零或全为一），并鼓励分数除非影响极小否则超过阈值。
边界正则化 ( $L_{Boun}$ )： 用于边界预测的 BCE 和 Dice 损失。
定位正则化 ( $L_{Local}$ )： 用于边界框预测的坐标损失和 IoU 损失。

核心贡献

自适应特征增强： 一种新颖的技术，能够根据不同的输入，自适应地识别并处理特征空间中的有害归因，从而增强模型的鲁棒性。
自适应交叉注意力： 一种机制，能够根据特定图像动态计算查询、键和值参数，以有效地融合边界和位置特征，充分利用它们的互补优势。
边界-位置框架： 一种双分支架构，将 SOD 任务简化为物体定位和边界精细化，分别利用 ViT 和 CNN 主干网络来捕获全局和局部特征。

实验结果

模型在 DUTS-TR 数据集上进行训练，并在五个标准基准数据集上进行了评估：DUTS、DUT-O、HKU-IS、ECSSD 和 PASCAL-S。性能衡量指标为最大 F-measure ( $F_{max}$ ) 和平均绝对误差 (MAE)。

定量性能： 所提方法在所有五个数据集上均达到了最先进（state-of-the-art）的结果。例如，在 DUTS 数据集上，它实现了 0.939 的 $F_{max}$ 和 0.021 的 MAE，优于 MDSAM ( $F_{max}$ 0.937) 和 DC-Net ( $F_{max}$ 0.930)。在 HKU-IS ( $F_{max}$ 0.966) 和 ECSSD ( $F_{max}$ 0.978) 上也观察到了类似的卓越性能。
消融实验： 移除自适应特征增强 (AFA) 和自适应交叉注意力 (ACA) 模块的实验证实了它们的必要性。同时移除两者会导致性能显著下降（例如，DUTS 上的 $F_{max}$ 从 0.939 降至 0.927），而单独移除其中之一也会导致性能退化，验证了两个模块的贡献。
视觉分析： 在挑战性场景下的定性比较表明，与其它方法相比，所提模型能更稳健地处理多样化的特征和模式，减少了复杂场景下的假阳性和假阴性。

意义与主张

论文声称其主要意义在于解决了 SOD 中特征融合的适应性问题。通过摆脱静态网络参数和统一模型，所提出的框架能够针对单个输入动态地定制处理策略。作者断言，他们能够自适应地探索并融合相关信息——同时抑制有害归因——这使得与现有的最先进竞争对手相比，能够在广泛的图像谱系中获得更优的检测结果。

作者指出，虽然目前的工作侧重于 SOD，但该方法论具有扩展到伪装物体检测和语义分割等其他任务的潜力。该工作得到了江苏省及苏州市规划项目等多项科技计划的支持。