💻 computer science

Multi-Scale Tensorial Summation and Dimensional Reduction Guided Neural Network for Edge Detection

本文提出了一种用于边缘检测的新型神经网络 MTS-DR-Net，该网络将多尺度张量求和（MTS）层与降维（MTS-DR）模块相结合，以高效捕获大感受野并消除冗余信息，随后通过 U 形细化模块在基准数据集上实现卓越性能。

原作者： Lei Xu, Mehmet Yamac, Mete Ahishali, Moncef Gabbouj

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Lei Xu, Mehmet Yamac, Mete Ahishali, Moncef Gabbouj

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个非常杂乱、拥挤的房间里勾勒出一个形状的轮廓。在计算机视觉领域，这被称为边缘检测。它的任务是教会计算机识别一个物体在哪里结束，另一个物体在哪里开始，就像一个孩子学习描摹图片的轮廓一样。

很长一段时间里，计算机在这方面表现不佳。它们要么遗漏细节，要么被阴影和纹理搞糊涂。使用“深度学习”（智能计算机大脑）的新方法表现要好得多，但它们有一个问题：它们就像巨大的、沉重的背包。为了清晰地看清整幅画面，这些计算机需要极其深邃和复杂的结构，这使得它们运行缓慢且成本高昂。

本文的作者徐雷及其团队构建了一种名为MTS-DR-Net的新型计算机大脑。他们设计它更轻量、更快速，并且在无需巨大“背包”的情况下更智能地寻找边缘。

以下是他们是如何做到的，使用了一些简单的类比：

1. “全景”与“杂乱房间”（多尺度张量求和）

通常，要看清一幅大图，你必须通过一系列小窗户，一个接一个地观察。这非常耗时。
作者使用了一种称为多尺度张量求和（MTS）的特殊技巧。想象一下，与其一个接一个地透过小窗户看，不如你拥有一副魔法眼镜，可以同时透过一个小窗户、一个中等窗户和一个巨大的窗户观察房间。
这使得计算机能够从第一眼起就立即理解物体的形状，而无需构建超深、复杂的结构。这就像拥有一个广角镜头，能瞬间捕捉到一切。

2. “垃圾收集器”（降维）

大多数边缘检测器试图通过观察所有内容并希望能从中挑选出“好”的部分（即边缘）来找到它们。
MTS-DR-Net 则反其道而行之。把它想象成杂乱房间里的一个智能垃圾收集器。它不是先尝试寻找有价值的物品，而是立即扫走那些无关紧要的“垃圾”（冗余信息，如平滑的墙壁或均匀的颜色）。
通过首先去除不必要的杂乱，计算机只剩下对重要线条和边界的清晰、专注的视图。这就是论文中所谓的“降维”。它迫使计算机只关注“必要的子空间”（重要部分），而不是被噪声分散注意力。

3. “精炼站”（U 形网络）

一旦“垃圾”被清除，主要轮廓被识别出来，计算机就会将图像传递给一个精炼网络。
把这想象成一个抛光站。图像虽然已经被清理过，但可能看起来仍然有点粗糙或模糊。系统的这一部分会对清理后的图像进行平滑处理，使线条变得清晰锐利。它采用了一种"U 形”设计，就像一个漏斗，先收窄以寻找细节，然后再拓宽以绘制最终完美的图像。

4. 为什么这很重要？

论文宣称取得了三大胜利：

无需“后处理”：通常，在计算机画出边缘后，人类必须运行一个单独的清洁步骤（就像用橡皮擦修正污迹）来使线条看起来美观。这个新系统画出的线条如此干净，以至于不需要那个额外的步骤。这就像一次画出一个完美的圆，无需再描摹。
无需“作弊码”（迁移学习）：许多智能计算机系统需要在执行特定任务之前，先在数百万张其他图片上进行训练。这个系统从头开始学习如何寻找边缘，无需通过利用其他任务的预训练知识来“作弊”。
高效性：它在寻找边缘方面优于其他顶级竞争对手（如 TEED、Pidinet 和 XYW-Net），同时使用的计算机资源更少。这就像在考试中获得更好的成绩，却只花了更少的时间复习。

结果

该团队在两张标准的计算机“试卷”（名为 BSDS500 和 BIPEDv2 的数据集）上测试了他们的发明。

在这些测试中，他们的系统得分高于其他顶级方法。
它生成的图像细节更丰富，且“噪声”（不应存在的随机点或线）更少。
即使是他们系统的最小版本，在保持更轻量、更快速的同时，也在准确性上击败了竞争对手。

简而言之，作者构建了一种计算机视觉工具，它能查看图像，瞬间扔掉无聊的内容，专注于重要的线条，并在无需沉重“背包”或二次清理杂乱的情况下，绘制出完美的轮廓。

技术摘要：多尺度张量求和与维度归约引导的边缘检测神经网络

1. 问题陈述

边缘检测是一项基础的低级计算机视觉任务，对图像分割、增强和智能交通等下游应用至关重要。尽管深度学习取得了显著进展，但现有方法仍面临三个主要挑战：

效率与质量的权衡：获得高质量的定性结果通常需要具有大感受野的深层复杂网络，导致计算成本高且参数冗余。
后处理依赖：最先进（SOTA）的方法经常依赖非极大值抑制（NMS）或形态学方案来确保结果的清晰度，这增加了推理流程的复杂性。
迁移学习依赖：当前表现最佳的模型通常依赖预训练或迁移学习来有效处理如 BSDS500 等具有挑战性的数据集。
数据特征：基准数据集存在标签不确定性（由于多重标注）和类别不平衡（边缘与非边缘），需要鲁棒地处理噪声和冗余。

2. 方法论：MTS-DR-Net

作者提出了MTS-DR-Net，这是一种新颖的架构，旨在通过首先去除冗余信息而非直接提取必要特征来高效地提取边缘特征。该网络由两个主要部分组成：MTS-DR 骨干网络和细化网络。

2.1. MTS-DR 骨干网络

骨干网络旨在识别并保留“必要子空间”（相关边缘信息），同时丢弃同质特征。

多尺度张量求和（MTS）层：受 Tucker 分解和广义张量求和的启发，MTS 层取代了复杂的 CNN 或 Transformer 模块。它在不同窗口大小（例如 8、16、32、64）的块级特征图上操作，从而在初始层实现大感受野。它通过张量求和执行可学习的线性映射：
$MTS(X) = \sum_{sc=1}^{SC} f^{-1}_{w_{sc}} \left( \sum_{t=1}^{T} f_{w_{sc}}(X) \times_1 A^{(t,sc)}_1 \times_2 \dots \times_J A^{(t,sc)}_J \right)$
多头门控（MHG）层：为了在不使用传统激活函数（如 ReLU）的情况下引入非线性，MHG 层使用门控操作。它将特征图分割为多个头，通过 $1\times1$ 和 $3\times3$ 卷积应用可学习的线性映射（ $g_1, g_2$ ），随后进行逐元素相乘。这近似了信号空间的曲率。
维度归约机制：一个 MTS-DR 块依次应用 MTS 层（压缩维度）、MHG 层（非线性）和第二个 MTS 层（恢复维度）。骨干网络的最终输出是通过从原始输入中减去经 Sigmoid 门控的输入生成的特征图 $\tilde{X}$ ：
$\tilde{X} = X - \text{Sigmoid}(X) \otimes X$
该操作有效地抑制了冗余特征，突出了不连续性。

2.2. 细化网络

骨干网络的输出馈入一个轻量级的 U 形细化网络。

架构：它利用具有三个尺度的编码器 - 解码器结构。编码器对特征进行下采样，而解码器对其进行上采样。
侧边融合：来自三个尺度的特征使用具有四个专家的**条件卷积（CondConv）**层进行融合，以增强每个尺度的学习能力。
输出：网络通过 $1\times1$ 卷积和 Sigmoid 激活函数产生三个侧边输出和一个最终融合的边缘图，生成范围从 0 到 1 的概率图。

2.3. 损失函数

为了解决标签不确定性和类别不平衡问题，该模型采用**加权二元交叉熵（WBCE）**损失。

它使用权重 $\alpha$ 和 $\beta$ 平衡正样本（边缘）和负样本（非边缘）像素。
引入阈值 $\eta$ 以减轻真实标注中的不确定性（忽略标签模糊的像素）。
总损失是三个侧边输出和最终融合输出的 WBCE 之和。

3. 主要贡献

开创性的张量求和：这项工作首次专门针对边缘检测任务利用张量求和策略，作为复杂深层结构的紧凑替代品。
冗余优先方法：与直接提取特征的传统方法不同，所提出的模型首先通过维度归约去除不必要的特征，使网络专注于相关子空间。
无需后处理的高效性：MTS-DR-Net 同时实现了高精度和高效率，无需 NMS 或其他后处理步骤。
无需迁移学习的性能：即使在未使用迁移学习或预训练的情况下，该模型在基准数据集上的表现也超过了之前的 SOTA 方法。

4. 实验结果

该模型在BSDS500和BIPEDv2数据集上进行了评估，并与 TEED、PiDiNet、DexiNed 和 XYW-Net 进行了比较。

BSDS500：MTS-DR-2 变体实现了最佳数据集尺度（ODS）0.744和最佳图像尺度（OIS）0.758（Thin 设置），在 ODS 上比 XYW-Net 高出 1.9%。轻量级的 MTS-DR-3 变体在参数减少**40.9%且 GFLOPs 降低56.9%**的情况下，实现了与 XYW-Net 相当的性能。
BIPEDv2：该模型实现了0.6038的平均 IOU 和0.8689的平均精度。MTS-DR-2 变体实现了最佳 ODS（0.903）和 OIS（0.909）。
消融研究：
- 可扩展性：增加 MTS-DR 块的数量（ $M$ ）和通道数（ $C$ ）提高了性能，但较小的配置（MTS-DR-3）仍然极具竞争力。
- 压缩率（CR）：与 0.4 相比，较低的压缩率（0.2）在降低计算复杂度的同时产生了略高的 ODS/OIS 分数。
定性分析：视觉结果表明，MTS-DR 骨干网络成功去除了同质特征，生成的边缘图比竞争对手具有更丰富的细节和更少的噪声。

5. 意义与主张

该论文声称，MTS-DR-Net 通过利用多尺度张量求和在网络早期实现大感受野，代表了边缘检测架构的重大转变。其主要意义在于：

消除冗余：通过专注于维度归约以隔离必要子空间，网络避免了处理无关特征的计算负担。
简单性与鲁棒性：该方法无需复杂的预训练流程或后处理形态学操作即可实现 SOTA 性能。
高效性：它证明了高质量边缘检测可以用比现有深度学习方法显著更少的参数和更低的计算成本（GFLOPs）实现，使其适用于资源受限的环境。

作者总结认为，多尺度张量求和分解算子是边缘检测任务中复杂 DNN 结构的一种可行且高效的替代方案。