💻 computer science

Molten mark classification using multi-scale directional cross-scale attention fusion

本文提出了一种用于电气火灾调查的熔融痕迹分类方法，该方法利用 Swin Transformer 和带有方向性跨尺度注意力融合的双向特征金字塔网络，与现有的基于 CNN 的方法相比，实现了更高的准确性和对图像退化的鲁棒性。

原作者： Taehi Kim, Jonghwa Shim, Eenjun Hwang

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Taehi Kim, Jonghwa Shim, Eenjun Hwang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜团的侦探，但线索只是留在电线上的微小、熔化的金属块。在电气火灾调查的世界里，弄清楚火灾是如何发生的至关重要。是由于突然且剧烈的电气短路产生了一个熔融金属珠？还是由于外部热源（如蜡烛或加热器）缓慢加热电线直到其熔化？答案决定了谁该承担责任，以及如何防止此类事件再次发生。传统上，专家们必须切割这些电线，像打磨宝石一样对它们进行抛光，然后在昂贵显微镜下观察——这是一个缓慢、昂贵且耗费人力的过程。但最近，科学家们尝试通过向计算机展示熔融点的照片，来教计算机完成这项工作。挑战在于这些熔融点非常棘手：它们看起来可能非常相似，而且“线索”隐藏在微小的细节（如表面光泽）和宏大的形状（如整体轮廓）之中。这就像试图仅通过一只眼睛与通过整张脸来分辨一对双胞胎一样；你需要同时观察全局才能得出正确结论。

这篇论文介绍了一种全新的、超级智能的计算机大脑，专门设计用于解决这个“熔融金属之谜”。研究人员构建了一个系统，它就像一个侦探团队，每个侦探都从不同的距离观察电线。有些侦探会极度放大，以观察细微的划痕和光泽（局部细节）；而另一些侦探则会退后一步，观察大局和整体形状（全局上下文）。他们发明的秘诀是一种被称为**方向性跨尺度注意力机制（Directional Cross-Scale Attention, DCSA）**的特殊“注意力”机制。你可以把它想象成一副神奇的眼镜，它不仅能让侦探们看见，还能帮助他们互相交流。如果“近距离”侦探看到一个看起来像短路产生的闪光点，他们可以向“广角”侦探低声耳语：“嘿，检查一下整体形状是否也符合短路的特征！”这种对话是双向进行的，使得系统能够结合来自每个缩放层级的最佳线索。

研究发现，这种新方法明显优于目前的最佳工具。在对超过 18,000 张图像（包括一些在混乱、真实的火灾现场拍摄的图像）的大规模集合进行测试时，新系统实现了 0.9613 的 F1 分数和 0.9257 的马修斯相关系数 (MCC)。为了让你有个直观的概念，它在 F1 分数上比之前的顶尖模型高出了 2.26 个百分点，在 MCC 上高出了 4.02 个百分点。但真正的魔力发生在图像变得“凌乱”的时候。在现实世界中，火灾现场通常充满了烟雾、模糊或光照不足。当研究人员在“退化”（模糊且多噪点）的图像上测试模型时，旧的计算机模型（基于标准 CNN 的模型）崩溃了，平均损失了约 15.75% 的准确率。然而，新系统仅损失了 2.88% 的准确率。即使在证据难以辨认的情况下，它依然保持冷静且准确。

作者还进行了实验，以证明其特定的设计选择正是成功的关键。他们表明，仅仅添加标准的“注意力”（比如通用的聚光灯）是不够的；该系统需要那种特定的“跨尺度”对话，即不同缩放层级之间相互帮助。他们还证明了从顶向下（全局到局部）和从底向上（局部到全局）两个方向进行观察是必不可少的；只做其中之一或两者兼而有其一都会降低系统的准确性。通过将计算机的“视线”可视化，他们证实了我们的模型精准地聚焦在熔融金属上，忽略了如烟灰或网格线之类的干扰背景，而旧模型经常会被背景所迷惑。最终，这篇论文表明，通过让不同层级的细节进行对话，我们可以构建出不仅更快、更便宜，而且极其强韧的火灾调查员，即使在证据模糊的情况下也能破解谜团。

技术摘要：基于多尺度方向跨尺度注意力融合的熔融痕迹分类

问题陈述
在电气火灾调查中，区分短路珠（由电弧引起）与热痕（由外部火焰引起）对于确定起火原因和判定责任至关重要。传统方法依赖于对导线横截面的金相分析，这需要昂贵的设备、大量的体力劳动进行预处理（切割、抛光）以及耗时的分析过程。虽然近年来使用卷积神经网络（CNN）的深度学习方法已展现出潜力，但它们面临着固有的局限性。CNN 使用固定大小的卷积核和局部感受野，在捕捉精确分类所需的复杂局部纹理（如表面光泽）与全局形态特征（如边界锐度）之间的相互作用方面效果较差。此外，现实世界的火灾现场图像通常存在退化问题（模糊、噪声、污染），固定感受野模型在这些情况下难以维持性能。

方法论
作者提出了一种新型分类架构，该架构集成了一个带有增强型**方向跨尺度注意力（DCSA）**模块的改进型双向特征金字塔网络（BiFPN）颈部，并采用了 Swin Transformer 作为骨干网络。

骨干网络（多尺度提取）： 系统采用 Swin Transformer 在四个不同的分辨率层级（ $C_1$ 至 $C_4$ ）提取层次化视觉特征。这使得模型能够捕捉高分辨率下的细粒度局部纹理细节，以及低分辨率下的全局形态上下文。这些特征通过 $1\times1$ 卷积被投影到统一的通道维度（ $d=256$ ）。
颈部（DCSA 增强型 BiFPN）： 作者引入了 DCSA 模块来取代 BiFPN 融合节点中的标准标量加权求和。该模块执行双向特征融合（自上而下和自下而上），同时根据跨尺度依赖关系对特征进行自适应重新校准：
- 自上而下路径（Top-Down Pathway）： 将全局上下文从粗糙尺度传播到精细尺度。DCSA 模块（ $DCSA_{td}$ ）对当前尺度的特征应用通道注意力（基于拼接输入的全局平均池化）和空间注意力（基于跨尺度相似性和空间图生成器）。随后，一个门控残差机制自适应地融合经过注意力处理的特征与上采样的粗糙特征，从而控制全局上下文的传播强度。
- 自下而上路径（Bottom-Up Pathway）： 将局部细节从精细尺度传播到粗糙尺度。 $DCSA_{bu}$ 模块处理三个输入：下采样的自下而上特征、当前尺度的骨干网络特征以及自上而下的中间特征。它采用共享的全连接（FC）网络进行通道注意力处理，并使用经 SoftMax 归一化的空间注意力机制来选择每个空间位置上信息量最大的输入，从而防止冗余特征的累积。
分类头： 来自所有四个尺度的融合特征通过全局平均池化（GAP）进行聚合，经拼接后传递至包含全连接层（1024 $\to$ 512 $\to$ 256）、层归一化、ReLU 和 Dropout 的融合网络，最后通过线性分类器输出二分类结果。

核心贡献

新颖架构： 本研究首次将使用 Swin Transformer 和 BiFPN 的多尺度特征融合应用于熔融痕迹分类。
DCSA 模块： 作者提出了 DCSA 模块，该模块用具有方向感知能力的通道和空间注意力取代了 BiFPN 节点中的标准标量权重。这使得网络能够根据不同分辨率层级的特征，选择性地强调分类相关的通道和空间区域，解决了现有 BiFPN 对所有通道和空间位置一视同仁的局限性。
鲁棒数据集： 通过将实验室生成的样本与从实际电气火灾现场收集的（通常存在污染和退化的）熔融痕迹数据集相结合，增强了研究的实用性。
全面验证： 该方法通过广泛的对比实验、消融实验以及定性分析（GradCAM 和 t-SNE）进行了验证。

实验结果
所提方法在一个包含 18,750 张训练图像和 4,905 张测试图像（包括实验室数据和真实火灾现场数据）的数据集上进行了评估。

标准数据集上的表现： 所提模型实现了 0.9613 的 F1 分数和 0.9257 的马修斯相关系数（MCC）。相比于表现最好的基准模型（Swin Transformer），其 F1 分数提升了 2.26 个百分点，MCC 提升了 4.02 个百分点。该模型保持了平衡的精确率（0.9633）和召回率（0.9593），优于基于 CNN 的模型（VGG16、EfficientNet）和其他 Transformer 变体（ViT、DeiT）。
对退化的鲁棒性： 在模拟模糊、噪声和压缩的退化测试数据集上，所提模型表现出卓越的鲁棒性，准确率仅下降了 2.88%。相比之下，基于 CNN 的模型平均准确率下降了约 15.75%，且由于过度依赖细微纹理，其精确率经常出现崩溃。所提模型保持了 0.8681 的 MCC，显著优于基准模型。
消融实验： 移除自上而下或自下而上的 DCSA 路径，或隔离通道/空间注意力，均会导致性能下降，这证实了全集成跨尺度调节和双向流对于实现最优性能是必不可少的。
定性分析： GradCAM 可视化表明，所提模型仅关注熔融痕迹区域，有效地抑制了背景干扰（如网格线、烟尘），而基准模型在这些区域则无法做到这一点。t-SNE 可视化显示，该模型学习到了类别内的细粒度子簇，能够区分不同的导线类型和形态。

意义
论文声称，所提方法通过有效利用多尺度融合中的局部和全局特征，解决了现有基于 CNN 方法的关键局限性。通过引入 DCSA 模块，该方法能够选择性地强调在某一尺度上显著但在另一尺度上细微的判别性线索。结果表明，这种方法不仅实现了最先进的准确度，还为图像质量经常受损的现实火灾调查场景提供了必要的鲁棒性。研究表明，该架构提供了一种能够替代高强度金相分析的自动化可行方案，有望提高电气火灾原因判定的效率和可靠性。

类似论文