💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

该论文提出了 ScratNet，这是一个结合了改进的 Swin Transformer 骨干网络与具有多尺度聚合和精度细化模块的专用解码器的创新端到端框架，旨在实现对不规则、低对比度半导体划痕缺陷的高精度分割。

原作者： Sachin Ranjan, Hoon Kim

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Sachin Ranjan, Hoon Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名侦探，正试图在一块闪亮的、高科技的硅芯片上寻找那些最微小、最顽固的划痕。这些划痕并非普通的划痕，它们就像隐形的蜘蛛网或发丝般的细线，一旦被漏掉，可能会毁掉整个芯片。问题在于？背景充满噪声，光照复杂，而且划痕的形状和大小不断变化。

长期以来，侦探们（或者说工程师们）一直尝试使用传统的规则和人工观察来寻找这些划痕。但本文解释说，这就像戴着厚手套在干草堆里找针——速度慢、令人疲惫，而且你经常会漏掉针头，或者把一粒灰尘误认为是针。

随后出现了“深度学习”，这是一种擅长识别模式的计算机大脑。但即使是这些聪明的计算机也有一个盲点：它们非常擅长发现大块的缺陷，但在识别超细、锯齿状的边缘时却表现得很糟糕。这就像一台相机可以清晰地看到整座山脉，却把底部的微小碎石拍得模糊不清。

核心创意：ScratNet
论文作者构建了一个名为 ScratNet 的新工具来解决这个问题。你可以把它想象成一个结合了超级放大镜与侦探直觉的工具。它是专门为追踪半导体晶圆上那些棘手的细微划痕而设计的。

以下是 ScratNet 的工作原理，分为三个酷炫的技巧：

“全局视野”与“局部细节”的小队：
论文使用了一个被称为 Swin Transformer 的特殊“大脑”作为基础。想象一下这是一个侦察兵小队。有些侦察兵爬到高高的树上观察整个森林（全局上下文），而另一些则留在地面观察单片叶子（局部细节）。ScratNet 将这些视角融合在一起，因此它不会因为划痕太小或处于奇怪的位置而错过它。
“茎部”连接（The "Stem" Connection）：
有时，当你为了看清全局而缩小视野时，你会丢失精细的纹理。ScratNet 有一个特殊的模块，称为茎部集成模块（Stem Integration Module, SIM）。你可以把它想象成一条“记忆之路”，它将超锐利的早期细节重新带回混合过程中。这确保了当计算机判定“是的，那是划痕”时，它能记住边缘的具体样子，而不仅仅是一个模糊的猜测。
“边缘锐化”工具：
这是论文的秘密武器。作者添加了一个**精度细化（Precision Refinement, PR）**分支。想象你有一张划痕的草图，但线条有点模糊。这个模块使用特殊的“各向异性”滤波器（这意味着它们会向特定方向拉伸，就像一把尺子）来锐化边缘。这就像是用滤镜让一张模糊的照片变得清晰，专门针对那些其他方法会错过的细长且不规则的线条。

他们排除了什么
论文非常明确地指出了哪些方法单独使用时效果不够好。

旧规则： 他们明确指出，传统方法（如人工检查或简单的图像处理）过于缓慢且缺乏一致性。
标准 AI： 他们认为标准的深度学习模型（如常规的 CNN）往往无法捕捉到那些细粒度的边缘细节。
通用 AI 的“灵丹妙药”： 作者测试了一个著名的通用 AI 模型，叫做 SAM（Segment Anything Model）。他们尝试了两种方式使用 SAM：在没有训练的情况下进行“零样本”（zero-shot）预测，以及通过边界框进行训练。结果如何？SAM 表现挣扎。在“零样本”测试中，它在 IC 数据集上的 IoU（衡量形状匹配程度的分数）仅为 42.81%。即使他们通过边界框进行了微调，也仅达到了 78.33%。论文结论认为，虽然 SAM 在通用照片领域很神奇，但它并不是这些特定工业划痕的正确工具。你需要一个像 ScratNet 这样专门化的工具。

他们的结论有多可靠？
作者并没有凭空猜测；他们在两个真实数据集上进行了广泛的实验：

IC 图像： 749 张集成电路图像。
晶圆图像： 8,200 张硅晶圆图像。

他们使用严格的数学方法测量了一切。在 IC 数据集上，他们的最佳模型（以 Swin-Base 作为骨干网络的 ScratNet）实现了 87.32% 的 IoU（配合数据增强）和 93.48% 的 Dice 分数。在没有数据增强的情况下，IoU 为 85.82%。在晶圆数据集上，它达到了 81.17% 的 IoU 和 87.96% 的 Dice。

至关重要的是，他们观察了边缘。他们测量了 Boundary IoU（轮廓匹配程度）和 Hausdorff 距离（边缘偏差程度）。ScratNet 将边缘误差（Hausdorff 距离）降低到了 IC 数据集上的低至 23.35 像素（特别是在使用 Swin-Base 骨干网络和数据增强的情况下），相比之下，其他方法的误差高达 40 像素以上，这是一个巨大的进步。

最终裁定
论文证明，通过将强大的“侦察”系统（Swin Transformer）、“细节恢复器”（Stem Integration）和“边缘锐化器”（Precision Refinement）相结合，你可以找到其他方法会错过的划痕。

他们测量出 ScratNet 始终优于竞争对手。例如，在 IC 数据集上，一个名为 UNet 的标准模型 IoU 为 79.48%，而 ScratNet（配合增强）达到了 87.32%。这是一个显著的准确度飞跃。

作者对这些数字充满信心，因为他们将 ScratNet 与许多其他著名模型（如 ResNet、HRNet 以及各种解码器类型）进行了对比，并发现 ScratNet 每次都是赢家。他们建议这种方法为芯片制造的未来提供了一个“可扩展且稳健的解决方案”，但他们并未止步于声称这对于世界上每一个单一场景都是一个完美的、已解决的问题。他们只是展示了，对于他们测试的数据，ScratNet 目前是工具箱里最好的工具。

技术摘要：用于半导体划痕分割的 ScratNet

1. 问题陈述

半导体制造中的表面划痕缺陷由于其形状不规则、对比度低以及尺度多变，给质量控制带来了严峻挑战。传统的检测方法（包括人工视觉检测和基于规则的图像处理）由于劳动强度大、速度慢且容易出现不一致性，在器件几何尺寸缩小和集成密度增加的情况下显得力不从心。虽然基于卷积神经网络（CNN）的深度学习方法提高了检测精度，但它们往往难以捕捉细粒度的边缘细节，而这对于实现薄弱且不规则缺陷的精确像素级分割至关重要。此外，工业划痕图像经常受到显著噪声、光照变化和严重类别不平衡的影响，使得可靠检测变得更加复杂。

2. 方法论

作者提出了 ScratNet，这是一个端到端可训练的划痕分割框架，旨在解决现有方法的局限性。该架构集成了一个改进的 Swin Transformer 主干网络和一个由三个专门模块组成的自定义解码器：

A. 改进的 Swin Transformer 主干网络

为了提高提取对检测细微划痕至关重要的低级线索的能力，标准 Swin Transformer 的分块划分层被一个轻量级的 Stem 模块 所取代。该 Stem 由两个连续的步长为 2 的 $3 \times 3$ 卷积层组成。这种设计在降低分辨率的同时扩展了通道数，从而保留了在传统分块标记化过程中可能会丢失的纹理和边缘信息。随后，主干网络通过四个阶段的分层窗口自注意力机制进行处理，以提取多尺度空间和上下文特征。

B. MSP 解码器

被称为 MSP 的解码器通过三个组件将语义上下文与高分辨率空间信息进行融合：

多尺度空洞聚合 (MDA)： 该模块以自顶向下的方式聚合来自 Swin 主干网络四个阶段的所有特征图。它采用一个 空洞块 (DiBlock)，该块由两个具有特定空洞率（例如，针对阶段 1–4 分别为 $(8,1), (6,1), (4,1), (2,1)$ ）的连续 $3 \times 3$ 卷积组成。这种结构通过空洞卷积捕获全局上下文信息，并通过非空洞卷积捕获局部空间细节，从而构建出丰富的上下文表示。
Stem 集成模块 (SIM)： 为了恢复在下采样过程中丢失的空间细节，SIM 将来自 Stem 网络的高分辨率特征与来自 MDA 的聚合特征进行集成。它应用 $3 \times 3$ 卷积将 Stem 线索 ( $S_1, S_2$ ) 与解码器输出逐步融合，从而强化了用于细粒度分割的结构细节。
精度精炼 (PR) 模块： 该模块专门针对边界锐度进行优化，这对于细长缺陷至关重要。它对聚合后的特征图应用四个并行的 各向异性卷积 ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ )。这些滤波器能够捕获水平、垂直和细长模式，随后通过拼接并投影生成最终的像素级分割图。

C. 损失函数

为了解决缺陷（前景）像素与背景像素之间的类别不平衡问题，模型使用结合了 二元交叉熵 (BCE) 和 Dice 损失 的复合损失函数进行训练。这种公式化方法在最大化预测结果与地面真值重叠度的同时，确保了针对少数类别的鲁棒梯度流。

3. 核心贡献

论文概述了四项主要贡献：

ScratNet 框架： 一种新型的多级、端到端可训练框架，集成了改进的 Swin-Base Transformer 以及多尺度空洞聚合和精度精炼技术，专门针对细长且不规则的划痕检测进行了定制。
多尺度空洞聚合 (MDA)： 一个利用空洞卷积和非空洞卷积同时捕获全局和局部上下文，从而整合来自四个 Swin 阶段的多尺度特征的模块。
Stem 集成与精度精炼： 引入了用于恢复低级空间细节的 Stem 集成模块 (SIM)，以及一个使用各向异性卷积来锐化边界的精度精炼 (PR) 分支，显著提升了在挑战性划痕模式上的分割性能。
达到最先进水平的性能： 证明了在半导体划痕数据集上，与现有方法相比具有卓越的分割质量和鲁棒性。

4. 实验结果

作者在两个数据集上评估了 ScratNet：一个 IC 图像数据集（749 幅图像， $180 \times 180$ 分辨率）和一个 晶圆 (Wafer) 图像数据集（8,200 幅图像， $224 \times 224$ 分辨率）。

定量性能： ScratNet 一致优于基准模型（结合了 FCN、FPN 和 UPerNet 解码器的 UNet、ResNet50、HRNet 及 Swin 变体）。
- 在使用 Swin-Base 主干网络和数据增强的 IC 数据集 上，ScratNet 实现了 87.32% 的 IoU 和 93.48% 的 Dice 分数，大幅超过了次优的 Swin-Base 配置（UPerNet）。
- 在 晶圆数据集 上，使用 Swin-Base 的 ScratNet 实现了 81.17% 的 IoU 和 87.96% 的 Dice（配合数据增强），在所有解码器组合中表现最佳。
边界指标： 该模型展示了卓越的边界对齐能力，这通过比基于 CNN 和标准基于 Transformer 的基准模型更高的 Boundary IoU 分数和更低的 Hausdorff 距离 值得到了证实。
消融研究： 实验证实了每个组件的增量价值。MDA 模块提供了最大的初始增益，而 PR 模块显著提升了边界精度，SIM 模块则进一步增强了性能，尤其是在使用 Transformer 主干时。
效率： ScratNet 在准确性和计算成本（延迟和 FLOPs）之间保持了良好的平衡，在准确性方面优于 UPerNet，同时在效率方面保持竞争力。
与 SAM 的比较： 在零样本和微调设置下，与 Segment Anything Model (SAM) 相比，ScratNet 表现出显著优越的性能，凸显了领域特定架构在微缺陷分割中的必要性。

5. 重要性与主张

论文声称 ScratNet 为高精度制造中的自动化划痕检测提供了一种可扩展且鲁棒的解决方案。通过利用阶段自适应特征聚合和边界感知精炼技术，有效应对不规则形状、低对比度和多变尺度带来的挑战，所提出的方法在细长和不规则缺陷检测方面实现了卓越的精度。作者将 ScratNet 定位为超越传统人工方法和现有深度学习方法的重大进步，能够提高产品良率并降低检测成本。研究结论指出，尽管像 SAM 这样的通用模型在自然图像中展现出潜力，但专门的架构（如 ScratNet）对于半导体缺陷分割这一高度特定的需求仍然不可或缺。未来的工作建议探索先进的滤波技术和轻量化解码器架构，以实现实际部署。