💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

本論文は、修正されたSwin Transformerバックボーンと、マルチスケール集約および精度精緻化モジュールを備えた特化型デコーダを組み合わせた新しいエンドツーエンドのフレームワークであるScratNetを提案しており、これにより、不規則で低コントラストな半導体スクラッチ欠陥のセグメンテーションにおいて優れた精度を実現している。

原著者： Sachin Ranjan, Hoon Kim

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sachin Ranjan, Hoon Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、光沢のあるハイテクなシリコンチップの上にある、極めて微細で執拗な傷を探し出そうとしている探偵だと想像してください。これらは単なる傷ではありません。それらはまるで目に見えないクモの巣や、髪の毛のように細い線のようです。もしこれらを見逃せば、チップ全体を台無しにしてしまう可能性があります。問題は、背景にノイズがあり、照明が難しく、さらに傷の形やサイズが絶えず変化することです。

長い間、探偵たち（正確にはエンジニアたち）は、古い手法や手動の観察を用いてこれらの傷を見つけようとしてきました。しかし、この論文によれば、それは厚手のグローブをはめたまま干し草の山の中から針を探すようなものでした。それは遅く、疲れやすく、針を見逃したり、ただの塵を針と間違えたりすることもよくありました。

そこで「ディープラーニング（深層学習）」が登場しました。これはパターンを見つけ出すことに非常に長けた一種のコンピュータの脳です。しかし、これらの賢いコンピュータにも弱点がありました。大きな塊のような欠陥を見つけるのは得意でしたが、非常に細くギザギザしたエッジを持つ細い傷を見つけるのは苦手だったのです。それは、山全体を鮮明に映し出せるカメラが、その麓にある小さな小石をぼかしてしまうようなものです。

核心となるアイデア：ScratNet
著者たちは、この問題を解決するために「ScratNet」と呼ばれる新しいツールを構築しました。ScratNetを、強力な拡大鏡と探偵の直感を組み合わせたものだと考えてください。これは、半導体ウェハー上のあの厄介で細い傷を捜索するために特別に設計されています。

ScratNetがどのように機能するかを、3つの素晴らしいトリックに分けて説明します：

「全体像」と「細部」のチーム：
論文では、基礎としてSwin Transformerと呼ばれる特別な「脳」を使用しています。これを一団の偵察隊だと想像してください。ある偵察兵は木の上に登って森全体（グローバル・コンテキスト）を見渡し、別の偵察兵は地上に留まって個々の葉（ローカル・ディテール）を観察します。ScratNetはこれらの視点を混ぜ合わせることで、傷が小さいという理由だけで見逃したり、変な場所に位置しているという理由で見逃したりすることがないようにしています。
「茎（Stem）」の接続：
全体像を見るためにズームアウトすると、微細なテクスチャが失われてしまうことがあります。ScratNetには、**Stem Integration Module (SIM)**と呼ばれる特別なモジュールがあります。これは、超鮮明な初期のディテールを再びミックスに持ち込むための「思い出の道（メモリー・レーン）」のようなものです。これにより、コンピュータが「はい、これは傷です」と判断する際、単にぼやけた推測をするのではなく、そのエッジが正確にどのような見た目であったかを記憶できるようにします。
「エッジ研磨」ツール：
これがこの論文の秘密兵器です。著者たちは**Precision Refinement (PR)**ブランチを追加しました。イメージとしては、傷のスケッチはあるものの、線が少しぼやけている状態です。このモジュールは、特殊な「異方性（anisotropic）」フィルタ（これは定規のように特定の方向に引き伸ばされることを意味します）を使用して、エッジを鋭くします。これは、ぼやけた写真を使い、線が細く不規則なものに特化したフィルタを使って、線をくっきりと鮮明にするようなものです。これにより、他の手法が見逃してしまうような、細くて不規則な線をターゲットにします。

彼らが否定したもの
この論文は、何が十分に機能しないかを非常に明確に述べています。

古いルール： 彼らは、伝統的な手法（手動のチェックや単純な画像処理など）は、あまりにも遅く、一貫性に欠けると明示的に述べています。
標準的なAI： 彼らは、標準的なディープラーニングモデル（通常のCNNなど）は、しばしばそれらの微細なエッジの詳細を捉えることに失敗すると主張しています。
汎用AIの「魔法の弾丸」： 著者たちは、SAM (Segment Anything Model) という有名な汎用AIモデルをテストしました。彼らは、学習なしでの推論（ゼロショット）と、バウンディングボックスを用いた学習による2つの方法でテストを行いました。結果はどうだったでしょうか？SAMは苦戦しました。「ゼロショット」テストでは、ICデータセットにおいて**42.81%**というIoU（形状の適合度を示すスコア）しか出せませんでした。バウンディングボックスを用いて微調整（ファインチューニング）を行ったとしても、**78.33%**にしか達しませんでした。論文は、SAMは一般的な写真には素晴らしいものの、これら特定の産業用スクラッチには適切なツールではないと結論付けています。あなたには、ScratNetのような特化したツールが必要なのです。

その確信度はどの程度か？
著者たちは単に推測したわけではありません。彼らは2つの実際のデータセットに対して広範な実験を行いました：

IC画像： 749枚の集積回路画像。
ウェハー画像： 8,200枚のシリコンウェハー画像。

彼らは厳格な数学を用いてすべてを測定しました。ICデータセットにおいて、彼らの最高モデル（Swin-BaseバックボーンとScatNetの組み合わせ）は、データ拡張（Data Augmentation）ありで**87.32%のIoU、および93.48%のDiceスコアを達成しました。データ拡張なしでは、IoUは85.82%**でした。ウェハーデータセットでは、IoU 81.17%、Dice **87.96%**に達しました。

決定的なのは、彼らがエッジに注目したことです。彼らはBoundary IoU（輪郭がいかに一致しているか）とHausdorff Distance（エッジがどれだけ離れているか）を測定しました。ScratNetは、ICデータセットにおいて（特にSwin-Baseバックボーンとデータ拡張を使用した場合）、エッジ誤差（Hausdorff Distance）を最小で23.35ピクセルまで減少させました。これは、40ピクセル以上外れていた他の手法と比較して、大幅な改善です。

結論
この論文は、強力な「偵察隊」システム（Swin Transformer）と「ディテール復元器」（Stem Integration）、そして「エッジ研磨器」（Precision Refinement）を組み合わせることで、他の手法が見逃してしまう傷を見つけられることを証明しています。

彼らは、ScratNetが競合相手を一貫して打ち負かしていることを測定しました。例えば、ICデータセットにおいて、標準的なモデルであるUNetは**79.48%のIoUでしたが、ScratNet（拡張あり）は87.32%**を記録しました。これは、精度の劇的な向上を意味します。

著者たちは、多くの有名なモデル（ResNet、HRNet、および様々なデコーダー型など）と比較して、ScratNetが常に勝者であったことから、これらの数字に自信を持っています。彼らは、このアプローチがチップ製造の未来に向けた「スケーラブルで堅牢なソリューション」を提供することを示唆していますが、あらゆるシナリオにおいて完璧に解決された問題であるとは断言していません。彼らは単に、テストされたデータにおいて、ScatNetが現在、手持ちの道具の中で最高のツールであることを示しているのです。

技術要約：半導体スクラッチセグメンテーションのためのScratNet

1. 問題提起

半導体製造における表面スクラッチ欠陥は、その不規則な形状、低コントラスト、および多様なスケールのために、品質管理における重大な課題となっています。手動による目視検査やルールベースの画像処理を含む従来の検査手法は、デバイスのジオメトリが縮小し、集積密度が増加するにつれて、特に困難となる労働集約的で遅く、一貫性に欠ける傾向があります。CNN（畳み込みニューラルネットワーク）に基づくディープラーニングのアプローチは検出精度を向上させてきましたが、細く不規則な欠陥の精密なピクセルレベルのセグメンテーションに必要な微細なエッジの詳細を捉えることには、しばしば苦慮しています。さらに、産業用スクラッチ画像は、しばしば著しいノイズ、変動する照明、および深刻なクラス不均衡に悩まされており、これが信頼性の高い検出を複雑にしています。

2. 手法

著者らは、既存の手法の限界に対処するために設計された、エンドツーエンドで学習可能なスクラッチセグメンテーションフレームワークであるScratNetを提案しています。このアーキテクチャは、修正されたSwin Transformerバックボーンと、3つの特化したモジュールで構成されるカスタムデコーダを統合しています。

A. 修正されたSwin Transformerバックボーン

微細なスクラッチの検出に不可欠な低レベルのキュー（手がかり）の抽出を改善するために、Swin Transformerの標準的なパッチ分割レイヤーを軽量なStemモジュールに置き換えています。このStemは、ストライド2のプーリングを伴う2つの連続した $3 \times 3$ 畳み込み層で構成されています。この設計は、解像度を下げつつチャンネル数を拡張することで、従来のパッチトークン化では失われる可能性のあるテクスチャやエッジ情報を保持します。その後、バックボーンは4段階の階層的なウィンドウベースの自己注意（self-attention）を経て、マルチスケールの空間的および文脈的特徴を抽出します。

B. MSPデコーダ

MSPと呼ばれるデコーダは、3つのコンポーネントを通じて、意味的な文脈と高解像度の空間情報を融合させます。

マルチスケール拡張集約（MDA）: このモジュールは、Swinバックボーンの全4ステージからの特徴マップをトップダウン方式で集約します。これは、特定の拡張率（例：ステージ1〜4に対して $(8,1), (6,1), (4,1), (2,1)$ ）を持つ拡張ブロック（DiBlock） consisting of two sequential $3 \times 3$ convolutionsを用いています。この構造は、拡張畳み込み（via dilated convolutions）によるグローバルな文脈情報と、非拡張畳み込み（via non-dilated convolutions）によるローカルな空間詳細の両方を捉え、文脈豊かな表現を生成します。
Stem統合モジュール（SIM）: ダウンサンプリング中に失われた空間詳細を復元するために、SIMはStemネットワークからの高解像度特徴を、MDAから集約された特徴と統合します。これは、 $3 \times 3$ 畳み込みを適用して、Stemのキュー（ $S_1, S_2$ ）とデコーダの出力を段階的に融合させ、微細なセグメンテーションのための構造的詳細を強化します。
精度精緻化（PR）モジュール: このモジュールは、細く長い欠陥にとって極めて重要な境界の鋭さに特化しています。これは、集約された特徴マップに対して4つの並列な異方性畳み込み（ $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ）を適用します。これらのフィルタは水平、垂直、および細長いパターンを捉え、それらを結合して最終的なピクセル単位のセグメンテーションマップを生成します。

C. 損失関数

欠陥（前景）と背景のピクセル間のクラス不均衡に対処するため、モデルはバイナリクロスエントロピー（BCE）とDice損失を組み合わせた複合損失関数を用いて訓練されます。この定式化は、予測とグランドトゥルース（正解）の重なりを最大化すると同時に、マイノリティクラスに対する堅牢な勾配フローを確保します。

3. 主な貢献

本論文は、4つの主要な貢献を概説しています。

ScratNetフレームワーク: 修正されたSwin-Base Transformerを、マルチスケール拡張集約および精度精細化と統合した、新しいマルチレベルのエンドツーエンド学習可能なフレームワークであり、細く不規則なスクラッチ検出に特化しています。
マルチスケール拡張集約（MDA）: グローバルおよびローカルの文脈を同時に捉えるために、拡張畳み込みと非拡張畳み込みの両方を用いて、4つのSwinステージからのマルチスケール特徴を統合するモジュール。
Stem統合と精度精細化: 低レベルの空間詳細を復元するためのStem統合モジュール（SIM）の導入、および境界を鋭利にするための異方性畳み込みを用いた精度精細化（PR）ブランチの導入であり、これらが困難なスクラッチパターンにおけるセグメンテーションを大幅に改善します。
最先端の性能: 既存の手法と比較して、半導体スクラッチデータセットにおける優れたセグメンテーション品質と堅牢性を実証しました。

4. 実験結果

著者らは、2つのデータセット（IC画像データセット：749枚、解像度 $180 \times 180$ 、およびウェハ画像データセット：8,200枚、解像度 $224 \times 224$ ）でScratNetを評価しました。

定量的性能: ScratNetは、ベースラインモデル（UNet、ResNet50、HRNet、およびFCN、FPN、UPerNetデコーダと組み合わせたSwinバリアント）を一貫して上回りました。
- データ拡張を伴うSwin-Baseバックボーンを用いたICデータセットにおいて、ScratNetはIoU 87.32%、**Diceスコア 93.48%**を達成し、次に優れたSwin-Base構成（UPerNet）を大幅に上回りました。
- ウェハデータセットにおいて、データ拡張を伴うSwin-Baseを用いたScratNetは、IoU 81.17%、**Dice 87.96%**を達成し、他のすべてのデコーダの組み合わせを凌駕しました。
境界指標: モデルは、CNNベースおよび標準的なTransformerベースのベースラインと比較して、より高いBoundary IoUスコアと低いHausdorff距離によって証明されるように、優れた境界整合性を示しました。
アブレーション研究: 実験により、各コンポーネントの増分的な価値が確認されました。MDAモジュールが最大の初期利得を提供し、次いでPRモジュールが境界精度を大幅に向上させ、SIMモジュールが特にTransformerバックボーンにおいて性能をさらに強化しました。
効率性: ScratNetは、精度と計算コスト（レイテンシおよびFLOPs）の間に良好なバランスを維持しており、精度においてUPerNetを上回りながら、効率性においても競争力のある水準を保っています。
SAMとの比較: ゼロショットおよびファインチューニング設定における**Segment Anything Model (SAM)**との比較において、ScratNetはSAMを大幅に上回りました。これは、マイクロ欠陥のセグメンテーションにおけるドメイン特化型アーキテクチャの必要性を浮き彫りにしています。

5. 重要性と主張

本論文は、ScratNetが高精度製造における自動スクラッチ検査のためのスケーラブルで堅牢なソリューションを提供することを主張しています。ステージ適応型の特徴集約と境界認識の精緻化を通じて、不規則な形状、低コントラスト、および多様なスケールの課題に効果的に対処することで、提案手法は細い不規則な欠陥に対して優れた精度を実現しています。著者らは、ScatNetを従来の型通りの手動手法や既存のディープラーニングのアプローチに対する重要な進歩として位置づけており、製品歩留まりの向上と検査コストの削減をもたらします。本研究は、SAMのような汎用モデルが自然画像において有望であることを示しつつも、半導体の欠陥セグメンテーションという非常に特殊な要求に対しては、ScratNetのような専門化されたアーキテクチャが依然として不可欠であることを結論付けています。今後の課題として、実世界への展開に向けた高度なフィルタリング技術や軽量なデコーダアーキテクチャの探索が示唆されています。