Diffuse to Detect: Generative Diffusion Models for Unsupervised IC Anomaly Detection

技術概要：Diffuse to Detect：半導体製造における非教師あり IC 異常検出のための生成拡散モデル

問題定義
本論文は、半導体製造における潜在的な欠陥のスクリーニングという重要な課題に取り組む。潜在的欠陥とは、抵抗性ショートやオープンなどの物理的欠陥であり、これらはデバイスがすべての機能テスト基準を合格することを可能にするが、動作ストレス下ではフィールド故障を引き起こす。これらを検出することは困難であり、3 つの相乗要因によるものである：

1. 極端なクラス不均衡： 故障率は通常、百万分の一の範囲（例：研究対象データセットでは 0.12% 未満）であり、ラベル付き異常データの欠如と、分類器が多数派クラスに収束する傾向により、教師あり学習は非現実的である。
2. 高次元性： 現代のテストプログラムはデバイスあたり数千のパラメトリック測定特徴量を生成し、慎重な特徴量エンジニアリングなしでは従来の距離ベースまたは密度ベースの手法が困難となる高次元特徴空間を形成する。
3. 厳格な許容誤差： スクリーニングシステムは、希少な異常の再現率を最大化しつつ、歩留まり損失を避けるために偽陽性を最小化するバランスを取らなければならず、このバランスは単純な閾値設定では達成できないことが多い。

既存の拡散ベースの異常検出手法は、主に画像データや低次元の表形式データ（例：TabDDPM）に焦点を当てており、これは特徴ベクトルを平坦で順序のない入力として扱う。これらのアプローチは、高次元で意味的に不均質な IC テストデータに必要な構造的帰納バイアスを欠いている。

手法
著者らは、健全なシリコンの分布をモデル化するために拡散トランスフォーマー（DiT）を組み込んだ、完全な非教師ありフレームワークDiffuse to Detectを提案する。手法は以下の段階を経て進行する：

1. 次元削減とトークン化：

   • 生の高次元測定ベクトル（$x \in \mathbb{R}^F$、ここで $F \sim 10^3$）は、まず 2 層の MLP エンコーダーによって圧縮され、コンパクトな潜在表現（$h \in \mathbb{R}^{D_r}$、ここで $D_r = 128$）に変換される。
   • この潜在ベクトルは、ビジョントランスフォーマーにおけるパッチ埋め込みと同様に、構造化された 2 次元トークン系列（$Z_0 \in \mathbb{R}^{C \times L}$）に再構成される。これにより、モデルは測定データを平坦なベクトルではなく、系列として扱うことができる。

2. 2 段階の位置符号化：

   • 特徴レベル： 固定の正弦波埋め込みが追加され、潜在系列内のトークンの位置を符号化し、テストフローの構造的意味を捉える。
   • ダイレベル： 学習されたゲート付き MLP が、物理的なウェハ座標（$d_x, d_y$）に基づいてデバイスごとの埋め込みを生成する。これにより、ウェハレベルのテストデータに固有の体系的な空間的変動（例：エッジと中心の効果）を考慮する。

3. 拡散プロセス：

   • フレームワークは、ノイズ除去のバックボーンとして**1 次元拡散トランスフォーマー（DiT1D）**を採用する。特徴ベクトルに基づく MLP を使用する標準的な表形式拡散モデルとは異なり、DiT1D は自己注意機構を利用して、トークン系列全体にわたる複合的な特徴間相関を捉える。
   • モデルは、標準的な DDPM 目的関数を用いて、前方拡散プロセス中に追加されたノイズを予測するために、健全なデバイスのみで訓練される。

4. 異常スコアリング：

   • 推論中、異常スコアは、固定された中範囲の拡散タイムステップにおけるノイズ予測誤差から導出される。
   • 学習された健全なシリコンの分布から外れるデバイスは、高い再構成誤差を引き起こす。
   • このアプローチはスコアリングのための反復サンプリングを回避し、固定された数のフォワードパスのみを必要とするため、高スループットの生産スクリーニングに適している。

主要な貢献

• IC テストデータ向けの最初の拡散フレームワーク： 本論文は、IC 電気テストデータにおける非教師あり異常検出のための最初の拡散モデルベースのフレームワークを導入し、手動の特徴量エンジニアリングの必要性を排除する。
• 構造化されたトークン化と位置符号化： 著者らは、固定された正弦波トークン位置と学習されたデバイスごとのダイ埋め込みを組み合わせた、新規の 2 段階位置符号化方式を提案する。これにより、テストフローの構造とウェハの空間幾何学の両方を符号化する。
• トランスフォーマーを用いた潜在空間拡散： この研究は、トランスフォーマーノイズ除去器を使用してコンパクトな潜在空間で拡散を行うことが、生の特徴空間で拡散を行う方法や MLP ベースのノイズ除去器を使用する方法よりも優れていることを実証する。

実験結果
このフレームワークは、極端なクラス不均衡（異常発生率が 0.22% と 0.12%）を特徴とする 2 つの産業用 16nm 自動車 IC テストデータセットで評価された。

• 性能： 提案された DiT1D モデルは、最先端の性能を達成し、古典的手法（例：Isolation Forest、PCA）、深層学習のベースライン（例：GANomaly、DAGMM）、既存の拡散ベースライン（TabDDPM、DTE 変種）を上回った。
  • データセット 1 において、DiT1D は AUROC 0.771、AUCPR 0.0250を達成し、2 番目に良い手法（それぞれ LOF と DTE-IG）を大幅に上回った。95% の歩留まり閾値において、確認された 7 つの異常のうち 3 つを正常に再現し、一方、ほとんどのベースラインは 0 または 1 つしか再現しなかった。
  • データセット 2 において、DiT1D は 95% 歩留まり動作点において、テスト分割に存在するすべての 7 つの異常を再現した唯一の手法であった。
• アブレーション研究：
  • ダイレベルの位置埋め込みを除去すると、性能が最も大きく低下し（AUROC が 0.234 減少）、ウェハの空間的変動をモデル化することの重要性が浮き彫りになった。
  • オートエンコーダーを除去し（生空間で拡散）、性能が著しく劣化し、高次元データに対する潜在圧縮の必要性を確認した。
  • トランスフォーマーを MLP バックボーン（TabDDPM 様式）に置き換えると、AUROC と再現率が低下し、トークン間相関を捉えるための自己注意の利点を裏付けた。

意義と主張
本論文は、Diffuse to Detect が、自動車および高性能コンピューティング分野で求められる「ゼロ欠陥」の品質目標に対する堅牢な解決策を提供すると主張する。健全なデータのみで訓練された生成拡散モデルを活用することで、このアプローチは以下の点を実現する：

• ラベル付き異常の必要性を排除： 成熟プロセスにおける欠陥データの不足に対処する。
• 手動の特徴量エンジニアリングを回避： 歴史的に半導体品質パイプラインのボトルネックとなってきたものを排除する。
• 解釈可能性の提供： 潜在空間の再構成残差を通じて、故障の局所化を可能にする。著者らは、これらの残差を特定のテストプログラムにマッピングでき、テストエンジニアに根本原因（例、特定のリーク測定値の偏差の特定）に関する実行可能な洞察を提供することを指摘しており、これには潜在表現の知識は必要ない。

この研究は、高次元、空間的相関、そして極めて不均衡な半導体テストデータという特定の制約に対して、高度な生成モデリングを適用する重要な前進として位置づけられている。