NeuroTrace: 推論プロベナンスに基づく敵対的サンプルの検出

技術的サマリー（日本語）

本論文は、深層ニューラルネットワーク（DNN）の推論プロセスにおける「推論プロベナンス（Inference Provenance）」を可視化・分析するための新しいフレームワークNeuroTraceと、それを用いた敵対的サンプル（Adversarial Examples）の検出手法を提案しています。既存の手法が層ごとの局所的な信号に依存するのに対し、本手法はモデル全体にわたる情報の流れと実行構造をグラフとして捉えることで、より頑健な検出を実現します。

---

1. 課題（Problem）

深層ニューラルネットワークは推論時にその内部挙動が不透明（ブラックボックス）であり、敵対的攻撃による入力操作の検出や診断が困難です。

• 既存手法の限界: 従来の検出手法は、ロジット、勾配、 saliency map などの「層ごとの局所的な信号」に依存しています。これらはモデルの構成要素を孤立して扱っており、推論中に層を超えて情報がどのように伝播するかというクロスレイヤーの情報フローや実行構造を十分に捉えきれていません。
• 課題: 敵対的摂動は単なる局所的な活性化の変化ではなく、ネットワーク全体の情報フローにシステム的な混乱を引き起こす可能性があります。この構造的な異常を検出できる新たな信号の必要性があります。

2. 手法（Methodology）

NeuroTrace は、推論時の実行履歴を構造化されたグラフとして表現し、それを解析するフレームワークです。

2.1 推論プロベナンスグラフ（IPGs）

入力 $x$ に対するモデル $f$ の順伝播（forward pass）を、入力依存性のサブグラフとして捉えます。

• ノード（Node）: 推論中に生成される中間活性化（アクティベーション）を表します。畳み込み層ではチャネル単位、全結合層ではニューロン単位など、アーキテクチャに応じた抽象化を行います。各ノードには、活性化の統計量（平均、L2 ノルム、スパース性など）が特徴量として付与されます。
• エッジ（Edge）: 層間の計算依存関係を表します。
  • 学習済みパラメータを持つ層（線形、畳み込み）では、重みから導出された属性をエッジに付与します。
  • パラメータを持たない層（プーリング、正規化）では、構造的な接続性をエッジ属性として表現します。
• 抽出: 活性化の大きさが閾値 $\tau$ を超えるノードのみを選択し、入力 $x$ によって活性化された「実行パス」のみを抽出することで、コンパクトなグラフを構築します。

2.2 NeuroTrace フレームワーク

1. IPG 抽出エンジン: PyTorch のフック機能を用いてモデルの実行を計測し、異種グラフ（Heterogeneous Graph）形式で IPG を構築します。
2. 表現学習: 構築された IPG を Graph Neural Network（GNN、本論文では GraphSAGE）に入力し、グラフレベルの表現を学習します。
3. 検出: 学習された GNN を用いて、入力グラフが「良性（Benign）」か「敵対的（Adversarial）」かを分類します。

3. 主要な貢献（Key Contributions）

1. 検出信号としての推論プロベナンスの定式化:
   敵対的検出のための新しい信号として、モデル実行のグラフベース表現（IPG）を定式化しました。これにより、層ごとの局所的手法ではアクセスできない「クロスレイヤーの依存関係」を検出に利用できます。
2. NeuroTrace 抽出フレームワーク:
   任意の PyTorch モデルに対して、最小限のモデル固有の調整で IPG を抽出する再現性のあるパイプラインを開発しました。
3. NeuroTrace-IPG データセットとベンチマーク:
   画像分類（CIFAR-10）とマルウェア検出（Cuckoo-Traces, EMBER）の 2 つのドメインにまたがる、白箱・黒箱攻撃を含む大規模な IPG データセットを公開しました。
4. 攻撃間での転移性の検証:
   特定の攻撃ファミリーで学習した検出器が、未見の攻撃や異なる脅威モデル（白箱 vs 黒箱）に対しても有効に機能することを示しました。

4. 結果（Results）

画像分類（CIFAR-10）およびマルウェア検出タスクにおいて、以下の評価を行いました。

• 攻撃内評価（Intra-attack）:
  同じ攻撃ファミリーで学習・評価した場合、NeuroTrace はすべての攻撃（FGSM, PGD, 黒箱攻撃など）において高い性能を示しました。
  • 精度（Accuracy）: 96% 以上（マルウェアでは 100%）
  • ROC-AUC: ほぼ 1.0 に近い値
• 多攻撃学習（Multi-attack Training）:
  複数の攻撃を混合して学習した単一の検出器は、個々の攻撃タイプに対して高い検出性能を維持しました。
• 脅威モデル間転移（Cross-Threat Transfer）:
  • 白箱→黒箱: 白箱攻撃で学習し、黒箱攻撃で評価しても高い性能（精度 96% 以上）を維持。
  • 黒箱→白箱: 逆転移においても同様に有効でした。
  • これは、敵対的摂動が攻撃生成メカニズムに関わらず、推論挙動に「構造的な偏り」を生じさせることを示唆しています。
• 既存手法との比較:
  既存のグラフベース手法（CIGA）と比較し、NeuroTrace はすべての攻撃タイプで上回る性能を示しました（特に PGD や APGD において顕著）。

5. 意義と限界（Significance & Limitations）

意義

• 透明性と監査性: 推論プロベナンスは、単に「攻撃である」という二値判定だけでなく、攻撃がネットワーク内部にどのような影響を与えたかという構造的な証拠（アーティファクト）を提供します。これはフォレンジック分析やデバッグに有用です。
• 攻撃非依存性: 特定の攻撃手法に特化せず、情報フローの異常という普遍的なシグナルを検出するため、未知の攻撃や転移攻撃に対する耐性が高い可能性があります。
• ドメイン横断: 画像だけでなく、マルウェア検出のような構造化データに対しても有効であることが示されました。

限界と将来の課題

• 計算コスト: 推論プロベナンスの抽出には、モデルのサイズに応じて追加の時間とストレージ（1 サンプルあたり数 MB〜数十 MB）が必要です。現在のところ、低遅延が求められるリアルタイム推論よりも、オフライン監査や高信頼性システム向けに適しています。
• 適応的攻撃への未評価: 敵対者がプロベナンス検出器自体を回避するように最適化する「適応的攻撃」に対する評価は行われていません。
• 大規模モデルへの拡張: 現在の評価は中規模モデル（ResNet-20 など）が中心であり、ViT や LLM などの大規模アーキテクチャへの拡張と効率化が今後の課題です。

結論

NeuroTrace は、DNN の推論プロセスを「プロベナンスグラフ」として構造化することで、敵対的サンプルの検出に新たな視点をもたらしました。層ごとの局所情報ではなく、ネットワーク全体の情報フローの異常を検出するアプローチは、より透明性が高く、監査可能な機械学習システムの構築に向けた重要な基盤となります。