Why Neural Structural Obfuscation Can't Kill White-Box Watermarks for Good!

この論文「Why Neural Structural Obfuscation Can't Kill White-Box Watermarks for Good!」は、深層学習モデルの所有権保護（ウォーターマーキング）における新たな脅威「ニューラル構造隠蔽（NSO）」に対する、完全な回復と防御の枠組み「CANON」を提案するものです。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、実験結果、意義の観点から詳細にまとめます。

1. 問題定義：ニューラル構造隠蔽（NSO）の脅威

2023 年の USENIX Security で発表された「Neural Structural Obfuscation (NSO)」は、モデルの機能（タスク精度）を維持したまま、ネットワークの構造とパラメータを改変することで、白箱（White-Box）ウォーターマーキングの検証を無力化する攻撃手法です。

• 攻撃の核心: NSO はダミーニューロン（ダミーチャネル）を注入し、以下の 3 つのプリミティブ操作を行います。
  1. nso_zero: 入出力重みがすべてゼロのチャネルを注入。
  2. nso_clique: 入力を複製し、出力重みの和がゼロになるように調整するチャネル群（相互相殺）を注入。
  3. nso_split: 元のチャネルを、出力重みの和が元の値になるように分割した複数のチャネルに置き換える。
• 既存防御の限界: これらの操作は数学的に機能等価（Functional Equivalence）を保証するため、モデルの精度は低下しません。しかし、既存の白箱ウォーターマーキング検証器は、パラメータの「インデックス順序」や「特定のレイヤー位置」に依存しているため、チャネルの順序が入れ替わったりダミーが混入したりすると、ウォーターマークの抽出が失敗します。
• 研究課題: 従来の NSO 研究は単純な逐次構造（Sequential Architecture）に限定されがちでした。現代のモデル（ResNet, EfficientNet, Inception, DenseNet など）は残差結合（Residual Add）やチャネル結合（Concat）を含むグラフ構造を持っており、攻撃がこれらにどう影響し、どう防御すべきかが未解決でした。

2. 手法：CANON（Graph-Consistent Recovery Framework）

著者らは NSO を「生産者 - 消費者（Producer-Consumer）」の視点から再定義し、グラフ全体の一貫性を維持する回復フレームワーク「CANON」を提案しました。

2.1 基本的な考え方：グラフ一貫性の制約

NSO が機能等価性を維持するためには、注入されたダミーチャネルの信号が、グラフ内のすべての「消費者（下流の演算）」に対して整合的な変換を受けなければなりません。

• 生産者（Producer）: 改変されたチャネルを出力するレイヤー。
• 消費者（Consumer）: その出力を受け取るレイヤー（Fan-out, 残差結合 Add, チャネル結合 Cat など）。
• 制約: 生産者側でチャネルレイアウトが変更された場合、すべての下流消費者は、機能等価性を保つために、その変更を吸収する一貫した書き換え（Consumer Rewrite）を行わなければなりません。この「グラフ一貫性」こそが、攻撃の痕跡（冗長性）を検出・除去する鍵となります。

2.2 CANON の回復プロセス

CANON は以下のステップで攻撃されたモデルを「標準化（Canonicalization）」し、元のウォーターマーク検証が可能な状態に戻します。

1. プローブによるアクティベーション収集:
   • 攻撃されたモデルに決定論的なプローブ入力（Probe Set）を与え、各チャネルのアクティベーション（活性化パターン）を収集します。
   • Batch Normalization の影響を考慮し、適切なタイミングで信号をキャプチャします。
2. チャネル冗長性の推論:
   • シグネチャクラスタリング: 各チャネルのアクティベーションのオン/オフパターン（ビット列）をハッシュし、類似するチャネルをグループ化します。
   • 比例関係の精緻化: グループ内のチャネル間で、アクティベーション値が比例関係（$u_j \approx \alpha u_i$）にあるかを確認し、ダミーチャネル（nso_clique の相殺組や nso_split の複製）を特定します。
   • ファンアウト対応: 1 つの生産者が複数の消費者を持つ場合、すべての下流消費者においてダミーの効果が相殺されるか、または意味のある信号として統合されるかを検証し、削除（Drop）または統合（Merge）を決定します。
3. グラフ一貫的な書き換え（Global Rewrites）:
   • 特定された冗長チャネルを除去・統合する「チャネル変換行列（ChannelTransform）」を推定します。
   • この変換を、単にレイヤー内で適用するのではなく、すべての下流の線形消費者（Conv/Linear）に対して伝播させます。
   • 残差結合（Add）: 結合される両方のブランチでチャネルレイアウトを同期させます。
   • チャネル結合（Cat）: ブランチごとの変換をブロック対角行列として合成し、下流に伝播します。
   • これにより、攻撃によって散乱されたチャネル順序が、コンパクトで整合性の取れた形式に復元されます。

3. 主要な貢献

1. NSO 脅威モデルの一般化:
   • 従来の「レイヤー局所的」な攻撃モデルを、現代のグラフ構造（残差結合、マルチブランチ）に対応する「グラフ一貫的な生産者 - 消費者モデル」へと拡張しました。これにより、攻撃がグラフ全体に及ぼす信号の一貫性制約を明確にしました。
2. 構造的隠蔽の完全回復可能性の証明:
   • NSO による「ゼロコストでのウォーターマーク除去」という主張を否定し、グラフ一貫性の制約を利用することで、攻撃者の詳細な構成情報やクリーンな参照モデルなしでも、ダミーチャネルを特定し、レイアウトを逆変換できることを示しました。
3. CANON フレームワークの提案:
   • 初となるエンドツーエンドの標準化フレームワークであり、アクティベーションプローブとグラフ一貫的な書き換えにより、NSO 攻撃を構造的に無力化します。
4. 実証的な検証:
   • 強力な組み合わせ攻撃（Compositional NSO）下でも、9 つの異なる白箱ウォーターマーキング方式と 4 つの主要な CNN アーキテクチャ（ResNet, EfficientNet, Inception, DenseNet）において、100% の回復成功率を達成しました。

4. 実験結果

• タスク精度の維持: 攻撃（NSO 注入）および回復（CANON 処理）のいずれにおいても、モデルの精度（Accuracy）は変化せず（$\Delta acc = 0$）、機能等価性が完全に保たれました。
• ウォーターマークの復元:
  • 攻撃によりウォーターマークの類似度（Similarity）が大幅に低下しましたが、CANON による回復後、すべてのケースで Tier-1（参照モデルとの等価性証明書）および Tier-2（攻撃認識ベースの類似度）において、元のクリーンモデルと同レベルの検証可能性が回復しました。
  • 特に Tier-1 の「参照等価性証明書」は、回復された重みが参照モデルとチャネルの置換やスケーリングを除いて同一であることを数学的に保証しました。
• 偽陽性のなさ: クリーンな（攻撃されていない）モデルに対して CANON を適用した場合、構造変更や精度低下は一切発生せず、ウォーターマークの類似度も変化しませんでした（False Positive = 0）。
• 計算コスト: 回復処理は検証時に一度だけ実行されるものであり、攻撃の複雑さに比例しますが、実用的な時間スケール（数秒〜1 分未満）で実行可能です。

5. 意義と結論

この論文は、NSO が白箱ウォーターマーキングを「恒久的に破壊する」手段ではないことを実証しました。

• 理論的意義: 「機能等価性」と「グラフ構造の一貫性」という制約が、攻撃者にとって回避不可能な痕跡（ダミーチャネルの特定可能なパターン）を残すことを明らかにしました。
• 実用的意義: CANON は、モデルの所有権検証を脅かす構造改変に対して、防御側が有効に回復できる最初の包括的なソリューションです。これにより、白箱ウォーターマーキングは、構造隠蔽攻撃に対しても依然として有効な所有権保護手段として機能し続けることが示されました。

要約すれば、**「NSO はモデルの機能は守るが、ウォーターマークの『場所』を隠すだけである。CANON は、グラフの整合性制約を利用して『場所』を再発見し、ウォーターマークを復活させる」**という画期的な成果です。