技術要約：ソフトラベルの時系列性と頑健な類似性近似による、敵対的攻撃のステートフル検出の強化

問題提起

ディープニューラルネットワーク（DNN）は、攻撃者が誤分類を引き起こすために知覚不可能な摂動を精巧に作り出すブラックボックス型の敵対的攻撃に対して非常に脆弱である。これらの攻撃は、モデルの決定境界を探索するために、頻繁かつ適応的なクエリを行うことに依存することが多い。**ステートフル検出（Stateful Detection: SD）**は、類似したクエリのシーケンスを検出することによって、このような攻撃を特定するために設計された防御メカニズムである。

しかし、既存のSD手法（BlacklightやPIHAなど）は、2つの決定的な限界に直面している：

1. 近似攻撃に対する脆弱性： SDシステムは、類似したクエリを検出するために、複雑な類似性指標の計算効率の高い近似（ハッシングやランダム量子化など）を使用することが多い。著者らは、これらの近似が利用される可能性があることを指摘している。攻撃者は、意図された指標の下では近い状態を維持しつつ、近似関数においては異なって見えるようなクエリを作成することで、検出を回避できる。論文では、これを類似性関数に対する「敵対的攻撃」と呼んでいる。
2. 高い偽陽性率（FPR）： 偽陽性を最小限に抑えるために、SDシステムはしばしば高い類似性閾値を設定する。しかし、これにより、クエリの類似性を閾値以下に下げるための適応的なプロービング攻撃（例：Oracle-guided Adaptive Rejection Sampling、またはOARS）に対して脆弱になる。さらに、類似性の高い良質なシーケンス（例：CCTVの静止画）が、悪意があると誤認されることも頻繁にある。

手法

著者らは、頑健なクエリ類似性近似とソフトラベルの時系列分析を組み合わせた、2フェーズの検出フレームワークを提案している。

フェーズ1：頑健な類似性検出

第1フェーズでは、意図された類似性指標を近似するために**ソルト付きランダム量子化（salted randomized quantization）**を用い、類似している可能性が高いクエリのサブシーケンスを特定する。

• 意図された指標： 論文では、2つの画像間のサブイメージ（スライディングウィンドウ）の最小距離に基づく「意図された類似性関数（$D$）」を定義している。
• 近似の脆弱性： Blacklightのような標準的な近似は、ウィンドウのサブセットをサンプリングする。著者らは、攻撃者がサンプリングされたウィンドウの重複を減少させるような小さな歪みを導入することで、真の距離は小さい（$\le \epsilon$）が近似された距離は大きい（$\ge \delta$）という、$(\epsilon, \delta)$-敵対的サンプルを効果的に作成できることを示している。
• 提案される解決策： これを軽減するために、フレームワークはソルト付きランダム量子化を採用する。
  • 量子化の前に、入力に対してランダムなソルトが適用される。
  • 値は、ベルヌーイ分布に基づいてランダムに切り上げ、または切り下げられる。
  • これにより、攻撃者から隠されたランダム性が導入され、量子化の境界を逆エンジニアリングしたり、ハッシュマッチングを回避するための特定の摂動を設計したりすることが困難になる。
  • 類似性は、量子化されたクエリからランダムに選択された、互いに重ならない十分な数のウィンドウが、ブルームフィルターデータベース内の以前に見られたウィンドウと一致するかどうかを確認することによって決定される。

フェーズ2：ソフトラベルの時系列相関

フェーズ1で類似しているとフラグが立てられたクエリは、良質な類似シーケンス（例：ビデオフレーム）と敵対的シーケンスを区別するために、フェーズ2へと渡される。

• 観察： 敵対的攻撃は、以前のモデル出力（ソフトラベル）に基づいて適応的にクエリを生成するため、ソフトラベルのシーケンスにおいて時系列相関を生じさせる。対照的に、良質な類似シーケンス（CCTVの静止画など）は、通常、時間経過に対して独立したソフトラベルを示す。
• メカニズム： フレームワークは、サブシーケンス内の最初のクエリで予測されたクラスのソフトラベル確率を抽出する。次に、このシーケンスに**リュング・ボックス検定（Ljung–Box test）**を適用し、系列相関を検出する。
• 決定： リュング・ボックス検定の$p$値があらかじめ設定された閾値を下回る場合、そのシーケンスは敵対的であるとフラグが立てられる。このフェーズは、フェーズ1で生成された偽陽性を効果的にフィルタリングする。

主な貢献

1. 時系列挙動の観察： 著者らは、敵対的なクエリシーケンスがソフトラベルにおいて特有の時系列相関を示すことを特定し、これを良質な類似クエリと区別するために活用できることを示した。
2. 類似性指標への敵対的攻撃： 論文は、類似性近似関数に対する「敵対的攻撃」という概念を導入している。これは、広範なプロービングを必要とせずに、検出を回避することを可能にするBlacklightの類似性指標に対する軽量な攻撃を実証している。
3. 頑健な類似性近似： 著者らは、ランダム性によって量子化の境界を隠蔽することで、検出精度を維持しながら、敵対的入力が類似性チェックをバイパスすることを防ぐ、頑健な近似手法としてソルト付きランダム量子化を提案している。
4. 2フェーズ・フレームワーク： フェーズ1で類似性閾値を下げ（感度を高める）、フェーズ2でソフトラベルの時系列分析を用いて偽陽性をフィルタリングする新しい検出フレームワーク。このアプローチは、偽陽性率（FPR）と適応的攻撃に対する脆弱性の間のトレードオフを緩和する。
5. 実証的検証： 5つのブラックボックス型攻撃（Boundary Attack, HSJA, HSJA with frequency mixup, Square Attack, SimBA）に対し、CIFAR-10およびImageNetデータセットを用いた包括的な評価を実施した。

実験結果

本フレームワークは、CIFAR-10およびImageNetデータセットにおいて、5つのブラックボックス型攻撃に対して評価された。

• 真陽性率（TPR）： 提案されたフレームワークは、テストされたすべての攻撃において、両方のデータセットで1.00のTPRを達成し、調整されたBlacklight（0.42から0.97の範囲）を上回るか、同等の性能を示した。
• 偽陽性率（FPR）： フレームワークは最大でも0.06という低いFPRを維持した（他のSOTA SD手法の0.42と比較）。これは、フェーズ2が良質な類似シーケンス（例：カメラの静止画）を正常にフィルタリングしているためである。
• 適応的攻撃に対する頑健性：
  • OARSによって強化された攻撃に対してテストされた際、フレームワークは、フェーズ1をバイパスするために攻撃者が相当量のノイズを導入することを要求した。
  • 決定的なことに、OARS強化された攻撃（HSJAおよびBoundary Attack）は、提案されたフレームワークによって防御されている場合、50,000クエリ以内に有効な敵対的サンプルを生成することに成功しなかったが、Blacklightに対しては成功した。
• 効率性： 本手法による時間およびメモリのオーバーヘッドは緩やかである。ストレージは、ブルームフィルターで約7.5 MB、ソフトラベルキャッシュ（ImageNet）で最大17.9 MBである。処理時間は、30,000クエリあたりCIFAR-10で約1.0分、ImageNetで2.5分であり、マルチプロセッシングによって削減可能である。

重要性と主張

本論文の主な意義は、既存のSDシステムが適応的プロービングおよび近似攻撃に対して持つ脆弱性に対処している点にある。ソフトラベルの時系列性を統合することで、防御者は類似性閾値を低く設定できると著者らは主張しており、それによって適応的攻撃（類似性の摂動に依存するもの）の検出能力を高めている。

著者らは、自らのアプローチが、類似性関数自体に対する「敵対的攻撃」に対して頑健であることを強調しており、これはSDの文献においてこれまで調査が進んでいなかった脅威ベクトルである。結論として、彼らの2フェーズ・フレームワークは、検出率と適応的回避戦略に対する頑健性の両面において、現在のSOTA手法を凌駕する、実用的かつスケーラブルで高精度な防御を提供すると述べている。