技術的概要：相乗的平滑化による堅牢な分布外検出フレームワーク

問題定義

深層ニューラルネットワーク（DNN）は安全性が重要なアプリケーションでますます展開されていますが、敵対的摂動や分布のシフトに対して依然として脆弱です。分布外（OOD）検出手法は、新規または悪意のある入力を識別するための重要な防衛策として機能しますが、最近の研究では、最先端の OOD 検出器自体が敵対的攻撃に対して脆弱であることが示されています。具体的には、攻撃者が分布外（OOD）であるが分布内（ID）として誤分類されるように入力を工作することで、システムの第一の防衛線を無効化することが可能です。

既存の摂動ベースの検出器（ODIN や PRO など）は、方向性のある最適化（例えば、信頼度スコアの増減）を適用することで検出性能の向上を図ろうとしています。しかし、著者らはこれらのアプローチに重大な欠陥があることを特定しました。すなわち、それらは「非対称的な脆弱性」を示すという点です。スコア最小化攻撃に対する耐性を最適化した検出器は、しばしばスコア最大化攻撃に対して脆弱となり、その逆もまた然りです。この方向性バイアスは、動的で敵対的な環境における OOD 検出の信頼性を損ないます。

手法：ROSS フレームワーク

著者らは、スコア最小化攻撃とスコア最大化攻撃の両方に対する対称的な堅牢性を実現するために設計された、モデル非依存かつ事後（post-hoc）のフレームワークである「ROSS（Synergistic Smoothing による堅牢な OOD 検出器）」を提案します。ROSS は、基盤となる DNN の再学習を必要とせず、既存のあらゆる OOD スコアリング手法（MSP、Energy、GEN、fDBD など）に適用可能です。

ROSS の核心は、入力 $x$ にランダムな摂動を加えることで $N$ 個のノイズ付きバリエーションを生成することにあります。得られた「スコアスタック」から、ROSS は堅牢統計学の理論に基づいた 2 つの堅牢な統計量を計算します。

1. 中央値スコア（$S_{med}$）： スコアスタックの中央値であり、OOD スコアの平滑化された中心傾向を表します。
2. スコア安定性（$\sigma_{med}$）： スコアスタックの中央値絶対偏差（MAD）であり、スコアランドスケープの局所的な不安定性を定量化します。

重要な洞察：シグナルとしての不安定性

著者らは、ID サンプルは通常、スコアランドスケープの滑らかな領域に位置し、摂動下で低分散のスコア（高い安定性）を生み出すことを観察しました。対照的に、OOD サンプルは不規則な領域に存在し、小さな摂動が大きなスコア変動（高い不安定性）を引き起こします。

スコアリング関数

ROSS は、これらの指標を、信頼度認識型のゲーティングメカニズムを用いて最終スコア（$S_{ROSS}$）に統合します。最終スコアは以下のように定義されます。
$$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$$
ここで、

• $S_{95}$ は信頼度閾値（ID 検証分布の第 5 パーセンタイル）です。
• $\Delta_{score} = \max(0, S_{med} - S_{95})$ は、安定性ボーナスが適用されるのが中央値スコアが信頼度閾値を超えた場合のみであることを保証します。
• $\lambda$ は、安定性ボーナスの大きさを制御するハイパーパラメータです。

この定式化により、安定性は高信頼度で ID に似たサンプルに対してのみ報酬として与えられます。これにより、安定している可能性はあるものの信頼度が低い「遠い OOD」サンプルが、人工的なスコア上昇を受けることが防がれます。中央値と MAD を使用することで、この手法は本質的に勾配ベースの操作や外れ値に対して耐性を持ちます。

主要な貢献

1. 非対称的脆弱性の特定： 本論文は、既存の摂動ベースの OOD 検出器（PRO や ODIN など）が、一方の攻撃方向に対する防御は行うものの、逆方向の攻撃に対しては依然として脆弱であるという非対称的な堅牢性の欠如を、体系的に分析・実証した最初の研究です。
2. ROSS の提案： 局所的なスコア不安定性を信頼度乗数として活用する、新しい事後フレームワークです。先行研究とは異なり、ROSS は非方向性であり勾配を必要とせず、PGD-min および PGD-max 攻撃の両方に対する対称的な堅牢性を達成します。
3. 安定性と信頼度の分解： 広範なアブレーション研究を通じて、著者らはスコア安定性と信頼度閾値付けの寄与を分離し、両者が効果的な ID/OOD 分離にとって不可欠であることを実証しました。
4. 実証的検証： CIFAR-10、CIFAR-100、ImageNet における包括的な評価により、ROSS がベースライン検出器および既存の摂動ベース手法を常に凌駕することを示しました。

実験結果

著者らは、事前学習済みの ResNet-18 および ResNet-50 モデルを用いた標準ベンチマークで ROSS を評価しました。

• ベースライン性能： クリーンデータにおいて、ROSS は最先端の性能を達成します。例えば、CIFAR-10 において GEN ベーススコアを使用した場合、ROSS は平均 AUROC 84.72%、FPR95 45.77% を達成し、中央値のみのベースライン（$S_{med}$）や単純な比率（$S_{med}/\sigma_{med}$）を上回りました。
• 敵対的堅牢性： PGD 攻撃（$\epsilon = 8/255$）下において、ROSS は顕著な耐性を示します。
  • CIFAR-10 において、MSP ベースラインの AUROC は PGD-max 攻撃下で 3.76% まで崩壊しましたが、ROSS-MSP は 52.65% の AUROC を維持しました。
  • CIFAR-100 において、ROSS-fDBD は PGD-max 攻撃下で AUROC をベースラインの 11.02% から 44.72% に向上させました。
• 対称的防御： 「間違った」方向から攻撃された際に著しく性能が低下する PRO や ODIN と異なり、ROSS は PGD-min および PGD-max 攻撃の両方に対して一貫した性能を維持します。著者らは、強力な攻撃下において、既存の摂動ベース手法に対して最大 40 AUROC ポイント の改善を報告しています。
• 効率性： $N=25$ の順伝播を必要とするにもかかわらず、現代の GPU における並列化可能な推論の性質により、単一の順伝播と比較してレイテンシの増加はわずか 1.2 倍 であり、実運用に耐えるものとなっています。

意義と主張

本論文は、ROSS が OOD 検出のための実用的で軽量、かつ容易に展開可能な第一線の防衛策を提供すると主張しています。その主な意義は、非対称的な弱点を生み出す方向性最適化から、統計的安定性を活用する相乗的平滑化へとパラダイムを転換した点にあります。

著者らは、ROSS が敵対的再学習の計算コストを伴わずに、クリーンな精度と敵対的堅牢性のバランスを成功裏に取っていることを主張しています。既存の OOD スコアリングアプローチとシームレスに統合することで、未知または悪意のある入力が避けられないオープンワールド環境における自動システムの信頼性を高めます。この研究は、特定の方向にスコアを押し上げようとする試みよりも、局所的な不安定性を定量化する方が、OOD 検出のためのより堅牢な代理指標であることを示唆しています。

著者らが指摘する今後の課題は、このフレームワークを勾配ベースの攻撃を超えて拡張し、生成モデルや現実世界の破損によって引き起こされる分布のシフトまで含めることです。