技術的概要：深層表現の証明可能な堅牢性のための特徴空間平滑化

1. 問題定義

現代の深層学習モデル、特に GPT-4 や Gemini などのマルチモーダル大規模言語モデル（MLLM）は、非常に効果的である一方で、敵対的攻撃に対して脆弱です。これらの攻撃は、クリーンな入力に微妙で知覚不可能な摂動を注入し、特徴表現を歪めることで誤った予測を引き起こします。経験的防御（敵対的訓練など）は存在しますが、形式的な堅牢性の保証がなく、より強力な適応型敵対者に対してはしばしば失敗します。さらに、既存の証明可能な防御手法（ランダム化平滑化など）は、主に離散出力を持つ分類タスク向けに設計されており、一般的な特徴表現、回帰タスク、または MLLM の複雑なデコーディングプロセスへの適用が困難です。加えて、堅牢性を向上させるために大規模な事前学習済みモデルを再訓練することは、計算コストの面で非現実的です。

ここで扱われる核心的な課題は、特徴表現レベルで証明可能な堅牢性を提供し、多様なモデルやタスク（MLLM を含む）に対して汎用性があり、高コストなモデルの再訓練や微調整を必要としない防御フレームワークを開発することです。

2. 手法

提案される解決策は、**特徴空間平滑化（FS）とガウス平滑化ブースター（GSB）**という 2 つの主要なコンポーネントで構成されます。

2.1 特徴空間平滑化（FS）

FS は、標準的な特徴エンコーダ $f_e$ をガウス平滑化を通じて平滑化された変種 $\hat{f}_e$ に変換する汎用的なフレームワークです。

• メカニズム: 入力 $x$ に対して、平滑化されたエンコーダはガウス分布にわたる特徴表現の期待値を出力します：$\hat{f}_e(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[f_e(x + \epsilon)]$。
• 理論的保証: 著者は**特徴コサイン類似度 bound（FCSB）**を確立しました。$\ell_2$ 有界摂動の下で、クリーンな特徴と敵対的平滑化特徴との間のコサイン類似度が、特定の下限以上であることが保証されることを証明しました。
• 証明可能な半径: この bound により、証明可能な半径 $R$ の導出が可能になります。摂動の大きさが $R$ 以内であれば、クリーンな特徴と敵対的特徴との間のコサイン類似度が閾値（例：0.5）以上であることが保証されます。
• 予測単位での拡張: このフレームワークは、特徴レベルの保証を予測レベルの証明へと拡張します。予測が正規化されたベクトルとして表現可能なタスク（検索、プロトタイプベースの分類など）において、FCSB は敵対的予測と目標予測との間のコサイン類似度に対する保証された bound へと変換されます。

2.2 ガウス平滑化ブースター（GSB）

FS の理論的 bound は、基盤となるエンコーダの内在的なガウス堅牢性スコアに依存します。事前学習済みエンコーダはしばしば限られたガウス堅牢性を持ち、その結果、証明可能な半径が最適化されません。バックボーンを再訓練することなくこれを解決するため、著者はプラグアンドプレイモジュールである GSB を提案します。これは以下の 2 つで構成されます：

1. ガウスノイズ除去器（$\mathcal{P}$）: 特徴エンコーダの前に配置される軽量モジュール（U-Net など）。ガウス汚染入力からクリーン入力を再構成するように訓練され、特徴抽出前にノイズを軽減します。
2. 残差平滑化マッパー（$\mathcal{M}$）: 特徴抽出の後に配置されるモジュール。元の分布を維持しつつ堅牢性を強化するために、精製された特徴を洗練させます。クリーン入力での安定性を確保するために残差学習アプローチを使用します。

訓練戦略: GSB は、有用性と堅牢性のトレードオフ損失を用いた自己教師あり学習で訓練されます。バックボーンエンコーダは固定されたままです。ノイズ除去器は再構成損失と特徴一貫性損失を最小化し、マッパーは特徴一貫性損失と統計的正則化（平均と分散を保持するため）およびクリーン入力に対するアイデンティティ損失を最小化します。

3. 主要な貢献

• 特徴空間平滑化（FS）: $\ell_2$ 摂動下でクリーンな特徴と敵対的特徴との間のコサイン類似度に対する証明可能な下限（FCSB）を持つ平滑化変種へと、任意の特徴エンコーダを変換する汎用的な防御フレームワーク。
• 予測単位での証明: 正規化されたベクトル出力を伴うタスク（トップ 1 検索、分類など）において、特徴レベルの FCSB 保証が予測レベルの堅牢性へと伝播することを示す理論的拡張。
• ガウス平滑化ブースター（GSB）: バックボーンの微調整なしに既存のエンコーダのガウス堅牢性スコアを向上させ、証明可能な半径を改善するプラグアンドプレイモジュール。
• 体系的評価: 多様なビジョンエンコーダ（CLIP、SigLIP 2、EVA-CLIP）および MLLM（LLaVA、OpenFlamingo）にわたる包括的な実験により、FS が非自明な証明可能な堅牢性を提供し、強力なホワイトボックス攻撃に対する経験的性能を大幅に向上させることを実証。

4. 実験結果

4.1 証明可能な堅牢性

• 特徴単位: ImageNet において、GSB を FS と統合することで、FCSB $\geq 0.5$ に対する平均証明可能な半径（$R$）が大幅に増加しました。例えば、$\sigma=0.5$ の場合、CLIP の平均半径は 0.101 から 0.455 に、SigLIP 2 では 0.134 から 0.514 に増加しました。
• 予測単位: ImageNet 分類において、FS は個別の平滑化分類器を必要とせず、標準的なランダム化平滑化（RS）と同等の証明可能な精度を達成しました。SigLIP 2 において、FS は $\epsilon=1.00$ で 64.0% の証明可能な精度を達成し、RS（67.6%）と同等でした。
• 検索: MS COCO ゼロショット検索において、FS は非自明な証明可能な精度を提供しましたが、テキスト埋め込みの密な性質により、分類の場合よりもマージンは狭くなりました。

4.2 ホワイトボックス攻撃に対する経験的堅牢性

このフレームワークは、画像キャプション生成、分類、VQA タスクにおける MLLM（LLaVA-1.5-7B、OpenFlamingo-9B）に対して、最先端のホワイトボックス攻撃（PGD、APGD、M-Attack、FOA、AttackVLM）でテストされました。

• 画像キャプション生成: 強力な FOA 攻撃下で、バニラ LLaVA の精度は 1% に低下しました。FS を使用すると、精度は 65% に上昇し、攻撃成功率（ASR）は 94% から 6% に低下しました。FS は、追加の微調整なしに敵対的訓練されたベースライン（FARE、TeCoA）の堅牢性も向上させました。
• 画像分類: FS は、FOA 攻撃下で LLaVA の精度を 3.8% から 87.2% に向上させ、ASR を 81% から 0.2% に削減しました。
• VQA: FS はクリーンな精度（54.0%）を維持しつつ、ガウスノイズ混入時の精度を向上させ、ASR をほぼゼロに削減しました。一方、敵対的訓練ベースライン（FARE、TeCoA）はクリーンな性能の大幅な低下を招きました。

4.3 効率性

特徴単位の平滑化は、モデル全体の平滑化よりも推論オーバーヘッドが低いです。$n_0=8$ のガウスサンプルを使用した場合、LLaVA の推論時間は画像あたり約 0.36 秒のみ増加し、実用的な実現可能性を示しました。

5. 意義と主張

本論文は、特徴空間平滑化（FS）が、証明可能な堅牢性の焦点をタスク固有の出力空間から特徴表現レベルへとシフトさせることで、重要な進展をもたらすと主張しています。これにより以下が可能になります：

1. 汎用性: 予測ヘッドを変更したりバックボーンを再訓練したりすることなく、分類、検索、生成など多様な下流タスクに適用可能。
2. プラグアンドプレイ統合: GSB を通じて、大規模な事前学習済みモデル（MLLM を含む）を、モデル全体の再訓練やアライメントの計算コストなしに堅牢化可能。
3. 証明可能な保証: 経験的防御が欠く信頼性を提供する、予測安定性に転換される数学的に証明可能な特徴類似度の下限。

著者は限界を認め、現在の証明は$\ell_2$有界摂動に限定され、コサイン類似度に基づく決定ルールに依存しており、すべてのオープンエンドな MLLM デコーディング行動を網羅していないことを指摘しています。今後の研究では、他の脅威モデル（$\ell_\infty$、意味的攻撃など）およびより広範な生成タスクへのフレームワークの拡張を目指しています。