SALLIE: 潜在言語・画像悪用に対する防御枠組みの技術的サマリー

本論文は、大規模言語モデル（LLM）および視覚言語モデル（VLM）が抱える重大なセキュリティ課題、すなわち「テキストおよび画像を用いたジャイブレイク（Jailbreak）」と「プロンプトインジェクション（Prompt Injection）」攻撃に対する統一的かつ効率的な防御手法 SALLIE（Safeguarding Against Latent Language & Image Exploits）を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義

現在の LLM や VLM は、以下の二つの主要な攻撃ベクトルに対して脆弱です。

• ジャイブレイク攻撃: モデルの安全性アライメントを回避し、有害なコンテンツを生成させる攻撃。
• プロンプトインジェクション: 信頼できない外部データを通じて、モデルに攻撃者が意図したタスクを実行させる攻撃。

特に、画像エンコーダを統合した VLM では、悪意のある意図が画像内に埋め込まれる「マルチモーダル攻撃」が可能となり、防御がさらに困難になっています。既存の防御手法には以下の限界がありました。

• 性能低下と遅延: 入力変換や複雑なフィルタリングを行う手法は、推論時の遅延やモデルの有用性低下を招く。
• モダリティの分離: テキスト特化の防御は画像攻撃に無効であり、既存のマルチモーダル防御（例：HiddenDetect）は視覚的なプロンプトインジェクションに対して極めて低い性能（F1 スコア 0.11）を示す。
• 計算コスト: 複数の入力変異を生成してモデルに複数回問い合わせる手法（例：JailGuard）は、計算コストが 8 倍になるなど非現実的。

2. 手法：SALLIE

SALLIE は、モデルの「機械的解釈性（Mechanistic Interpretability）」に基づき、推論時の内部状態（隠れ状態）を直接分析する軽量なランタイム検出フレームワークです。

2.1 基本的な考え方

事前学習済みの VLM の隠れ状態（Residual Stream）には、安全性に関連する幾何学的に局所化された信号が存在し、悪意のある入力は良性入力とは異なる特徴的なクラスタを形成するという仮説に基づいています。SALLIE は、モデルの出力を生成する前に、この内部活性化パターンを検知することで防御を行います。

2.2 アーキテクチャ

SALLIE は、標準的なトークンレベルの融合パイプラインにシームレスに統合され、以下の 3 つの段階で構成されます。

1. 内部活性化の抽出:
   • 入力（テキストまたは画像＋テキスト）に対してモデルを 1 回フォワードパス（単一の推論パス）実行します。
   • 各トランスフォーマー層における最終トークンの残差ストリーム活性化（Hidden States）を抽出します。
2. 層ごとの悪性スコア計算:
   • 各層の活性化に対して、K 近傍法（k-NN）分類器を適用します。
   • 訓練データとのコサイン類似度に基づき、その層における「悪性サンプルの割合」をスコア $p^{(l)}$ として算出します。
   • 必要に応じて PCA による次元削減を適用し、ノイズを低減します。
3. 層アンサンブルによる集約:
   • 特定の層の範囲（$L_m$）におけるスコアを平均化し、最終的な悪性スコア $\bar{p}$ を算出します。
   • 閾値 $\tau$ と比較し、$\bar{p} \ge \tau$ の場合は攻撃としてブロック、それ以外は通過させます。

このアプローチは、入力変異や再サンプリングを必要とせず、モデルのアーキテクチャ変更も不要です。

3. 主要な貢献

1. テキストと視覚を統合した単一検出器:
   • 単一のフォワードパスで、テキストおよび画像のジャイブレイクとプロンプトインジェクションの両方を検出する統一パイプラインを提供します。
2. 内部状態の効率的な活用:
   • 入力変異や外部 API 呼び出し（JailGuard のような 8 倍のオーバーヘッド）を回避し、モデルの内在的な安全性表現を直接探ることで、極めて軽量な防御を実現します。
3. 視覚プロンプトインジェクションギャップの解消:
   • 既存のマルチモーダル防御が失敗していた視覚的なプロンプトインジェクションに対して、高い検出精度を達成しました。

4. 実験結果

著者らは、Phi-3.5-vision-instruct、SmolVLM2-2.2B-Instruct、Gemma-3-4b-it の 3 つのオープンウェイトモデルを用いて評価を行いました。

• 性能:
  • Gemma-3-4b-it 搭載版は、全モダリティで F1 スコア 0.90 を達成し、すべてのオープンウェイトベースラインを超え、クローズドソースの裁判官モデル（Gemini-2.5-Flash-Lite: F1 0.82）をも凌駕しました。
  • Phi-3.5-vision-instruct 搭載版は、視覚入力において F1 スコア 0.96 を記録し、GPT-4.1 Mini（F1 0.85）や他のすべてのベースラインを上回りました。
• 比較対照:
  • 既存のマルチモーダル防御手法 HiddenDetect は、視覚入力において F1 スコア 0.11 しか達成できず、視覚的な攻撃をほとんど検知できませんでした。
  • テキスト特化の手法（Perplexity Filter, EEG-Defender など）は視覚コンテンツを完全に無視します。
• 幾何学的分析:
  • 隠れ状態空間の可視化（PCA 投影）により、悪意のある入力（特に画像ベースの攻撃）は良性入力から幾何学的に明確に分離されたクラスタを形成することが確認されました。これは、内部状態の探査がマルチモーダル脅威に対して特に有効であることのメカニズム的説明となります。

5. 意義と結論

SALLIE は、LLM と VLM のセキュリティにおいて重要な転換点となる技術です。

• 実用性: 単一のフォワードパスで動作し、追加の計算コストやモデル変更を伴わないため、リアルタイムのデプロイに極めて適しています。
• セキュリティの向上: 従来の「表面レベルのフィルタリング」や「高コストな変異ベースの防御」に代わる、モデルの内部構造に根ざした堅牢な防御を提供します。
• マルチモーダルセキュリティの進展: 視覚的なプロンプトインジェクションという未解決課題に対して、オープンウェイトモデルでも商用モデルを上回る性能を達成し、この分野の新たな基準を示しました。

本論文は、モデルの内部状態（Hidden States）が、テキストと画像の両方における悪意ある意図を検知するための強力なシグナルを含んでいることを実証し、将来的な AI セーフティ対策の方向性を示唆しています。