Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models

以下は、論文「大規模言語モデルにおけるランタイム誤動作検出のための層別収束指紋」の詳細な技術的サマリーです。

1. 問題定義

本番環境に展開された大規模言語モデル（LLM）は、標準的なクリーンデータ検証では検出が困難な、3 つの明確なランタイム脅威に直面しています。

1. 学習時バックドア: 特定のトリガーが存在するまで休眠状態にあり、攻撃者が選択した挙動をモデルに出力させる、悪意のある微調整（LoRA 経由など）。
2. ジェイルブレイク: セーフティアライメントを回避する敵対的プロンプト（「DAN」ロールプレイ、勾配最適化サフィックスなど）。
3. プロンプトインジェクション: ユーザーコンテンツ（メール、コードスニペットなど）に埋め込まれ、システムの意図したタスクを上書きする指示。

既存防御の限界:
現在のランタイム防御は、往々にして特定の脅威に特化しており、信頼できる「クリーン」な参照モデルを必要とし、トリガートークンの知識を要するか、モデルの重み（微調整/プルーニング）の変更を必要とします。これらの仮定は、クラウドやエッジ環境に展開される非透明なサードパーティ製アーティファクトではほとんど成り立ちません。再学習や外部モデルなしで動作する、チューニング不要かつ脅威非依存のホワイトボックスモニターの必要性があります。

2. 手法：層別収束指紋（LCF）

著者らは、トランスフォーマー層間の隠れ状態の軌跡を「健康シグナル」として扱うランタイムモニター、LCFを提案します。核心的な直観は、クリーンな推論中は隠れ状態が滑らかに進化しますが、誤動作を誘発する入力はこの層間差に異常な「ジャンプ」を引き起こすという点です。

主要コンポーネント:

1. 表現速度（$\delta_\ell$）:
   生アクティベーションを監視する代わりに、LCF は隣接する層の隠れ状態の差分を計算します。
   $$\delta_\ell = h_{\ell+1} - h_\ell$$
   これにより、表現の成熟の「速度」を捉えます。

2. 層別異常スコアリング（対角マハラノビス）:
   各層 $\ell$ において、LCF は $\delta_\ell$ に対してマハラノビス距離を計算します。重要なのは、クリーンな処理が安定しているが誤動作により大きなシフトが生じる低分散次元を強調するために、対角共分散行列を使用する点です。
   $$s_\ell = \left\| \frac{\delta_\ell - \mu_\ell}{\sigma_\ell} \right\|^2$$
   ここで、$\mu_\ell$ と $\sigma_\ell$ は少量のクリーンな較正セットから推定されます。

3. 全層集約（Ledoit–Wolf シュリンク）:
   異常の位置はアーキテクチャや脅威の種類によって異なるため、LCF はすべての $L$ 層にわたってスコアを集約します。これは「サンプル数が少なく次元が高い」問題（$n=200$ サンプル、$L \approx 30\text{--}50$ 層）に対処するため、正則化された精度行列 $P$ を推定するLedoit–Wolf シュリンクを適用します。
   $$D = \sqrt{(z - \bar{z})^\top P (z - \bar{z})}$$
   ここで、$z$ は z スコア化された層スコアのベクトルです。これにより、ネットワーク全体にわたる相関した逸脱を捉えます。

4. 較正と閾値設定:

   • 入力: 展開分布からの少量のクリーンデータセット（200 例）。
   • 閾値（$\tau$）: 特定の偽陽性率（FPR、例：10%）を目標として、**Leave-One-Out（LOO）**較正を通じて決定されます。
   • 判断: $D > \tau$ の場合、システムはトークンが生成される前に棄権（安全なフォールバックを返す）します。それ以外の場合、出力は変更なしで通過します。

3. 主要な貢献

1. 統合された脅威検出: LCF は、トリガーの知識、参照モデル、重み編集を必要とせず、単一の脅威非依存スコアを用いてバックドア、ジェイルブレイク、プロンプトインジェクションを検出する初のランタイムモニターです。
2. 3 帯域深さの層別化: 本論文は、異なる脅威が異なる深さに異常を集中させることを実証的に特定しています。
   • ジェイルブレイク: 初期層（初期トークン処理の混乱）。
   • プロンプトインジェクション: 中間層（意図したコンテキストとの競合）。
   • バックドア: 後期層（アーキテクチャ固有、モデルが出力を確定する段階）。
   • 意義: これが単一の全層集約が必要な理由を説明しています。単一の層では普遍的なカバレッジは得られないためです。
3. 効率性: LCF は0.1% 未満の推論オーバーヘッドで動作し、プレフィルステップ（ステップ 0）のみを検査し、追加のフォワードパスや補助モデルを必要としません。

4. 実験結果

この手法は、56 のバックドア組み合わせ、3 つのジェイルブレイク技術、およびプロンプトインジェクションベンチマーク（BIPIA）にわたって、4 つのアーキテクチャ（Llama-3-8B、Qwen2.5-7B、Gemma-2-9B、Qwen2.5-14B）で評価されました。

• バックドア防御:
  • Qwen2.5-7B（0.9%）および Gemma-2（0.7%）において、平均攻撃成功率（ASR）を1% 未満に削減しました。
  • より大規模な Qwen2.5-14B においても 1.3% の ASR を達成しました。
  • 参照モデルを必要とする CleanGen や、重み編集を必要とする CROW などのベースラインを上回りました。
• ジェイルブレイク検出:
  • **92–100%**の DAN 様ジェイルブレイクを検出しました。
  • **62–100%**の GCG およびより緩やかなロールプレイ攻撃を検出しました。
  • 教師あり隠れ状態検出器（LLMScan）とほぼ同等の性能を達成しつつ、計算コストは65–113 倍低い（単一のプレフィル対 65 回以上のフォワードパス）でした。
• プロンプトインジェクション:
  • すべてのモデルとドメインにおいて、テキストペイロードインジェクションの**100%**をフラグ付けしました。
  • コードペイロードインジェクションを高い精度で検出しました（モデルサイズに比例してスケーリング；Qwen2.5-14B では 100%）。
• 堅牢性:
  • 適応的攻撃（攻撃者が LCF スコアを最小化するもの）において、LCF は中程度の正則化レベルで堅牢性を維持しましたが、単一層のバリアントは容易に回避されました。

5. 意義と影響

• 汎用安全レイヤー: LCF は、クリーンな参照モデルや既知のトリガーという非現実的な仮定に依存しない、クラウド提供およびオンデバイス LLM 向けの実用的な「プラグアンドプレイ」安全メカニズムを提供します。
• 運用上の実現可能性: 無視できるオーバーヘッドと再学習なしで動作することで、既存の防御が低速またはリソース集約的であるという展開のボトルネックを解決します。
• 理論的洞察: 「3 帯域深さの層別化」という発見は、異なる種類の敵対的入力がトランスフォーマーの内部計算グラフをどのように攪乱するかを理解するための新たな視点を提供し、異なる脅威ファミリーが異なる計算段階に関与することを示唆しています。
• 限界: この手法は現在、隠れ状態へのホワイトボックスアクセスを必要とします。また、有限サンプル分散により、目標とする 10% より高い偽陽性率（12–22%）を示しており、平均のシフト（「変位」）を検出しますが、分散の変化（「分散」）は検出しないため、平均軌道をシフトさせない幻覚タイプの誤見逃す可能性があります。

結論として、LCF は、最小限の計算コストで広範な誤動作を検出するために層別収束の幾何学的性質を活用し、LLM の堅牢かつランタイム非依存の安全に向けた重要な一歩を表しています。