技術要約：DMDに基づくプロンプト・レスポンス・埋め込みダイナミクスの分類によるLLM安全性への強制

問題提起

大規模言語モデル（LLM）は、高リスクなアプリケーションへの導入が進んでいるが、ハルシネーション、ヘイトスピーチ、違法行為への指示など、有害またはポリシー違反となるコンテンツを生成するリスクが依然として存在する。RLHF（人間からのフィードバックによる強化学習）のような学習時のアライメント手法は存在するものの、これらはリソース集約的であり、安全でない出力のリスクを完全に排除するものではない。したがって、効率的でスケーラブルなポストデプロイメント（展開後）のモニタリング手法が切実に求められている。

現在の検出アプローチには、以下のような重大な限界がある：

• ホワイトボックス手法は、内部状態（隠れ状態、アテンションマップ）へのアクセスを必要とするが、商用APIでは不可能なことが多い。
• グレーボックス手法は、トークンレベルの確率やロジットのエントロピーに依存しているが、これらも常に公開されているわけではない。
• ブラックボックス手法は、通常、一貫性を確認するために複数のレスポンスをサンプリングしたり、外部の知識グラフを利用したりするが、これらは計算コストが高かったり、外部リトリーバルを必要としたりする場合がある。
• 相互作用への盲目性（Interaction Blindness）：既存の多くのブラックボックス・アプローチは、レスポンスのテキストのみを分析しており、「安全に見えるプロンプト」と「有害なレスポンス」の間の相互作用から生じる安全性の違反（例：ユーザーのクエリに基づいて、モデルが誤って返金処理を許可してしまう等）を検出できない。

手法

本論文は、LLMのトークンごとの生成プロセスを離散時間力学系として扱う、ブラックボックス型の安全性分類フレームワークを提案している。この手法は、プロンプトとレスポンスの両方のダイナミクスを取り入れることで、以前に提案されたハルシネーション検出フレームメントを安全性分類へと拡張したものである。

1. 力学系フレームワーク

核となる仮定は、LLMにおけるトークン埋め込みの進化は、力学系としてモデル化できるということである。著者らは、これらのダイナミクスを線形化するために**クープマン作用素理論（Koopman operator theory）**を利用している。

• 埋め込み：プロンプトとレスポンスの両方を、学習済み埋め込みモデル（例：Qwen, Mistral, Llama-3）を用いて高次元の埋め込み空間に投影する。
• クープマン作用素の推定：**拡張動的モード分解（EDMD）**を用いて、それぞれ「安全な」レジームと「不安全な」レジームのための別々の線形予測モデル（クープマン作用素）を適合させる。
  • 4つの作用素を推定する：安全/不安全なプロンプトのための $A^{(p)}_s, A^{(p)}_u$、および安全/不安全なレスポンスのための $A^{(r)}_s, A^{(r)}_u$。
  • これらの作用素は、トークン埋め込みシーケンスからなる訓練データから学習される。

2. 微分残差スコア

新しい相互作用を分類するために、本手法は、観測されたトークンの進化に対して、安全モデルと不安全モデルの予測誤差を比較する微分残差スコア（$\Delta E$）を計算する。

• プロンプトのトークン数を $P$、レスポンスのトークン数を $L$ とすると、各トークンステップ $k$ における予測誤差 $\epsilon$ は、それぞれのクープマン作用素を用いて計算される。
• スコア $\Delta E$ は、不安全モデルによる累積予測誤差と安全モデルによる累積予測誤差の差として定義される：
  $$\Delta E = \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{u,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{u,j})^2 \right)^{1/2} - \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{s,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{s,j})^2 \right)^{1/2}$$
• 分類ロジック：出力が不安全な場合、不安全モデル（$A_u$）の方が軌道をより良く予測するため、不安全項の誤差は小さくなり、$\Delta E$ は負の値をとる。逆に、安全な出力は正の $\Delta E$ をもたらす。
• $\Delta E$ を閾値 $\eta$ と比較することで、バイナリ決定が行われる。

主な貢献

1. プロンプトを考慮した安全性分類：主要な貢献は、プロンプトのダイナミクスを含めることで、DMDベースの分類を拡張したことである。著者らは、安全性がしばしば相互作用に依存することを実証している（例：あるレスポンスは単体では安全に見えても、特定のプロンプトを与えられると不安全になる）。プロンプトとレスポンスの個別の力学系を適合させることで、本手法はこれらの因果関係のパターンを捉えることができる。
2. ブラックボックスとしての効率性：本手法は完全にテキストの出力埋め込み上で動作するため、モデルの内部重み、トークン確率、または複数の確率的サンプルへのアクセスを必要としない。
3. 埋め込みアーキテクチャの経験的分析：本研究は、異なる埋め込みモデルのアーキテクチャ（高密度デコーダーのみ vs 因果的デコーダー）が、異なるタイプの安全性違反とどのように相互作用するかを体系的に評価している。

実験結果

本手法は、規模の異なる3つの埋め込みモデル（Qwen3-Embed (0.6B)、Mistral (7.2B)、Llama-3 (8.0B)）を用いて、3つの安全性ベンチマークで評価された。

• Aegis AI コンテンツ安全性データセット（相互作用依存型）：

  • このデータセットは、ユーザーの意図とモデルの遵守の間の相互作用から生じる違反を特徴としている。
  • 結果：プロンプトの埋め込みを組み込むことで、パフォーマンスが大幅に向上した。Llama-3が支配的なモデルとなり（$L \ge 150$ において F1 = 77.0%）、Qwen-EmbedやMistralを上回った。
  • 洞察：Llama-3の因果的デコーダー・アーキテクチャは、プロンプトとレスポンスの相互作用の時系列的なダイナミクスを効果的に捉え、プロンプトのコンテキストを含めることで、安全なサンプルに対する追跡誤差を減少させ、不安全なサンプルに対する誤差を増加させた。

• 合成CoT安全性データセット：

  • このデータセットは、構造化された推論と拒絶パターンを含む。
  • 結果：すべてのモデルが高い精度（>88%）を達成したが、クラス不均衡のためF1スコアは低くなった。プロンプトの埋め込みを追加することで、すべてのモデルにおいて緩やかではあるが一貫した向上が見られた。

• BeaverTails データセット（レスポンス単独の違反）：

  • このデータセットには、プロンプトに関わらず、レスポンスの内容自体に起因する違反（例：ヘイトスピーチ、暴力）が含まれる人間作成のプロンプトとレスポンスが含まれている。
  • 結果：Qwen-Embed（高密度セマンティックエンコーダ）が他を圧倒し、$L \ge 150$ のときにプロンプトの埋め込みを含めることでF1 86.7%を達成した。
  • 洞察：レスポンスのトークンに直接エンコードされている違反については、高密度な意味表現が優れている。興味深いことに、このデータセットにおけるプロンプトのみの分類も高いF1スコア（83.4%）を達成しており、人間が作成した不安全なプロンプトも独特のダイナミカル・シグネチャを持っていることを示唆しているが、レスポンスのダイナミクスが主要な信号となっている。

ベースラインとの比較：Aegisデータセットにおいて、提案されたブラックボックス手法は、ファインチューニングされたホワイトボックスモデル（AegisGuard）のF1 86.8%に対し、F1 77.0%を達成した。著者らは、これはタスク固有のトレーニングを必要としない手法としては顕著な成果であると述べている。

重要性と主張

本論文は、一般的な「力学系のためのAI」ではなく、**「AIのための力学系」**というパラダイムを進展させることを主張している。LLMの生成を力学系として扱うことで、クープマンに基づく予測が、安全な出力と不安全な出力を効果的に区別できることを実証している。

本研究は、埋め込みモデルのアーキテクチャと安全性の違反の性質との間の微妙な関係を明らかにしている：

• **因果的デコーダー（例：Llama-3）**は、プロンプトとレスポンスの関係が極めて重要な、相互作用依存型の違反に優れている。
• **高密度セマンティックエンコーダ（例：Qwen-Embed）**は、レスポンスのトークン自体に不安全な性質が内在している、コンテンツ孤立型の違反に優れている。

著者らは、このアプローチが、リソース集約的な学習時のアライメントや複雑なマルチサンプル推論戦略に代わる、スケーラブルなブラックボックスの選択肢として、力学系理論を用いてAIシステムを分析・制御する道を開くものであると結論づけている。今後の課題としては、多クラスの危害カテゴリへの拡張や、異なる埋め込みモデルのアンサンブル戦略の探索などが挙げられている。