技術要約: Trust The Typical (T3)

問題提起

現在の大規模言語モデル（LLM）の安全性パラダイムは、本質的に反応的（reactive）であり、既知の有害なコンテンツのカテゴリを検出するために、明示的なパターン認識を通じて訓練された特化型の分類器に依存しています。この「いたちごっこ」のダイナミクスは、本質的な非対称性を生み出します。すなわち、攻撃者は安全分類器の訓練分布の外にある新しいプロンプト構造を発見するだけで済みますが、防御側は有害なパターンのカタログを継続的に拡張し続けなければなりません。その結果、強化学習（RLHF）やConstitutional AIのような高度なアライメント技術も、訓練分布から外れた敵対的な入力に対する堅牢性を保証することはできません。さらに、これらの反応的な手法は、しば理にかなったが困難なプロンプトをブロックしてしまう高い偽陽性率（過剰拒絶）に苦しみ、広範な再学習なしに多様なドメインや言語間で汎用化することに苦慮します。

手法: Trust The Typical (T3)

本論文は、LLMの安全性を、反応的なパターンマッチングから「典型性（typicality）」の原則に基づくプロアクティブな統計モデリングへと再定義するフレームワークである**Trust The Typical (T3)**を導入します。情報理論に基づき、T3は、正当なユーザーインタラクションはモデルのセマンティック表現空間（「典型的集合（typical set）」）内の集中した領域を占める一方で、敵対的なプロンプトは、脆弱性を悪用するために自然言語のパターンから逸脱するように設計されており、結果として外分布（OOD）の点として現れる、と仮定しています。

コアメカニズム

T3はこの原理を、有害な例の訓練を必要とせずに、安全な言語使用の幾何学的構造を学習し、その逸脱を検出することによって具現化します。その手法には以下が含まれます：

1. マルチビュー・エンベディング（Multi-View Embedding）: 各テキストサンプルに対し、T3は3つの文章トランスフォーマー（Qwen3-Embedding-0.6B、BGE-M3、E5-Large-v2）を用いて、単位超球上の正規化されたエンベディングを生成します。
2. PRDC指標: フレームワークは、テスト分布と参照分布の関係を捉えるために、1点あたり4つの幾何学的特徴を計算します：
   • Precision（適合率）: テスト点が、$k$-近傍ボールの結合集合内に存在するかどうか。
   • Recall（再現率）: 参照点のプロポーションのうち、その$k$-近傍にテスト点が含まれる割合。
   • Density（密度）: テスト点を$k$-近傍に持つ参照点のプロポーション。
   • Coverage（網羅率）: テスト点の$k$-近傍内に参照点が存在するかどうか。
3. 理論的基礎: 本論文は、帰無仮説（イン分布）の下でのこれらの指標の期待値を確立し、部分的なサポートの不一致、密度のシフト、および局所的な摂動の下で分布を区別する一貫性を実証する厳密な理論的分析（定理3.1および付録A）を提供します。
4. 異常スコアリング（Anomaly Scoring）: すべてのエンコーダーからのPRDC指標は、単一の表現へと集約されます。密度推定器（ガウス混合モデルまたはOne-Class SVM）は、安全なイン分布データから導出されたPRDC指標のみを用いて訓練されます。テスト点の異常スコアは、この適合されたモデルにおける負の対数尤度となります。

実装と統合

• ゼロショット汎用化: T3は、新しいドメインや言語に対して再学習を必要としません。一般的な英語の安全なテキストで訓練された単一のモデルが、専門的なドメイン（コード、人事など）や14以上の言語に直接適用されます。
• プロダクションへの統合: 著者らは、T3をvLLM推論フレームワークに統合しました。推論がワーカープロセス内で進行している間に、メインプロセス内で出力をインターセプトすることで、T3はトークン生成中の継続的な安全性監視を可能にします。この共同設計により、推論操作と安全性の計算をオーバーラップさせることができ、密な評価間隔であっても6%未満のオーバーヘッドで実現できます。

主な貢献

1. 理論的拡張: 著者らは、Forteフレームワークをビジョンからテキストへと拡張し、一般的な設定における分布シフトを検出するための、各点におけるPRDC指標の厳密な理論的分析を提供し、イン分布のサンプルに対して追加の仮定なしに期待値を確立しました。
2. 最先端の性能: 18のベンチマーク（毒性、ヘイトスピーチ、ジェイルブレイク、多言語的危害）において、T3は最先端のAUROCを達成しています。決定的なのは、特化型の安全モデルと比較して、偽陽性率（FPR@95）を10〜40倍減少させている点です。例えば、OffensEvalにおいて、T3-OCSVMは最高のベースラインが75.2%であるのに対し、2.0%のFPR@95を達成しました。
3. 堅牢な汎用化: T3は、専門的なドメイン（コードで99.6%、人事で99.8%のAUROC）へのほぼ完璧な転移を示し、14以上の言語間で一貫した性能を維持し、ドメイン固有の訓練や多言語データの収集の必要性を排除します。
4. リアルタイム展開: vLLMへの統合はプロダクションへの準備ができていることを示しており、大規模なワークロードに対して6%未満のオーバーヘッドで継続的なガードレールを可能にし、後処理によるレイテンシのペナルティなしに、リアルタイムの安全性監視を実用的なものにします。

結果

• 毒性およびヘイトスピーチ: T3は、LlamaGuard、WildGuard、PolyGuardといったベースラインを、特に誤アラームの削減において決定的に上回っています。従来のOOD手法は壊滅的な失敗（FPR@95 >90%）を犯しましたが、特化型モデルは「精度の上限」に突き当たっています。
• 敵対的攻撃およびジェイルブレイク: T3は、安全なデータのみで訓練されているにもかかわらず、新しい攻撃（AdvBench、JailbreakBench）に対して堅牢な防御を提供し、AdvBenchにおけるFPR@95を15.8%に低減しました（PolyGuardより4.2倍の改善）。
• 過剰拒絶: OR-Benchにおいて、T3は安全性と有用性の優れたバランスを実現しています。T3-GMMは22.2%のFPR@95を達成し、過剰な拒絶を示す特化型モデルを大幅に上回りました。
• 多言語およびドメイン転移: T3は、再学習なしに14以上の言語と多様なドメインにわたって高いAUROC（>98%）と低い分散を維持しますが、ベースラインは高い言語的分散と低い汎用性を示します。
• 効率性: vLLMへの統合において、T3は500プロンプトのワークロードでわずか1.5%、5,000プロンプトのワークロードで6%のオーバーヘッドしか追加しませんでした。生成後の評価では、T3の実行時間（60–155 ms）は、MDJudgeやLlamaGuardのような重い評価器よりも大幅に高速でした。

意義と主張

本論文は、T3がLLMの安全性におけるパラダイムシフト、すなわち、反応的な脅威ブロックから、統計的な典型性に基づくプロアクティブなアプローチへの移行を象徴していると主張しています。有害なパターンを列挙するのではなく、「何が安全か」をモデリングすることで、T3は現在の防御の根本的な限界に対処します：

• プロアクティブ性: 有害なパターンの網羅的なカタログに依存せず、未知かつ予期せぬ攻撃に対する原理的な防御を提供します。
• 効率性: 二重モデルの尤度計算のコストや、合成データ手法に必要とされる「OODオラクル」を排除します。
• 実用性: 最小限のオーバーヘッドでvLLMへの統合に成功したことは、プロダクション環境において継続的なガードレールが実現可能であることを示しています。

著者らは、T3の有効性がイン分布の訓練セットのキュレーションに依存するという根本的な境界を認めています。もし「安全な」訓練データ自体に有害なパターン（例：RLHFデータセット内の毒性コンテンツ）が含まれている場合、典型的集合はその危害を包含してしまい、検出は失敗します。しかし、安全なコンテンツと有害なコンテンツが分離可能な多様体（manifold）を占めるシナリオにおいては、T3は理論的に裏付けられた、効率的で非常に汎用性の高いソリューションを提供します。