技術要約: HoloAegis

問題提起

現在の大規模言語モデル（LLM）のセーフティ・ガードレールは、精度、レイテンシ、および計算コストの間にある根本的な緊張関係に直面している。既存のパラダイムは、一般的に以下の2つの極端な領域に分類される：

1. 生成型ニューラル・ジャッジ（Generative Neural Judges）: ファインチューニングされた自己回帰モデル（例：Llama-Guard, WildGuard）は、高い精度を提供するが、法外な推論コスト（180–1200 ms のレイテンシ）を伴い、多大なGPU VRAMを必要とするため、リアルタイムのインライン・モデレーションを困難にしている。
2. 識別型ニューラル・分類器（Discriminative Neural Classifiers）: 軽量なモデル（例：Detoxify）は、より低いレイテンシを提供するが、高次元ベクトル空間における「多様体の重複（manifold overlap）」に苦しみ、コールドスタート設定において高い偽陽性率（FPR90 > 48%）を招く。

さらに、著者らはより深い表現上の問題も特定している。セーフティ分類器のファインチューニングは、しば_て事前学習済みの意味的多様体を歪ませ、「表現崩壊（representation collapse）」を引き起こす。これにより、正当なクエリと敵対的なクエリの間の微細な区別が失われる。

手法: HoloAegis

HoloAegisは、最小限のパラメータによるトポロジー推論フレームワークを提案しており、意味的表現と意思決定の推論を厳格に分離している。本システムは、決定フェーズにおいてニューラルネットワークの推論を行わず、凍結された埋め込みに対する決定論的な幾何学的メカニズムに依存して動作する。

コア・コンポーネント

1. 凍結された意味的エンコーダ（Frozen Semantic Encoder）: 未ファインチューニングの軽量なTransformer（例：BGE-Small）を用い、テキストを単位球 $S^{d-1}$ 上の正規化されたベクトルへと写像する。パラメータ $\theta$ はガードレール・データによって更新されることはなく、事前学習済みの意味的多様体を保持する。
2. システム・トポロジー・アンカー・バンク ($A_{sys}$):
   • 膨大なオフライン・コーパスに対してK-Means++クラスタリングを行い、事前計算されたアンカー・ポイントの集合（安全を示す $A^+$ および不安全を示す $A^-$）。
   • これらのアンカーは、セーフティおよび違反の多様体をスパンする離散的な基底として機能する。
3. ギブス・ボルツマン自由エネルギー評価:
   • セーフティ評価は、ポテンシャル差の計算として定式化される。クエリ $q$ に対して、トポロジカル・ポテンシャル $U(q; A)$ は、$k$ 個の最近傍アンカーを用いたLog-Sum-Exp平滑化を用いて計算される：
     $$U(q; A) = -\tau \log \left( \frac{1}{k} \sum_{a \in N_k(q,A)} e^{(q \cdot a - 1)/\tau} \right)$$
   • セーフティ・スコアは、差分 $\Delta U(q) = U(q; A^-) - U(q; A^+)$ である。閾値 $\eta$ が最終的な決定を下す。
4. ドリフト検出のためのデュアル・タイムスケールEMA:
   • 進行的なマルチターン型の敵対的操作を検出するため、システムはクエリ埋め込みの2つの指数移動平均（高速状態 $s_{fast}$ と低速状態 $s_{slow}$）を追跡する。
   • ドリフトは角距離 $D_t = 1 - (s_{fast} \cdot s_{slow})$ として測定される。瞬時のセーフティ・スコアが決定境界を越える前であっても、ドリフトが閾値を超えた場合にアラートがトリガーされる。
5. グラフ・ラプラシアンによるコンプライアンス監査:
   • 規制環境において、ポリシー遵守はクエリ埋め込みをポリシー・グラフに投影し、ディリクレ・エネルギー（$E = x^T Lx$）を計算することで監査される。高いエネルギーは、相反する、あるいは機密性の高いポリシー・ノードの活性化を示唆する。

理論的洞察: トポロジカル境界の安定性

本論文は、**トポロジカル境界安定性仮説（Topological Boundary Stability Conjecture）**を導入し、疎なアンカー・セントロイドは、全ベクトル空間エスティメータよりも高周波の語彙的摂動（ノイズ）に対する決定境界を安定させることを提唱している。理論的には、アンカーベースのエスティメータはローパスフィルタとして機能し、全空間手法と比較して、ノイズ下での期待される境界シフトを小さくする。

主な貢献

1. 新規な非ニューラル・ガードレール・アーキテクチャ: 確率的なニューラル適合を、決定論的で監査可能なトポロジー幾何学に置き換える、ゼロ・コールドスタートのセーフティ・パラダイム。
2. デュアル・タイムスケール・ドリフト検出: 静的な分類器が見逃す、微妙なマルチターン型の意味的ドリフトを検出するメカニズム。
3. トポロジカル境界の安定性: アンカーベースの決定境界が、敵対的ノイズに対してより堅牢であることを示す、理論的に裏付けられた仮説。
4. 包括的な実証的検証: 有害性、ジェイルブレイク、ハルシネーション、および詐欺を含む8つのベンチマークにおける検証。

実験結果

8つのベンチマーク（LMSYS ToxicChat, HarmBench, AuthenHallu, CHIFRAUDを含む）にわたる評価において、HoloAegisは以下の性能を示す：

• 精度: HoloAegisは、AuthenHalluでの1.0000 AUCやHarmBenchでの0.9802など、特定のベンチマークで強力な性能を発揮する。特筆すべきは、英語のアンカーを用いて中国語のCHIFRAUDデータセットで0.9758 AUCを達成したことであり、これは言語に依存しないトポロジカル構造を示唆している。しかし、7つのベンチマークにおける平均AUCは0.8757であり、これは同一の集計指標におけるKNNベースラインの0.9476やLlama-Guard-3-8Bの0.9510よりも低い。
• レイテンシ: HoloAegisはサブミリ秒の推論レイテンシ（CPU上で0.8 ms）を達成している。これは生成型ジャッジ（450–1200 ms）よりは大幅に速いが、KNNベースラインで報告されている0.2 msのレイテンシよりはわずかに高い。
• 効率性: 静的なフットプリントは3.5 MB未満であり、KNNベースラインの132 MBや、数GBに及ぶLLMベースのガードと比較して極めて小さい。
• 堅牢性: 25%のLeetspeakノイズ条件下において、アンカー・エスティメータのAUC低下はわずか8.90%であり、フルスペース・ベースラインの10.9%の低下を上回った。
• マルチターン検出: デュアルEMAメカニズムにより、マルチターン・ジェイルブレイクにおけるAUCが0.4096（静的ベースライン）から0.7270へと向上した。

意義および主張

本論文は、HoloAegisが独自のトレードオフを提供することで、これまで未開拓であったパレート最適領域を占めていると主張している。すなわち、特定のベンチマーク（AuthenHalluやHarmBenchなど）における7Bレベルの性能特性を提供しつつ、サブ35msのCPUレイテンシと無視できるほどのメモリ・フットプリントを実現している。ただし、その集計平均AUC（0.8757）は、7Bモデル（0.9480–0.9510）やKNNベースライン（0.9476）よりも低い。

主要な意義は、**「表現と推論の分離」**にある。凍結された表現を保持し、純粋にトポロジカルな推論を行うことにより、HoloAegisはファインチューニングに伴う表現崩壊を回避している。著者らは、「不安全な意味的多様体」は言語に依存しないトポロジカルな骨格を持っているため、単一のアンカー・バンクがファインチューニングなしに複数の言語に機能すると論じている。

本フレームワークは、グラフ・ラプラシアン・エネルギー計算を通じて、透明かつ監査可能なコンプライアンス証明を提供し、ニューラル・ジャッジの「ブラックボックス」的な性質に対処する。著者らは、ベースとなる埋め込みへの依存性や、静的なアンカー・バンクに対するホワイトボックス攻撃の可能性といった限界を認めているものの、HoloAegisを、メモリ・フットプリントや監査可能性が優先されるシナリオにおいて、決定論的、低レイテンシ、かつ数学的に監査可能なAIセーフティへの基礎的な一歩として位置づけている。