技術要約: CORVUS

問題提起

大規模言語モデル（LLM）は、流暢ではあるが根拠のない内容を生成する「ハルシネーション（幻覚）」を起こしやすい。現在の防御策の多くは、単一のフォワードパスにおけるモデル自身の計算（例：トークンの不確実性、隠れ状態の幾面、アテンション・パターン）を分析することでハルシネーションを検出しようとする、内部テレメトリに基づくアプローチに依存している。PPLやLLM-Checkといった学習フリーのスコア、およびSEPやICR-probeといったプローブベースの検出器を含むこれらの手法は、ハルシネーションがこれらの内部信号の中に分離可能で検出可能な痕跡を残すということを暗黙的に仮定している。

しかし、これまでの評価では、LLMは受動的なターゲットとして扱われるのが一般的であった。オープンウェイトまたはセルフホスト型のデプロイメントにおいては、**ホワイトボックス型のモデル側のアドバーサリ（敵対者）**が、表面上の出力は変えずに、これらの痕跡を隠蔽するようにモデルを改変することができる。本論文では、単一パスの検出器が、生成される回答を固定したまま、検出に使用される特定のテレメトリ信号をカモフラージュするように軽量なアダプターをファインチューニングするアドバーサリに対して、どの程度堅牢であるかを調査する。

手法: CORVUS

著者らは、検出器に見えるテレメトリをカモフラージュする軽量なLoRAアダプターを学習させるためのレッドチーミング手順であるCORVUS（Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure）を提案する。

コアメカニズム

CORVUSは、固定回答・ティーチャーフォーシングによるリプレイ・プロトコルの下で動作する。アドバーサリは生成されるテキストを変更しない。代わりに、ハルシネーションを伴う回答に関連するテレメトリ信号が、忠実な回答のそれと統計的に類似して見えるように、モデルの内部状態を修正する。

この手法は、回答ウィンドウ全体にわたって以下の3つの一般的なテレメトリ信号を最適化する：

1. トークン・エントロピー (TE): 次のトークン分布の平均予測エントロピー。
2. 隠れログ体積 (HV): 隠れ状態の共分散行列の対数行列式によるプロキシであり、隠れ空間における回答トークンの表現の広がりを要約するもの。
3. アテンションの対角性 (AD): 回答スパン内における自己集中型アテンションの尺度（トークン自体へのアテンションの集中度）。

学習目的関数

CORVUSは、タスクの有用性を維持しながらテレメトリをシフトさせる結合損失関数を用いて、LoRAアダプター（ランク $r=64$、スケーリング $\alpha=128$）を学習させる：
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$: ティーチャーフォーシングの下で正しい回答を維持するための標準的なクロスエントロピー損失。
• $\text{TE}_{clean}$: トークンの不確実性を減少させるためにペナルティを課す。
• $\text{HV}_{clean}$: 隠れ状態の幾何学的構造をシフトさせるために最大化する（負の符号を使用）。
• $\text{AD}_{adv}$: 新規なアドバーサリアル・エンベディング・ストレス・テスト。著者らは、アテンションの対角性を減少させるように入力を特異的に摂動させるため、エンベディング空間における単一ステップのFast Gradient Sign Method (FGSM) を使用する。この損失項は、この摂動に対しても高い対角性を回復するようにモデルを促し、アテンション信号を検出に対して効果的に「硬化」させる。

データと転移

極めて重要な点として、CORVUSはわずか1,000件の分布外（OOD）のAlpacaインストラクションのみで学習されている。学習中にターゲットとなるベンチマーク（FAVA-Annotation）やハルシネーションのラベルを見ることは一切ない。作成されたアダプターは、ターゲットとなるモデルとデータセットに対してゼロショットで適用される。

主な貢献

1. 手法の定義: 著者らは、特定の回答ウィンドウ・テレメトリ信号（TE, HV, AD）を定義し、ティーチャーフォーシングの下でこれらをどのように整形するか、単一ステップのエンベディング空間FGSMアテンション・ストレス・テストを含めて、軽量なアダプターを学習する方法を実証した。
2. OOD汎化性能: 本手法は、ハルシネーションのラベルなしで、小規模なOODデータセット（Alpaca）で学習されているにもかかわらず、複数のモデルファミリーにわたってFAVA-Annotationベンチマークへ正常に転移した。
3. 回避結果: CORVUSは、適応されたモデルに適用された際、既存の検出器（LLM-Check, PPL, Window-Entropy）および学習済みプローブ（SEP, ICR-probe）の性能を大幅に低下させることに成功した。
4. メカニズム的洞察: 本論文は、制御されたTE、HV、およびADのシフトと、固定された検出器スコアの失敗との関連性を結びつけ、適度なアダプターの更新によってテレメトリ信号の分離可能性が崩壊することを示している。

実験結果

著者らは、FAVA-Annotationデータセットを用い、4つのオープンウェイトLLM（Llama-2, Vicuna, Llama-3, Qwen2.5）に対してCORVUSを評価した。

• 検出器の劣化: すべてのモデルにおいて、CORVUSは既存の検出器のAUROC、精度、およびF1スコアを著しく低下させた。
  • 学習フリー・スコア: LLM-Checkのアテンション・スコアは深刻な低下を示した（例：Llama-2において、AUROCが73.6から48.1へと25.5ポイント低下）。
  • 学習済みプローブ: クリーンなモデルのテレメトリで学習されたSEPおよびICR-probeは、CORVUS適応モデルに対して汎化できず、AUROCの低下幅は17から27ポイントに及んだ。
• 固定閾値の崩壊: 検出器がクリーンなモデルで較正された場合（例：偽陽性率5%）、CORVUS適応モデルに適用すると真陽性率がほぼゼロまで崩壊した。これは、深刻なキャリブレーションのシフトと分離可能性の喪失を示している。
• 有用性の保持: サニティチェックにより、適応されたモデルが生成の有用性を保持していることが確認された。モデルは、繰り返しによる崩壊を起こすことなく、非空かつ指示に従う応答を生成しており、表面的なテキストは流暢であった（外部パープレキシティによって測定）。

意義と主張

本論文は、内部テレメトリ単体では、適応的なモデル側攻撃に対するハルシネーション検出の信頼できる信号にはならないと主張している。

• 単一パス検出器の脆弱性: 結果は、内部の痕跡（不確実性、幾何学、アテンション）に依存する検出器がいかに脆いかを実証している。ホワイトボックスのアクセス権を持つアドバーサリは、出力テキストを変更することなく、これらの信号をカモフラージュするように学習できるため、固定された検出器を無効化できる。
• アドバーサリを考慮した監査の必要性: 著者らは、堅牢な監査には、静的な単一モデルの内部信号を超えたアプローチが必要であると結論付けている。彼らは、将来の防御策として以下を提案している：
  1. 同時に操作することが困難な、多様なテレメトリ信号の導入。
  2. ホワイトボックス的な最小化を防ぐための、ランダム化またはチャレンジ・レスポンス・メカニズム。
  3. 内部テレメトリの限界を回避するための、**外部的なグラウンディング（根拠付け）**またはクロスモデルの証拠（例：検索拡張アプローチ）。

本研究は、この脆弱性を露呈させるためのレッドチーミング演習として機能しており、より堅牢でアドバーサリを意識したハルシネーション防御の開発を促すものである。