Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

技術要約：ハルシネーション発生の予測

問題の定式化
現在のトークンレベルのハルシネーション検出器は、誤った主張が生成された後にフラグを立てるという、リアクティブ（反応的）な動作に基づいている。著者らによる付随的な分析では、変化点（change-point）に反応するあらゆる検出器には約1.3トークンの理論的な遅延限界が存在することが確立されており、これは検出が本質的にハルシネーションの開始後に行われることを意味している。本論文は、ハルシネーションの発生を、それが起こる前に「予測（forecast）」できるかという問いに取り組んでいる。タスクは離散時間生存分析として定式化されており、現在忠実な（faithful）トークンのリスクセットにおける、ハルシネーション・スパンの開始を「失敗イベント」として扱う。目標は、現在のトークン $t$ までに利用可能な因果的かつストリーミングに適した特徴量のみを用いて、パー・トークン・ハザード（次 $k$ トークン以内に発生の可能性がある確率）を計算することである。

手法
提案されるフレームワークは、生成中にデプロイするために設計された、因果的でブラックボックス型のトークンレベル・パイプラインに依拠している。

• 因果的特徴量の監査: 著者らは、先行研究から派生した33次元の特徴量ストリームを利用しているが、情報の「未来漏洩（future-leaking）」を防ぐために厳格な因果的監査を行っている。出力の総長によって正規化される特徴量（例：位置、文数）や、不完全な文から計算される特徴量（例：NLI特徴量）は破棄されている。これにより、24個のストリーミング適応型特徴量が残された。これらは、18個のテキストベースの特徴量（新規性ウィンドウ、n-gramの重複、エンティティ・フラグ）と、6個の言語モデル特徴量（対数確率、エントロピー）で構成される。
• モデル・アーキテクチャ: 予測器は、因果的な特徴量履歴を読み取るための前方のみのリカレント・ネットワーク（隠れ層の幅64を持つ2層のGRU）を採用している。ハザード・ヘッドは、複数のホライゾン（$k \in \{1, 3, 5, 10\}$）に対するロジットを出力し、これは次の $k$ トークン以内に発生が発生する確率を表す。
• 学習: リスクセット（忠実なトークンのみ）に対して、マスクされたマルチホライゾン・バイナリ・クロスエントロピー損失を用いて学習を行う。ここでは、より長いホライゾンにおける発生の希少性を考慮して重みが調整されている。
• 評価: パフォーマンスはAUROCおよびPR-AUCを通じて測定される。極めて重要な点として、著者らは、ドキュメントレベルのリスクとタイミングを混同してしまう「プールされた（pooled）」AUROCと、ハルシネーションが発生することが既知のドキュメントのみを評価することでタイミングの信号を孤立させる「ドキュメント内（within-document）」AUROCを区別している。

主な結果

• 予測可能性: 発生はあらゆるホライゾンにおいて予測可能である。RAGTruthコーパスにおいて、リカレント予測器はホライゾン $k=3$（次の3トークン以内に発生が起こることを予測する）において、0.777 ± 0.002 のAUROCを達成した。これは、ポイントワイズのロジスティック・ハザード・ベースラインよりも12ポイント高く、特徴量の軌跡を読み取ることの価値を示している。
• 信号源: 早期警戒信号は、言語モデルのサプライザル（驚き）ではなく、**テキストの新規性ドリフト（text-novelty drift）**であると特定された。テキスト特徴量のみを用いたモデルはフルセットの性能に匹たいする一方、言語モデル特徴量のみを用いたモデルは後塵を拝した。この信号は、ハルシネーションが始まる前に、モデルがソース・コンテキストから逸脱していく様子を反映しており、局所的な不確実性の急増を反映したものではない。
• 負の遅延（Negative Delay）: 一致した偽陽性予算（$\alpha=10^{-3}$）を持つ比較対象のチェンジポイント検出器と比較した場合、予測器は負の遅延を実現した。予測器は発生の11トークン前に中央値で警告を発するのに対し、検出器は発生の15トークン後に中央値で作動する。これにより、検出器では構造的に不可能な「負の遅延」が実現されている。
• ヌルモデル: この信号は、過去の発生履歴とクロックのみを用いた一致した容量のヌルモデル（AUROC 0.65を達成）による自己相関でも、ホークス過程（Hawkes process）による自己励起でもない。
• ドメイン固有性: 予測能力はドメイン固有である。モデルはRAGTruth（長文RAG）からPsiloQA（短文QA）へ転移させた場合、ゼロショットでは失敗し、チャンスを下回る逆転した性能を示す。しかし、PsiloQA内で再学習すれば高い性能（0.74–0.79 AUROC）を回復する。一方で、検出信号は部分的な転移が可能である。

意義と主張
本論文は、ハルシネーションの発生を予測することは、検出とは異なる独立したタスクであると主張している。プロンプトレベルの予測器は「どの」生成がリスクが高いかを特定でき、検出器はハルシネーションが「始まった」ことを特定できるが、この予測器のみが、生成の内部において「いつ」「どこで」リスクが発生するかを特定できる。

著者らは、予測を駆動するメカニ词は、突発的な状態変化ではなく、ソースに対するテキストの新規性の緩やかなドリフトであることを強調している。したがって、予測器が提供するリードタイムは、誤ったトークンが放出される「前」に行われるべき介入（例：スパンの再生成、デコーディングの制約、モデルのステアリング）にとって特に価値がある。単純な中断ポリシー（生成の停止）については、事前の忠実なトークンを遮断することを避けるため、発生後の検出器の方がトークン効率が高い可能性があると著者らは述べている。本論文は、負の遅延が存在し、早期警戒が可能であるものの、ハルシネーション率の低減を実現するには、ライブ・デコーダーへのアクセスと特定の介入戦略が必要であり、それらは本オフライン研究の範囲外であると結論づけている。