Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text

技術的概要：臨床テキストにおけるトークンレベルの不確実性定量化のための逆プロービング

問題定義
臨床テキストの要約への大規模言語モデル（LLM）の導入は、信頼性に関する重大な安全性上の懸念をもたらす。不確実性定量化（UQ）は一般分野ではよく研究されているが、その臨床テキストへの応用には固有の課題が存在する。すなわち、臨床エラーはしばしば疎（正しい文脈内の単一の単語や数値に発生する）であり、エラーのコストが極めて高いことである。既存のUQ手法は主にシーケンスレベルで動作するか、複数の出力候補を生成（サンプリング）して不確実性を推定することに依存している。これらのアプローチは以下の理由から臨床環境には不適切である。

1. 粒度: 長文書内の特定のトークンやスパンに不確実性を局所化できない。
2. 効率性: 長文の臨床文書に対する反復的なサンプリングは計算コストが高い。
3. データ不足: 専門家による注釈付きの臨床テキストは希少であり、新しい生成物を信頼性高く評価することが困難である。
4. アーキテクチャ: 従来のトークンレベルのプロービング（例：マスク言語モデル）は BERT のような双方向モデルにはネイティブであるが、自己回帰的なデコーダのみの LLM には適用できない。

さらに、本論文は UQ を幻覚検出とは区別している。UQ はモデル自身の予測に対する自信を測定する自己評価の一種であり、正解ラベルに依存しないが、幻覚検出は外部の事実確認に依存する。

手法：逆プロービング
著者らは、新しいテキストを生成することなく既存の注釈付き要約から直接トークンレベルの不確実性を推定するフレームワーク「逆プロービング（Reverse Probing）」を提案する。核心的な革新は、標準的な UQ パラダイムの「逆転」にある。すなわち、モデルにテキストを生成させて出力を評価するのではなく、既存の臨床テキストを凍結された LLM にフィードバックしてその内部状態をプローブする手法である。

手法は以下の通り進行する。

1. プロンプトベースのマスク化: デコーダのみのモデルとのアーキテクチャ的ギャップを埋めるため、システムは臨床要約内の各対象トークンを順次マスクプレースホルダーに置き換える。その後、モデルは周囲の文脈に基づいてマスクされたトークンを予測するようにプロンプトされる。
2. 文脈的摂動（「逆」メカニズム）: このフレームワークは、患者固有の証拠源として「入院経過（Brief Hospital Course: BHC）」を利用する。各トークンに対して 2 回のフォワードパスを実行する。
   • 文脈あり: BHC を伴って要約を入力する。
   • 文脈なし: BHC なく要約を入力する。
     核心的な仮説は、支持されるトークンはモデルの表現空間において BHC と整合するのに対し、支持されない（幻覚的な）トークンはこの根拠を持たないというものである。この整合性の欠如が、潜在的な不確実性シグナルとして機能する。
3. 特徴量抽出: システムはモデルの内部活性化と出力分布から 4 種類の特性を抽出する。
   • 内部シグナル: 隠れ状態のノルム、層間変化（L2 距離、コサイン類似度）、およびアテンション指標（エントロピー、BHC への重み、層間ドリフト）。
   • 不確実性シグナル: 出力分布の形状指標（シャノンエントロピー、マージン、ジニ係数、自由エネルギー）。
   • 医学知識シグナル: scispaCy/UMLS を用いた固有表現認識（NER）によるドメイン固有の文脈、医学的実体の密度、およびトークンの頻度/IDF。
   • 分布シグナル: 「BHC あり」と「BHC なし」のパス間の確率およびエントロピーの差（例：$\Delta E$、$\Delta H$、KL 発散）。
4. 教師あり分類: これらの特徴量を用いて教師あり分類器（XGBoost または CatBoost）を訓練し、各トークンの連続的な不確実性スコアを予測する。このモデルは、支持されないスパンに関連する内部活性化パターンを識別するように訓練される。

主な貢献

1. 臨床要約における初のトークンレベル UQ フレームワーク: 逆プロービングは、臨床要約タスクにおけるトークンレベルの不確実性を推定するために設計された初のフレームワークである。
2. 計算効率性: 多サンプリングを排除し、既存のテキスト上で動作することで、推論時間をサンプリングベースのベースラインに必要な数時間から数分に短縮する。
3. 新たなベンチマーク: 著者らは、2 つの専門家注釈付きデータセット（Hallucinations-MIMIC-DI および Hallucinations-Generated-DI）上の 6 つの LLM（一般モデルおよび生物医学モデルを含む）に対して 8 つの適応ベースラインを評価し、臨床要約における UQ の初のベンチマークを確立した。
4. 解釈可能な洞察: 研究は不確実性と相関する特定の内部シグナルを特定し、臨床環境における説明可能な AI への道筋を提供する。

結果
評価により、逆プロービングがすべての適応ベースラインを大幅に上回ることが示された。

• 性能: MIMIC-DI データセット（人手による要約）において、逆プロービングは BioMistral-7B を使用して AUPRC 0.5478 を達成し、最強のベースライン（SE Probes）の 0.1313 と比較して、約 4 倍の改善を示した。
• 頑健性: この手法は、異なるサイズ（7B から 70B）および事前学習条件（一般対生物医学）のモデル間で一貫した優位性を維持したが、7B/8B の小規模モデルは一般的に 70B の大規模モデルよりも優れていた。著者らは、大規模モデルが過剰に自信を持ち、不確実性シグナルのダイナミックレンジを圧縮している可能性があると仮説を立てている。
• 効率性: 逆プロービングは単一の GPU で 100 サンプルを 10 分未満で処理するのに対し、サンプリングベースの手法（例：セマンティックエントロピー）は同じタスクに約 7 時間を要する。
• 特徴量分析: 特徴量の重要度分析により、デルタエネルギー（BHC 存在時の自由エネルギーの変化）と近隣文脈（スライディングウィンドウ統計）が、すべてのモデルにわたって最も一貫した不確実性予測因子であることが明らかになった。これは、臨床テキストにおける不確実性が、孤立したトークンではなく、局所的なスパンの性質であることが多いことを示唆している。

意義と主張
本論文は、評価のために新しいテキストを生成することが非現実的な高リスクの臨床環境において、逆プロービングが不確実性推定のための実用的かつスケーラブルな解決策を提供すると主張している。既存のテキストをプローブとして扱うことで、この手法は不確実性推定を、特定の内部シグナル（具体的には臨床証拠との整合性の欠如）に予測を遡及する解釈可能なプロセスへと変換する。

著者らは、以下の限界を控えめに指摘している。

• モデルカバレッジ: このフレームワークは主に Mistral および Llama アーキテクチャで検証された。
• 大規模モデルへの適応性: 70B モデルでの性能が低下するため、より深いネットワーク向けの適応的な特徴量抽出戦略が必要である。
• データ不足: 専門家による注釈付きデータセットへの依存が評価の規模を制限している。
• タスクの一般化: 本研究は退院サマリーに限定されており、他の臨床テキストタイプ（例：放射線レポート）への一般化は未検証である。

最終的に、この研究は、モデルが支持されないコンテンツに対して内部で不確実性をエンコードしており、逆プロービングは生成サンプリングの計算オーバーヘッドなしにこれらのシグナルに効率的にアクセスするメカニズムを提供すると論じている。