技術的サマリー：LLM における不確実性定量化は、単なる教師なしクラスタリングである

1. 問題定義

本論文は、大規模言語モデル（LLM）における不確実性定量化（UQ）の分野が、根本的な「カテゴリーの誤り」に苦しんでいると主張する。UQ は医療や法務などの高リスク分野における LLM の展開における主要な安全策として広く見なされているが、主流の手法は構造的に「教師なしクラスタリングアルゴリズム」と同型である。

核心的な問題は、これらの手法がモデル生成の「外部的事実的正確性」ではなく、「内部的整合性」を定量化している点にある。その結果、モデルが事実的に誤っているにもかかわらず、安定した自己整合的な回答を高い確信度で生成する「確信に満ちた幻覚（confident hallucinations）」を検知できず、見せかけの安全性を生み出している。現在の指標は、確信を持って誤っているモデルと、確信を持って正しいモデルを区別することができない。

2. 方法論的分析：クラスタリング機構

著者らは、支配的な UQ 手法が教師なしクラスタリングの 3 つの変種に帰着することを示すメカニズム的な分解を提供する。

• 意味エントロピー（明示的クラスタリング）: 意味エントロピー（SE）やその変種（SAE、SEN、KLE）などの手法は、自然言語推論（NLI）モデルを用いて、生成されたテキストの連続空間を離散的な「回答クラス」に離散化する。これらはこれらのクラス上でエントロピーを計算する。メカニズム的には、NLI モデルがクラス所属を定義し、エントロピーがクラス純度を測定するクラスタリングアルゴリズムである。これはデータ点の分離を測定するものであり、その意味的真理を測定するものではない。
• グラフベースの定量化（暗黙的クラスタリング）: グラフ構造を利用する手法（例：スターグラフ、グラフ不確実性、ラプラシアンのスペクトル分析）は、サンプリングされた応答から類似性グラフを構築する。不確実性スコアは、連結成分の数や意味的モードを推定するスペクトル特性（固有値）から導き出される。これは、応答セットが事実的妥当性に関係なく、一貫した意味グループにどのように断片化するかを反映するスコアであり、「スペクトルクラスタリング」の直接的な実装と特定される。
• 言語化された信念（潜在確信クラスタリング）: $P(\text{true})$ などの手法は、モデルに出力の正しさを自己評価させる。著者らは、これがモデルの潜在空間の「ソフトクラスタリング」として機能すると論じる。高い確信度は、生成された回答がモデルの内部的な「信念クラスターの重心」に幾何学的に近いことを示し、低い確信度はそれを外れ値としてマークする。モデルは真理を判断しているのではなく、出力を自身のパラメトリックな確信中心からの幾何学的距離として計算しているに過ぎない。

3. 特定された主要な病理

教師なしクラスタリングへの依存は、安全性を損なう 3 つの決定的な欠陥をもたらす。

1. ハイパーパラメータ感受性の危機: UQ スコアはハイパーパラメータ（サンプリング温度、NLI 閾値、サンプル数など）に対して脆弱な感受性を示す。クラスタリングアルゴリズムにおいて $K$ や距離指標の選択が結果を変化させるのと同様に、UQ スコアはこれらの設定に基づいて激しく変動する。最適なパラメータが不明であり、しばしばダウンストリーム制約によって決定されるため、これは安全な展開を不可能にし、パラメータの過学習に基づく安全性の錯覚をもたらす。
2. 内部評価の罠: 現在の評価基準は、「自己整合性」と「正確性」を混同している。AUROC などの指標は、安定した生成を特定する手法を評価する。しかし、確信に満ちた幻覚の場合、モデルは一貫して誤っている。高い整合性は単に安定した状態への収束を示すだけであり、事実的な状態への収束を示すものではない。
3. **真実の欠如（「ジャッジ問題」）: 「真の不確実性」に対する直接的な正解（グラウンドトゥルース）は存在しない。評価は、不確実性と回答の正しさを相関させる代理指標に依存している。しかし、オープンエンドなタスクに対する客観的な正しさのラベルを取得すること自体が不安定であり、しばしば他の LLM をジャッジとして依存している。これは、不安定な物差し（ジャッジ）を用いてシステムを検証するという再帰的ループを生み出し、安全性保証を無効化する。

4. 主要な貢献と提案されるロードマップ

本論文は、教師なしヒューリスティックから「教師あり保証」へのパラダイムシフトを提唱する。3 つの柱からなるロードマップを提案する。

A. 評価：平均性能から最悪ケースの堅牢性へ

• テールリスク評価: グローバルな AUROC などの集計指標から、「最悪ケースの堅牢性」へと焦点を移す。著者らは、UQ を能動的な警告システム（拒絶メカニズム）として扱うことを提案する。評価は、厳密に低い偽陽性率（FPR）における真陽性率（TPR）を測定すべきであり、単に簡単な正誤ペアを区別するのではなく、壊滅的な確信に満ちた幻覚を捉えることを保証する必要がある。
• 感受性報告: 著者らが p ハッキングに例える、徹底的なハイパーパラメータ調整後のピーク性能を報告する代わりに、「安定性曲線下の面積（AUSC）」を導入する。研究者は、温度などのハイパーパラメータを連続的にスweep した際の性能プロファイルを報告し、分布的な堅牢性を示さなければならない。

B. メカニズム：事後ヒューリスティックからネイティブ保証へ

• 適合性予測（CP）: 生きた確信スコアを超えて進化する。UQ 手法を適合性予測フレームワーク内の非適合スコアとして使用する。これにより、予測セットが保証されたカバレッジを生成することで、不確実性推定が現実と対峙することを強制する。モデルが確信に満ちて幻覚を起こしている場合、カバレッジを維持するために予測セットのサイズが爆発的に増加し、内部的整合性が欠如している真実認識型の指標を提供する。
• ネイティブ不確実性アライメント: 標準的な指示チューニングから、ポストトレーニング（例：RLHF）を通じた「不確実性アライメント」へ移行する。モデルは、内部的な幾何学的アーティファクトではなく、明示的な妥当性主張に内部表現を固定するために、確信レベルを明示的に表現するように訓練されるべきである（例：「私は確信しているが...」対「可能性があるが...」）。

C. 基盤：客観的真理の確立

• 必須のユニットテスト: 定量化手法は、オープンエンドな生成に適用される前に、検証可能な環境（コード実行、固定定数を用いた数学的推論など）におけるゴールドスタンダードのユニットテストに合格しなければならない。これにより、決定論的設定において真偽を区別できることを保証する。
• 原子的事実検証: 主観的な LLM ベースのジャッジを「原子的事実検証」に置き換える。複雑な物語は原子的な主張に分解され、検索エンジン、構造化知識ベース、Lean4 などの形式的定理証明器などの外部権威と照合して検証されるべきであり、モデル対モデル評価の循環的依存関係を断ち切る。

5. 意義と主張

本論文は、UQ 研究の現在の軌道が、根本的に欠陥があると主張する。なぜなら、それは「内部構造」のために設計されたツールを用いて、「外部現実」の問題を解決しようとしているからである。

• 欺瞞的な安全性: この研究の主要な意義は、現在の UQ 手法が「欺瞞的な安全性の感覚」を生み出しているという警告にある。これらは明らかなエラーをフィルタリングするかもしれないが、最も危険な失敗、すなわち安定した確信に満ちた幻覚を検知するには失敗する。
• パラダイムシフトの必要性: 著者らは、コミュニティがより良い教師なしヒューリスティックの追求を放棄しなければならないと論じる。客観的真理に基づく検証を確立し、教師あり保証へと移行しない限り、重要な分野における LLM は信頼できず remains 続ける。
• 分野の再定義: UQ を教師なしクラスタリング問題として特定することにより、本論文は、この分野の限界を調整すべきエンジニアリング課題としてではなく、評価、メカニズム、基盤の根本的な変化を必要とする構造的病理として再定義する。

本論文は結論として、AI システムが高リスク分野で信頼性を持って動作するためには、モデルの確信度は単なる内部的整合性の尺度ではなく、「事実的正確性」の信頼できる代理指標でなければならないと述べている。