🤖 machine learning

Reading Calibrated Uncertainty from Language Model Trajectories

本論文は、各層のMLP更新軌道からスケール不変な幾何学的特徴を抽出し、それをスパース線形プローブに入力することで言語モデルの不確実性定量化を改善する手法を提案するものであり、これは標準的な最大ソフトマックス確率アプローチを上回る性能を発揮するとともに、モデルの深さ全体にわたって誤差がどのように、またどこで発生するかについての解釈可能な洞察を提供する。

原著者： Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に賢いものの、時として過信気味な生徒が多肢選択問題を受ける様子として想像してみてください。生徒が問題に取り組み終えると、通常は「自信スコア」を提示します（例えば「この答えは 95% 確実だ」と言うように）。これが、モデルの正誤を確認する標準的な方法です。

しかし、この論文は、その自信スコアはしばしば嘘であると主張しています。モデルは完全に間違っている場合でも「95% 確実だ」と言うかもしれません。それは、無謀に推測するものの、その推測について非常に自信を持っている生徒のようなものです。

問題：目的地を見るのではなく、旅路を見る

AI が自信を持っているかどうかをチェックするほとんどの手法は、最終的な答え（目的地）のみを見ています。それらはモデルの思考プロセスを、最終段階で撮影された単一のスナップショットとして扱っています。

この論文の著者たちは言います。「ちょっと待ってください！誰かが本当に確信を持っているかどうかを理解するには、最終的な答えを見るだけではいけません。彼らがどのようにそこに至ったかを観察すべきです」。

彼らは、モデルの内部思考を山を登るハイカーに例えます。

標準的な手法（MSP）：ハイカーが山頂に到達したときだけを見ます。山頂で幸せそうであれば、彼らが簡単で直線的な登山をしていたと仮定します。
新しい手法（Trajectory）：ハイカーの全経路を観察します。彼らは直線状に歩きましたか？崖から外れて引き返さなければなりませんでしたか？頂上にたどり着く前に激しくジグザグに歩きましたか？

この論文は、たとえ二人のハイカーが同じ山頂に同じ幸せな表情で到達したとしても、その経路は非常に異なる物語を語っている可能性があるとしています。一人は滑らかで自信に満ちた登頂（おそらく正解）だったかもしれませんが、もう一人は迷い、混乱し、風と格闘しながら登ってきた（おそらく誤り）かもしれません。どちらも頂上で笑顔になっているとしてもです。

解決策：「モーション・ディテクター」

研究者たちは、モデルの内部思考に対するモーション・ディテクターとして機能するツールを構築しました。

ステップの追跡：モデルが質問を処理する際、それは多くの層の「ニューロン」（建物の階に相当）を経由します。各階で、モデルは答えに対して小さな調整を行います。
地図の作成：最終結果を見るだけでなく、このツールはモデルがこれらの階を通過した経路の地図を描きます。
形状の測定：このツールは、この経路に関する 11 の特定の要素を測定します。例えば：
- 滑らかさ：モデルは突然考えを変えましたか？
- 方向性：モデルは同じ方向に押し進み続けましたか、それとも自身の以前の思考と戦いましたか？
- 効率性：モデルは直接のルートを取りましたか、それともぐるぐると回り道しましたか？

結果：より賢い「停止」ボタン

この「モーション・マップ」を用いて、研究者たちは誤りを予測するシンプルで透明性の高いシステム（「スパース線形プローブ」）を訓練しました。

標準的手法よりも優れている：この新しいシステムは、モデルが自信について嘘をついている瞬間を特定する能力がはるかに優れています。テストでは、標準的な手法と比較して、「高自信の誤り」の数を大幅に削減しました。
「選択的棄権」のトリック：このシステムはトラブルを特定するのが非常に得意であるため、モデルに次のように伝えることができます。「ねえ、あなたは 95% 確実だと思っているけど、あなたの内部経路はぐちゃぐちゃだったよ。答えを出さずに停止するように指示するね」。これにより、モデルが自信を持って誤った答えを出すことを防ぎます。
「なぜ」という要素：最も素晴らしい点は、このツールが「経路がどの程度曲がったか」といった単純な幾何学的測定を使用しているため、実際になぜ誤りを検知したのかを理解できることです。それは、単に「患者は病気だ」と言うのではなく、「患者は単に病気なだけでなく、午後 2 時に心拍数が急上昇し、午後 3 時に体温が低下しました」と言える医者のようなものです。

まとめ

要約すると、この論文は私たちに、モデルの最終的な「確信している！」という発言を信頼するのをやめるよう教えています。その代わりに、モデルが問題をどのように思考したかの映画を観るべきです。内部ステップの「動き」と「形状」を見ることで、それまで見逃されていた自信に満ちた誤りを捉え、高価で複雑な新しいシステムを必要とすることなく、AI をより安全で信頼性の高いものにすることができます。

技術的概要：言語モデルの軌跡から較正された不確実性を読み取る

1. 問題提起

構造化出力を伴う大規模言語モデル（LLM）に対する不確実性定量化（UQ）の既存のアプローチは、計算効率と較正性の間でトレードオフに直面している。デフォルトの方法である最大ソフトマックス確率（MSP）は計算コストがゼロであるが、しばしば較正されておらず、誤った予測に対して高い確信度を割り当ててしまう。一方、内部活性化を調査する既存の方法は、通常、隠れ状態を単一層からのものか平均化された静的なスナップショットとして扱い、表現が形成される過程における層ごとの軌跡を捨象している。この静的な視点は、ネットワークの深さにわたって証拠がどのように蓄積し、強化され、あるいは反転するかを無視しており、最終的な出力分布には現れないが計算経路には存在する不確実性のシグナルを潜在的に隠蔽してしまう可能性がある。

2. 手法

著者らは、モデルの活性化を静的な状態ではなく表現軌跡として扱う手法を提案する。このアプローチは以下の 3 つの主要な構成要素を含む。

2.1. 基盤：MLP 書込みベクトル

生きた隠れ状態を分析する代わりに、本手法は各トランスフォーマーブロックの多層パーセプトロン（MLP）が残差ストリームに寄与するMLP 書込みベクトル（ $m_\ell$ ）に焦点を当てる。以前のメカニズム的解釈性の研究は、MLP が事実知識の保存にとって決定的な場所であることを示唆している。

本手法は、単一のフォワードパス中に、最終プロンプト位置（読み出し位置）におけるこれらのベクトルの系列を捕捉する。
これらのベクトルの累積和を計算することにより、表現空間内の離散軌跡を構築する： $s_\ell = \sum_{k \le \ell} m_k$ 。
軌跡は初期状態（ $s_0 = 0$ ）から最終端点（ $s_L$ ）まで定義される。

2.2. 幾何学的特徴抽出

軌跡は、層ごとに11 のスケール不変な幾何学的特徴を用いて要約され、4 つのカテゴリに分類される。

深度分布: 計算努力（更新の大きさ）が層間でどのように分布しているかを測定する（例：前側集中 vs 後側集中）。
局所軌跡形状: 方向的な一貫性（連続的なコサイン）、急激な変化（曲率）、および更新が prior 状態を強化するか矛盾するか（更新 - 状態の整合性）を捉える。
端点との関係: 層が最終方向とどのように関連するかを測定する。これには収束（最終方向への方向）、個々の更新の整合性（最終方向への更新）、および端点に積極的に反対する層の特定（矛盾する支持）が含まれる。
効率性: 正味の変位と全経路長の比率（累積的一貫性）を測定し、軌跡がどの程度直接的にその端点に到達するかを示す。

2.3. スパース線形プローブ

これらの特徴は、誤りの確率を予測するためにスパース線形プローブ（スパースロジスティック回帰）に入力される。

入力: 層ごとの 11 特徴のベクトル（ $\phi(x)$ ）とモデルの MSP スコア（ $p_{msp}$ ）。
相互作用: モデルには特徴と MSP の間の相互作用項が含まれており、これによりプローブはモデルのベースライン確信度に基づいて幾何学的シグナルを異なって重み付けできる。
トレーニング: プローブは、誤りインジケーターに対するクラスバランスの二項交差エントロピーを最小化するようにトレーニングされ、スパース性を強制するためにエラスティックネットペナルティで正則化される。これにより、モデルは別個の選択段階なしに予測特徴を直接特定できる。

3. 主要な貢献

軌跡ベースの UQ: 著者らは、ネットワークの深さにわたる表現の進化を記述するコンパクトな幾何学的特徴のセットを提案する。これをスパース線形プローブに入力すると、選択的棄却下において MSP を凌駕し、パフォーマンスの向上はベースラインの較正不良度に応じてスケーリングする（最大 21 AURC ポイントの改善）。
エンドツーエンドの解釈可能性: 生きた活性化に対する不透明な高密度プローブとは異なり、すべての特徴には閉形式の幾何学的意味がある。プローブの係数は、誤りがどのように発生するかを明らかにする：どの層が早急にコミットし、どの層が進行中の状態と矛盾し、どこで軌跡がその端点から逸脱するかを特定する。
包括的な実証評価: この手法は、3B から 72B パラメータにわたる 9 つの指示微調整済み LLM（Qwen、Llama、DeepSeek ファミリー）を、5 つの多様な NLP タスク（MMLU、CosmosQA、HellaSwag、HaluDial、HaluSum）で評価した。

4. 実験結果

パフォーマンス: プローブは、45 のモデル - データセットペアのうち 41で MSP を上回った。改善は MSP が最も悪かった（高い較正不良）場所で最も顕著であり、最も困難な構成では AURC（リスク - カバレッジ曲線下面積）を 11.45 から 21.83 ポイント減少させた。
ベースラインとの比較: プローブは、全隠れ状態でトレーニングされた高容量の「生活性化プローブ」と同等かそれ以上の性能を 24 の構成で示し、他の 6 つの構成では 2 AURC ポイント以内に収まった。これは、わずか 11 個のスカラー特徴のみを使用しているにもかかわらずである。
選択性: プローブは、MSP でしばしば見られる不安定な低カバレッジのスパイクを回避する、滑らかで単調なリスク - カバレッジ曲線を生成する。MSP の確信度スコアが同一であっても、正解と誤答を効果的に分離する。
解釈可能性の知見:
- 正解 vs 誤答: 同一の MSP スコアを持つ予測は、明確な軌跡の署名を示す。例えば、誤った予測は、初期層で最終方向への早急な整合を示し、その後「二重後退」または逸脱を示すことが多い。
- タスク固有性: 誤りの幾何学的署名はタスクによって異なる。HaluSumでは、誤りは早急なコミットに続き、遅れて状態を破る修正として現れた。CosmosQAでは、誤りは答えの方向に直交する中深度での逸脱として現れた。
- 係数分析: プローブの係数は誤りメカニズムを局所化する。例えば、HaluSumでは誤りシグナルはネットワークの最終 4 分の 1 に集中したが、CosmosQAでは深度全体に広がっていた。

5. 意義と主張

本論文は、活性化を静的なスナップショットではなく運動として扱うことが、不透明な高密度プローブと限られたシグナルを持つ MSP の間の「扱い可能な中間道」を提供すると主張する。

監査可能な不確実性: 特徴は構造的に解釈可能であるため、得られる確信シグナルは、実務者がモデルがいつ不確実であるかだけでなく、その不確実性が計算のどこ（特定の層や幾何学的逸脱など）で生じるかを検査することを可能にする。
効率性: この手法は推論時に計算コストをほとんど追加せず、単一のフォワードパスと単純な幾何学的計算のみを必要とし、サンプリングベースのアプローチやアンサンブル手法の高いコストを回避する。
限界: 著者らは、分析が離散選択設定（多肢選択問題）に限定されており、プローブは現在、モデルとタスクごとに適合されており、モデル間およびタスク間での転移可能性は未解決の問題であると指摘している。

要約すると、この研究は、言語モデルが予測を構築する過程の幾何学には、最終出力分布には見えない、豊かで解釈可能な不確実性のシグナルが含まれており、これによりより信頼性が高く監査可能な選択的予測が可能になることを示している。