💬 NLP

Geometry-Calibrated Conformal Abstention for Language Models

本論文は、表現幾何学を活用して予測の信頼性を較正し、参加率と回答の正しさに有限サンプル保証を付与しながら言語モデルにクエリへの回答を選択的に棄却させることで、再学習を必要とせずに幻覚を効果的に軽減する事後フレームワークである「幾何学的較正コンフォーマル棄却」を提案する。

原著者： Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、読書家であり、おしゃべりが大好きな友人（大規模言語モデル）がいると想像してください。この友人は、あなたの質問の答えを瞬時に知っていることもあります。一方で、全く見当がつかないにもかかわらず、知らないことを認める代わりに、もっともらしい話をでっち上げてしまうこともあります。これを「ハルシネーション（幻覚）」と呼びます。

あなたが共有した論文は、この友人の「脳」全体を再学習させることなく、「知らない」と言うべきタイミングを教える新しい方法を提案しています。彼らはこのシステムを**コンフォーマル・アブステンション（CA）**と呼んでいます。

以下に、これを簡単な概念と比喩に分解して説明します。

1. 問題：「当てっこゲーム」

現在、AI 友人が知らない質問をされた場合、何らかの答えを出すというプレッシャーを感じます。学校で多肢選択問題のテストを受け、当てっこをした場合、運が良ければ点数が取れるかもしれません。「知らない」と書けば、ゼロ点です。そのため、AI は無知を認めるよりも当てっこをする方が常に有利だと学習します。これが、もっともらしい嘘を生み出す原因となります。

2. 解決策：「自信チェック」

著者たちは、AI の答えがあなたに提示される前に機能する、事後（後付け）のシステムを構築しました。これは AI の答えの入り口に立つ警備員のようなものです。この警備員は、AI の答えが表示される前に確認します：「AI は本当にこのことについて自信があり、知識を持っているのか、それとも単に虚勢を張っているのか？」

AI が虚勢を張っている場合、警備員は答えを遮断し、「知らない」と伝えます。AI が本当に自信を持っている場合のみ、答えが通過します。

3. 秘密の武器：「幾何学的シグナル」

警備員は、AI が虚勢を張っているかどうかをどうやって知るのでしょうか？最終的な言葉を見るだけでなく、AI が考えている間、その「脳」の中を覗き込みます。

AI の脳を、多くの組立ライン（層）を持つ工場だと考えてください。答えを作るために、AI は情報（「トークン」）をラインに沿って移動させます。

知識の注入（MLP）： 工場にはMLP（多層パーセプトロン）と呼ばれる特定の機械があります。これは AI が事実を蓄える図書館のようなものです。
幾何学的チェック： 新しいシステムは、この「図書館」機械が情報を通過させる際にどのように変化させるかを監視します。それは**幾何学（形状と角度）**を用いて以下の 3 つを測定します。
1. 近接性（変化はどれくらい近いか？）： 図書館の機械は実際に情報に対して何かをしたのか、それとも情報は変化せずに通過しただけなのか？もし図書館が情報を触ったなら、それは良い兆候です。
2. 回転（方向は変わったか？）： 図書館は情報を新しい方向へ回転させたか？情報が激しく回転しているなら、AI が混乱している可能性があります。もし既知の事実へと滑らかに回転するなら、それは良いことです。
3. 整合性（正しい道筋にあるか？）： AI のすべての「良い」知識が、特定の円錐形のトンネルの中に存在すると想像してください。情報がこのトンネルの中に留まっているなら、それは正確で信頼できる事実である可能性が高いです。もしトンネルの外をさまよっているなら、それはハルシネーションである可能性が高いです。

比喩：
あなたが観光ガイドに都市について尋ねていると想像してください。

良い答え： ガイドは特定のランドマークを指差し、体の方へ向きを変え、自信を持ってメインストリートを歩きます（高い近接性、良好な回転、「観光客の道」への整合性）。
悪い答え（ハルシネーション）： ガイドは漠然と手を振ったり、くるくると回りながら、存在しない野原の方を指差したりします（低い近接性、混沌とした回転、「観光客の道」からの逸脱）。

このシステムは、これらの幾何学的な「ボディランゲージ」シグナルを使用して、答えが信頼できるかどうかを判断します。

4. 「保証」（セーフティネット）

この論文は、コンフォーマル予測と呼ばれる数学的手法を使用しています。これは統計的な約束のようなものです。

このシステムは単に推測するのではなく、閾値を計算します。それはこう約束します：「幾何学的チェックをパスした答えだけを通過させれば、あなたが目にする答えの 75% が正しいことを保証します。」

また、AI が「あまりにも臆病」になりすぎないことも保証します。「90% の時間、答えを止めてしまうほど頻繁に『知らない』とは言わない」と約束します。安全性と有用性のバランスを取っています。

5. 結果

著者たちは、単純な事実から複雑な推論まで、6 種類の異なる質問タイプでこれをテストしました。その結果、彼らの幾何学的な「ボディランゲージ」チェックは、以前の手法よりも嘘を見抜く能力がはるかに優れていることがわかりました。

従来の手法は、AI が自信に満ちた声で話しているかどうかをチェックするものでした（嘘つきも自信を持って話せます）。
彼らの手法は、AI が実際に答えを知っているかどうかを確認するために、AI の内部的な「ボディランゲージ」をチェックします。

要約すると： この論文は、大規模言語モデルに、自らの内部幾何学に組み込まれた新しい「嘘発見器」を与えます。これにより、AI は不確かな場合に無知を認めることができるようになり、彼らが話すときには、真実を語っている可能性が大幅に高まります。

以下は、論文「Geometry-Calibrated Conformal Abstention for Language Models（言語モデルのための幾何学的較正コンフォーマル棄却）」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）は、自身の知識の限界を認識できないことがよくあります。学習分布や知識ベースの範囲外のクエリに直面した際、モデルは「知らない」と棄却するのではなく、もっともらしいが事実と異なる回答（ハルシネーション）を生成する傾向があります。

学習の限界: 棄却を報酬としてモデルを再学習させることは、推測を明確に罰し、無知を報酬とするベンチマークが不足しているため困難です。さらに、そのような介入は過学習や過度に保守的な行動（モデルが答えを知っている場合でも回答を拒否する）につながる可能性があります。
既存の事後手法: 従来のコンフォーマル予測（CP）は、不確実性に対して有限サンプル保証を提供しますが、「非適合スコア」に依存します。オープンエンドなテキスト生成において、正解が無限の意味的等価形式を取り得るため、真のスコア関数を定義することは困難です。
核心的な問い: LLM に、再学習なしで不確実な場合に確実に回答を棄却し、かつ正しさに理論的保証を提供する事後メカニズムを備えることは可能か？

2. 手法：コンフォーマル棄却（CA）

著者は、コンフォーマル予測理論と、新しい表現幾何学に基づく較正戦略を組み合わせるフレームワークである**コンフォーマル棄却（CA）**を提案します。

A. 理論的枠組み（コンフォーマル棄却）

CA は、非適合スコアではなく予測の信頼性に焦点を当てることで、言語生成設定に CP を適応させます。2 つの有限サンプル保証を確立します。

参加保証: モデルが回答を提供する（棄却しない）確率を上限で抑える。
条件付き正解保証: モデルが参加を選択したと仮定した場合、提供された回答が正しい確率を上限で抑える。

この枠組みは、不確実性スコア $r(\hat{y}|x)$ （例えば、ペルプレキシティ）を使用します。較正セットに基づいて閾値 $\tau$ を設定し、スコアが $\tau$ を超える場合にモデルは棄却します。理論的証明（定理 3.1、補題 3.2）は、入力 - 出力対が交換可能であれば、保持された回答の条件付き正解率が、ユーザーが指定した信頼レベル以下に抑えられることを示しています。

B. 表現幾何学による較正

不確実性スコアがモデルの内部状態（知識対無知）を忠実に反映していることを保証するため、著者はトランスフォーマー層全体にわたるトークン表現の幾何学に基づいた較正戦略を導入します。モデルが内部知識を活用する際、MLP（多層パーセプトロン）の更新が隠れ状態に特定の幾何学的変換を誘発すると仮定しています。

彼らは、最後のクエリトークンの埋め込み軌道から 3 つの幾何学的シグナルを抽出します。

近接性（ $\omega$ ）: MLP 更新の寄与を測定します。MLP 前と MLP 後の埋め込み間の距離を計算します。距離が小さい（近接性が高い）ことは、MLP が表現を積極的に形成したことを示します。
埋め込み回転（ $\theta$ ）: MLP 更新によって誘発される回転角を測定します。大きな回転は予測方向の大きな変化を示唆し、特定の知識の検索に関連することが多いです。
整列（ $\phi$ ）: トークン埋め込みと分布内データの支配的な異方性方向との間の角度を測定します。高い整列はモデルが学習された分布内で動作していることを示し、逸脱は外挿（不確実性）を示唆します。

検証された仮説:

H1: 正しい予測は、強い知識の寄与（高い $\omega$ ）に関連し、顕著な回転（高い $\theta$ ）を誘発する。
H2: 正しい予測は分布内の異方性コーンと整列したままである（低い $\phi$ ）、一方、誤った予測は逸脱する。

C. 較正パイプライン

特徴抽出: 各トークンについて、モデルは全層にわたる幾何学的シグナルを捉える特徴ベクトル $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ を計算します。
距離計算: システムは、これらの特徴の分布内および分布外予測からのマハラノビス距離を計算します。
較正器の学習: XGBoost モデルを訓練し、これらの幾何学的特徴（生ペルプレキシティと組み合わせ）を精緻化された不確実性スコアにマッピングします。
決定: 最終的な不確実性スコアが、コンフォーマル閾値に基づいて棄却するかどうかを決定します。

3. 主な貢献

コンフォーマル棄却フレームワーク: 非適合スコアの非現実性を回避し、オープンエンド生成における参加率と条件付き正解性の両方に対して厳密な有限サンプル保証を提供する事後手法。
幾何学に基づく較正: トランスフォーマー層の内部幾何学的ダイナミクス（MLP の寄与、回転、異方性）を活用して、信頼性を実際の正解性とよりよく整合させる不確実性定量化の新しいアプローチ。
理論的保証: 不確実性スコアを導出するために使用される決定論的変換の下で交換性が保持されることを示す証明により、コンフォーマル境界の有効性を保証。
包括的な評価: 6 つの多様なデータセット（NQ、TruthfulQA、GSM8K など）および複数のモデルサイズ（Gemma-3、LLaMA-3）にわたる広範な実験。

4. 実験結果

性能: 提案手法は、すべてのデータセットにおいて、ペルプレキシティ、セマンティックエントロピー、アテンションベースの手法、言語化された信頼性を含む強力なベースラインを大幅に上回ります。
条件付き正解性: コンフォーマル棄却の下で、この手法は平均**条件付き正解率 75.0%**を達成します。これは、モデルが回答を決定した際に 75% の確率で正しいことを意味し、多くの場合 50〜60% 付近で推移するベースラインよりも大幅な改善です。
頑健性: この手法は、異なる参加率（クエリの 10% から 90% が回答される範囲）において高い性能を維持します。
アブレーション研究: 幾何学的シグナル（ $\omega, \theta, \phi$ ）を順列置換すると、同程度の性能低下が生じ、これら 3 つのシグナルすべてが重要かつ相補的であることを示しています。
ベースライン較正: 著者は、既存のベースラインに単に彼らの較正器を適用すると、低次元シグナルへの過学習により性能が低下することを示しています。一方、高次元の幾何学的特徴は較正から大幅に利益を得ています。

5. 意義

この研究は、LLM の展開における重要な信頼性のギャップに対処します。理論的保証を伴ってモデルに選択的に棄却させることを可能にすることで、CA は高リスク分野（医療、法、科学）におけるハルシネーションのリスクを、高価な再学習なしに軽減します。「知識の関与」の代理として表現幾何学を導入することは、表面レベルの確率からモデルが情報を処理する内部メカニズムへと移行する、不確実性定量化のための新しいパラダイムを提供します。これにより、誤った情報を提供することよりも無知を認めることが望ましい実世界アプリケーションにおいて、システムはより信頼でき、実行可能になります。