💬 NLP

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

本論文は、大規模言語モデルの言語的な不確実性の表現を実際のサンプリング挙動に適合させることで、多様な推論タスクにおける較正性を向上させ過剰な自信を抑制する手法として、意味的回答誘導エントロピーターゲット（SAGE）とグループ不確実性選好最適化（GUPO）を提案する。

原著者： Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：自信満々な嘘つき

想像してみてください。あなたは、非常に賢いが少し神経質なロボットに質問をしています。時々、そのロボットは答えを完璧に知っています。しかしまたある時は、推測しているだけなのに、自分が推測していることに気づいていません。

問題は、ロボットが間違えることだけではありません。ロボットは、間違っている時でも、正しい時と同じくらい自信たっぷりに振る舞ってしまうことがよくあるのです。例えば、「フランスの首都はロンドンであると100%確信しています」と、正しい時と同じ滑らかな口調で言ってしまうかもしれません。これは危険です。なぜなら、ユーザーはそのロボットを信頼してしまい、誤った判断を下してしまうからです。

研究者たちは、ロボットが本当に確信が持てない時には「分かりません」と言えるように教えたいと考えています。しかし、ロボットに自分自身の混乱について正直になるよう、どうやって教えればよいのでしょうか？

古いやり方：ロボットに推測させる

以前、研究者たちは「正直な」回答の例を見せることで、ロボットを訓練しようとしてきました。「確信がない時は、『分かりません』と言いなさい」と教えるのです。

欠陥： これは、特定のテスト問題一つだけを見せて、生徒に「分かりません」と言うよう教えるようなものです。もし生徒が「自分は知っている」と思い込んでいる質問に出会ったら、それでもなお自信満々に推測してしまうかもしれません。古い手法は、ロボットがどのように振る舞うかという全体像を見ていませんでした。彼らは単一の回答を見て修正しようとしており、ロボットが内部でコイン投げ（五分五分の状態）をしている可能性を見落としていたのです。

新しいアイデア：「グループ・ロールアウト」

著者たちは、ロボットが本当に確信を持てていないかどうかを知るには、同じ質問を20回投げかけ、何が起こるかを見る必要があると気づきました。

安定したグループ： もしロボットに20回質問して、20回とも同じ答えが返ってくるなら、それは自信がある状態です。その時、ロボットは「確信があります」と言うべきです。
分散したグループ： もし20回質問して、20通りの異なる答え（あるいは10通りの異なる答え）が返ってくるなら、それは混乱しています。その時、ロボットは「分かりません」と言うべきです。

これはグループ・ロールアウトと呼ばれます。これは、20人の委員会に対して同じ質問をするようなものです。全員が一致していれば、委員会は自信を持っています。意見が割れていれば、委員会は不確実です。

罠：「不適切なスコアカード」

ここからが、この論文の巧妙なところです。単に20個の回答を持っているだけでは不十分です。ロボットがどの程度の不確実さを示すべきかを伝えるための、そのグループを採点する方法が必要です。著者たちは、既存の採点方法には欠陥があることを発見しました。

「完全一致」スコア (MAF)： この方法は、全く同じ単語が何回現れたかだけをカウントします。
- 比喩： 委員会が色の投票をしていると想像してください。10人が「赤」と言い、別の10人が「クリムソン（深紅）」と言った場合、このスコアカードは単語が異なるため、意見が完全に割れている（50/50）と判断してしまいます。しかし、彼らは実際には同じ色について合意しています！このスコアカードは厳格すぎて、ニュアンスを見逃してしまいます。
「意味的クラスター」スコア (SE)： 似た意味を持つものをグループ化します。
- 比喩： これはよりマシですが、厳格なリストを持つクラブの用心棒のようなものです。もしあなたがリストから少しでも外れていたら、即座に「イエス」のグループから追い出され、「ノー」のグループへと放り込まれます。スコアは壊れたエレベーターのように激しく上下し、ロボットの学習を困難にします。
「一般的な類似性」スコア (KLE)： 文章がどれくらい似ているかを見ます。
- 比喩： これが最も危険なものです。委員会が数学の問題について投票していると想像してください。ある人は「52」と言い、別の人は「53」と言います。一般的な耳には、これらの数字は非常によく似て聞こえます。このスコアカードは、「おや、これらはほとんど同じだ。だからグループは自信を持っている！」と判断してしまいます。しかし、数学において52と53は全く異なる答えです。このスコアカードは、ロボットが実際には間違っているのに、自信があると思い込ませる罠となります。

解決策：SAGE（スマートなスコアカード）

著者たちは、SAGE（Semantic-Answer Guided Entropy：意味的回答ガイド付きエントロピー）と呼ばれる新しい採点システムを作成しました。

SAGEを、二つのことを同時に理解するスマートなスコアカードだと考えてください。

雰囲気（Vibe）： 文章がどのように聞こえるか（言語的な類似性）を見ます。
真実（Truth）： 実際の答えが互換性があるかどうか（回答の等価性）をチェックします。

仕組み：

もし委員会が「赤」と「クリムソン」と言った場合、SAGEはそれらが同じ意味であることを理解し、低い不確実性スコアを与えます（良い結果！）。
もし委員会が「52」と「53」と言った場合、SAGEはそれらが似た響きであっても、数学的には異なっていることを見抜きます。そして、高い不確実性スコアを与えます（良い結果！）。
これをスムーズに行うことで、ロボットがガクガクとした混乱した信号を受け取るのではなく、自信をどのように調整すべきかについての明確で安定した信号を得られるようにします。

学習方法：GUPO

この完璧なスコアカード（SAGE）ができたら、次に新しい学習方法であるGUPOを使用します。

GUPOは、ロボットの回答全体（ストーリー、推論、そして最終的な事実）を修正しようとするのではなく、自信の部分だけに焦点を当てます。

比喩： 教師が生徒のエッセイを添削している場面を想像してください。教師は物語全体を書き直すのではなく、生徒が「私は100%確信しています」と書いた箇所を丸で囲み、「実は、他の下書きを見てごらん。君は推測していたんだよ。これを『分かりません』に変えなさい」と指示します。
GUPOはまさにこれを行います。ロボットの推論や事実はそのままにして、ロボットの「不確実性の表明」を、グループの現実と一致するように訓練します。

結果

著者たちは、3種類のタスクでテストを行いました。

事実： （例：「この本を書いたのは誰ですか？」）
数学： （例：「52 + 3 は？」）
多肢選択式： （例：「答えは A, B, C, D のどれですか？」）

すべてのケースにおいて、SAGEとGUPOで訓練されたロボットは、自分がいつ確信を持てていないかを判断するのが非常に上手くなりました。彼らは自信満々な嘘つきであることをやめました。回答のグループがバラバラであれば「分かりません」と言い、グループが一致していれば「知っています」と言えるようになったのです。

まとめ

この論文は、ロボットに不確実性について正直になるよう教えるには、単一の回答を見るだけでは不十分であると主張しています。回答の「グループ」を見る必要があります。しかし、同時に「赤」と「クリムソン」は同じだが「52」と「53」は違うということを理解できる特別な「スコアカード（SAGE）」も必要です。このスマートなスコアカードを用いることで、ロボットは自分の自信を実際の能力と一致させることができ、より信頼できるパートナーとなるのです。

技術要約: SAGE – 言語的不確実性の整合のための、回答条件付き不確実性ターゲット

問題提起

大規模言語モデル（LLM）は、基礎となる回答が不確実または根拠がない場合でも、流暢でもっともらしいテキストを生成することが頻繁にあり、これが現実世界において深刻な結果を招く可能性のあるハルシネーション（幻覚）を引き起こします。研究者たちは、内部信号（例：トークン確率）やサンプリングベースの信号を用いて不確実性を推定する方法を模索してきましたが、「言語的不確実性（verbal uncertainty）」、すなわちモデルが明示的に自信を表明すること（例：「80%の自信があります」）は、ユーザーにとって直接的で解釈可能な信号となります。

しかし、「言語的不確実性の整合（verbal uncertainty alignment）」には決定的なギャップが存在します。表現された不確実性が、モデルの実際の行動的な信頼性を反映していないことが多いのです。既存のアプローチは、不確実性のキャリブレーションをレスポンスレベルの問題（例：単一の出力に対する教師あり微調整やペアワイズ選好最適化）として扱っています。著者らは、これは根本的に不十分であると主張しています。なぜなら、単一のレスポンスでは、モデルの確率質量がその回答に集中しているのか、あるいは妥当な代替案に分散しているのかを明らかにできないからです。これにより、モデルが自身のレスポンス分布の安定性と不確実性の表現を整合させることを学ぶのではなく、単に不確実性の表現を模倣することだけを学習してしまうという「分布的な盲目（distributional blindness）」が生じます。

さらに、グループレベルのターゲット（不確実性を推定するために繰り返しのロールアウトを使用するもの）は理論的には妥当ですが、既存の手法は「報酬信号のボトルネック」に苦しんでいます。

最大回答頻度 (MAF): 回答の安定性には忠実ですが、粗雑です。意味的な距離や推論のバリエーションを無視するため、多数派のカウントが一致すれば、異なるグループであっても同一のスコアにマッピングされてしまいます。
セマンティック・エントロピー (SE): ハードな意味的クラスタリングを通じてパラフレーズを処理しますが、不連続で粗い報酬を生み出します。クラスター内での小さな変化は信号を与えませんが、境界を越えると離散的なジャンプが発生します。
カーネル言語エントロピー (KLE): 連続的な埋め込み類似性を通じて滑らかな信号を提供しますが、タスクに重要な回答の区別を保持することに失敗します。汎用的な埋め込み幾何学により、互いに排他的な選択肢（例：「A」対「B」）や異なる数値値を非常に類似したものとして扱う可能性があり、不確実性を過小評価する原因となります。

手法

本論文は、これらの限界に対処するための2部構成のフレームワークである、SAGE（Semantic-Answer Guided Entropy）によるターゲット構築と、GUPO（Group-Uncertainty Preference Optimization）による学習を提案します。

1. SAGE: Semantic-Answer Guided Entropy

SAGEは、回答条件付きの不確実性幾何学を構築するために設計された、グループレベルの自己不確実性ターゲットです。これは、回答への忠実性、報酬の滑らかさ、およびスケールの保存を同時に実現することを目指しています。

言語的カーネル: まず、回答を構成する内容 $z_i$ に基づく連続的な意味的類似性カーネル $K_{ling}$ から始まり、滑らかな意味的類似性を測定します。
回答等価性カーネル: 汎用的な埋め込みがタスクに重要な区別を曖昧にすることを防ぐため、SAGEはタスク固有のバイナリ回答等価性カーネル $K_{ans}^{bin}$ を導入します。このカーネルは、等価な回答（例：同じ多肢選択式のラベル、正規化された数値、または検証済みの記号的表現）に対して1を割り当て、それ以外には0を割り当てます。
ソフトフロア (Soft Floor): ハードなクラスタリングによる不連続性を避けるため、SAGEは「ソフトフロア」メカニズムを採用します。
$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$
ここで $c \in [0, 1]$ は、回答の分離度を制御します。 $c=0$ はハードな分離を強制し、 $c=1$ は純粋な言語的類似性を復元します。
結合カーネル: 最終的なカーネルは、言語的類似性と回答認識の類似性を組み合わせます。
$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$
エントロピー計算: カーネル行列は密度行列 $P_A$ に正規化され、SAGEは $P_A$ の正規化されたフォン・ノイマン・エントロピーとして定義されます。低いエントロピーは回答の集中（低不確実性）を示し、高いエントロピーは意味、推論経路、または最終的な回答の分散（高不確実性）を示します。

2. GUPO: Group-Uncertainty Preference Optimization

GUPOは、SAGEを監督信号として利用する学習フレームワークです。標準的な手法がレスポンス全体を最適化するのに対し、GUPOはレスポンス $y_i = (z_i, v_i)$ の不確実性チャネル ( $v_i$ ) のみを選択的に最適化します。

選好構築: $K$ 個のサンプリングされたレスポンスのグループに対して、表現された不確実性 $\hat{u}(v_i)$ と SAGE ターゲット $t(G_x)$ の間の距離に基づいて報酬 $r_i$ が計算されます。
最適化: GUPOは、グループ内の不確実性表現に対して選好分布を適用し、グループレベルのターゲットにより良く一致する不確実性表現の対数尤度を最大化するようにポリシーを最適化します。これは以下のように定式化されます。
$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$
ここで $p_i^{cal}$ は報酬スコアから導出された選好確率です。

主な貢献

問題の定式化: 著者らは、言語的不確実性の整合を分布的キャリブレーション問題として特定し、既存のグループレベルのターゲット（MAF, SE, KLE）が報酬信号のボトルネックとなり、その有効性を制限していることを指摘しました。
SAGE ターゲット: 回答認識の構造をレスポンスの幾何学に注入する新しいエントロピーターゲットである SAGE を導入しました。これは、滑らかさを維持しながら、汎用的な指標が互いに矛盾する回答（例：異なるオプションラベルや異なる数値）を区別できないという問題を修正します。
GUPO フレームワーク: 不確実性表現のキャリブレーションをフルレスポンスの内容の最適化から切り離す、不確実性チャネル選好最適化フレームワークである GUPO を提案しました。
実証的検証: 本手法は、3つの異なる回答形式（事実に基づく QA (TriviaQA)、数学的推論 (MATH-500)、多肢選択推論 (MMLU-Pro)）にわたって検証されています。

結果

実験により、GUPO + SAGE が既存のベースライン（Direct Verbalized, CoT, CSFT, LoVeC-DPO を含む）および代替的なグループターゲット（MAF, SE, KLE）を一貫して上回ることが示されました。

キャリブレーション: この手法は、すべてのベンチマークにおいて最も低い Brier スコア と 期待キャリブレーション誤差 (ECE) を達成しました。例えば、MMLU-Pro では、GUPO+SAGE は、次に優れたベースラインの 0.179 に対し、ECE を 0.113 まで減少させました。
不確実性のランキング: スペアマン相関係数を大幅に改善しており、これはモデルが表現する不確実性が、実際の信頼性によって事例をより良くランク付けできていることを示しています。
選択的精度: 本フレームワークは、高信頼サブセットの精度において大幅な利得をもたらします（例：様々な信頼度閾値において MMLU-Pro で +22.4 から +33.0 ポイントの向上）。これは、不確実性が低いと割り当てられた予測が、実際に正しい可能性が高いことを証明しています。
転移性: 改善は異なるモデルスケール（Qwen2.5-1.5B, 3B, 7B）にわたって維持されており、この手法が特定のバックボーン容量に依存していないことを示唆しています。

意義と主張

本論文は、グループレベルの行動的不確実性を単一レスポンスの不確実性表現へと蒸留できるのは、ターゲットの構築と最適化チャネルの両方が適切に設計されている場合に限られると主張しています。

ターゲットのギャップへの対処: 著者らは、SAGE のような信頼できる回答認識型のターゲットがなければ、報酬信号はノイズやショートカットへと崩壊し、最適化器がキャリブレーションされた不確実性と表面的なパターンを区別することを妨げると主張しています。
行動的整合: 本研究は、不確実性を「言う」ことを学ぶことから、モデル自身のサンプリング行動の安定性を「反映する」ことを学ぶことへとパラダイムをシフトさせます。
実用的有用性: 言語的不確実性の順序付けとスケールを改善することで、本フレームワークは、モデルの出力を信頼するか、検証するか、あるいは控えるかといった、より効果的なダウンストリームの意思決定を可能にします。

限界: 著者らは、自身の手法が言語的不確実性を「外部の正しさ（真実性）」ではなく、「行動的な自己不確実性（サンプリングの安定性）」に整合させていることを謙虚に述べています。モデルは安定していても、間違っている可能性があります。したがって、SAGE は、特に医学や法律のようなドメイン固有のエビデンスが必要とされる高リスク領域において、正しさに基づくキャリブレーションや外部検証の代わりではなく、それらを補完するものとして提示されています。さらに、ターゲットの質は、回答抽出および等価性モジュールの信頼性に依存します。