🤖 AI

Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty

本論文は、サンプリングされた解の間の自己選好順位の安定性を分析することによって、大規模言語モデルにおける論理的推論の整合性を定量化するフレームワークである「構造的不確実性」を導入し、この指標が、演繹的タスクにおける信頼性の低い推論を特定するために従来の回答の分散を補完するものであること、およびこのような整合性の評価が有益となる領域を区別できることを明らかにする。

原著者： Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが時として自信過剰な学生に、難しい数学の問題を解くよう求めていると想像してください。あなたは、その学生に問題を5回解くよう指示します。

古い方法：答えのカウント
伝統的に、学生が信頼できるかどうかを確認するには、単に彼らの5つの回答を確認します。

もし彼らが5回とも「10」と答えたら、私たちは「素晴らしい！一貫性がある」と考えます。
もし彼らが「10、12、9、10、11」と答えたら、私たちは「おっと、混乱しているようだ」と考えます。

しかし、問題があります。もし学生が、毎回異なる理由で間違った答えを出していたらどうなるでしょうか？

回答1：「10」（マイナス記号を忘れたため）
回答2：「10」（引き算の代わりに足し算をしたため）
回答3：「10」（数字を読み間違えたため）

古い方法では、最終的な答えが常に「10」であるため、学生は完璧に一貫しているように見えます。しかし、その背後にある「思考」はめちゃくちゃでした。古い方法は、この内部の混沌を見逃してしまうのです。

新しい方法：「セルフ・ジャッジ（自己審判）」トーナメント
この論文は、学生をチェックするための新しい方法、「構造的不確実性（Structural Uncertainty）」を紹介しています。単に最終的な回答を見るのではなく、学生自身に自分の解答のレフェリーを務めさせます。

手順は以下の通りです：

生成： 学生は5つの異なる解法を書き出します（正解もあれば不正解もあるかもしれません）。
トーナメント： 学生に、これらの解法をペアで比較させます。「解法Aは解法Bよりも優れていますか？」
ランキング： これらすべての比較結果を用いて、ランキングを作成します。どの解法が「ベスト」か？どの解法が「ワースト」か？
ひねり： このトーナメントを何度も繰り返しますが、その際、誰と誰が戦うかの順番を変更します（ランダムな接続マップを描くように）。

2つのシグナル
学生が自分の仕事をどのようにランク付けするかを観察することで、著者らは、推論が安定しているかどうかを示す2つの明確なシグナルを発見しました。

「フリップフロップ（行ったり来たり）」シグナル（試行間における不安定性）：
- 想像してみてください： あるトーナメントでは、学生は解法Aがベストだと言います。しかし次のトーナメント（異なる対戦カードを用いた場合）では、突然、解法Cがベストだと言うのです。
- 意味： 学生は、何が良い解法であるかという基準を実際には理解していません。彼らの内部のコンパスは回転しています。これは、たとえ5つの答えがすべて同じ数字であったとしても、重大な警告サインです。
- 比喩： それは、ある日のラインナップでは最高の映画を選び、翌日には（映画自体は変わっていないのに）全く別の映画を最高だと選ぶ審査員のようなものです。その審査員は信頼できません。
「タイブレイカー（同点決勝）」シグナル（試行内における曖昧性）：
- 想像してみてください： 単一のトーナメントの中で、学生は5つの解法すべてを見て、「これらはすべて非常に良く、勝者を一人に絞ることはできません」と言います。ランキングは平坦な線になります。
- 意味： これは複雑な数学の問題においては、実は「良い兆候」です！それは、複数の有効な解法が存在することを学生が認識していることを意味します。これは、彼らがニュアンスを理解していることを示しています。
- 比喩： それは、フードクリティック（料理評論家）が「これら5つのピザはどれも素晴らしい。一つを選ぶなんて無理だ」と言うようなものです。それは混乱ではなく、洗練された味覚の証なのです。

「図書室」 vs 「数学の授業」
この論文は、この新しい手法がタスクの種類によってどのように異なる働きをするかを明らかにしました。

数学・論理（「数学の授業」）： この手法は真価を発揮します。もし学生が混乱していれば、彼らのランキングは激しく行ったり来たり（フリップフロップ）します。もし賢ければ、彼らは良し悪しの経路を区別することができます。
ファクトチェック（「図書室」）： この手法は壁に突き当たります。図書室にある本の中から特定の事実を見つけ出すよう学生に頼る場面を想像してください。もし本の中に答えがなければ、学生は毎回「分かりません」と言うでしょう。
- 答えが「分からない」であるため、学生の内部ランキングは完璧な平坦な線になります（全員が最下位でタイです）。
- 論文ではこれを「崩壊（Collapse）」と呼んでいます。シグナルが消失するのです。これは、「これは推論の問題ではなく、検索の問題である」ということを示しています。このような場合、古い方法（答えが異なるかどうかを確認するだけの方法）の方が実は優れています。

結論
この論文は、「AIが正しい答えを出したか？」や「AIが5回とも同じ答えを出したか？」を問うているのではありません。

代わりに、**「AIは、自身の仕事を判断するための、安定した一貫性のある方法を持っているか？」**を問うているのです。

もしAIの内部ランキングが不安定で、行ったり来たりしているなら、たとえ最終的な答えが正しく見えたとしても、推論がうまくいっていない可能性が高いです。
もしAIのランキングが安定していれば、推論はうまくいっている可能性が高いです。
もしAIのランキングが平坦なタイ（同点）へと崩壊しているなら、それは（そこに答えがない事実を探すような）推論が重要ではないタスクである可能性があります。

これにより、AIが自信満々に間違っているものの、内部的には一貫性を欠いているという「賢明に見える失敗」を特定することができます。これは、古い手法では完全に見逃されていた問題です。

技術要約：構造的不確実性によるLLMの論理的推論における一貫性の定量化

問題提起

大規模言語モデル（LLM）は、多段階の演繹的推論において、異なる、しかし内部的に欠陥のある推論パスを通じて同じ誤った結論に到達するという失敗モードを頻繁に示します。既存の事後評価手法は、主に出力分散（サンプリングされた回答の意味的な変動やエントロピーを測定するもの）を通じて信頼性を評価しています。これは有用ではありますが、このアプローチは、競合する推論候補間のモデルの内部的な好みの構造的一貫性という、重要な補完的信号を切り捨ててしまいます。

現在の分散ベースの手法は、「系統的だが内部的に不安定な」推論を検出できません。例えば、モデルが5つの候補を生成し、それらすべてが誤った回答で一致している場合、分散ベースの指標は低不確実性（ゼロエントロピー）を報告しますが、これはモデルのこれらの候補に対する内部的なランキングが非常に不安定である可能性を隠蔽してしまいます。本論文は、何という回答が異なるかだけでなく、モデルが同一のクエリに対して競合する推論解をいかに「一貫して」ランク付けするかを測定する評価フレームワークの必要性に対処します。

手法：構造的不確実性フレームワーク

著者らは、サンプリングされた候補解に対する自己選好によって誘発されるランキングの安定性を定量化する、一貫性を考慮した評価フレームワークである**構造的不確実性（Structural Uncertainty）**を提案しています。このフレームワークは、モデルの内部（ロジットや隠れ状態）へのアクセスを必要としない、完全なブラックボックス設定で動作します。

1. パイプラインの概要

クエリ $x$ に対して：

候補生成: モデルは、確率的デコーディングと異なるプロンプトテンプレート（例：ステップ・バイ・ステップ、思考プロセス、ソクラテス式、分解、類推など）を用いて、 $N$ 個の多様な候補推論解（ $N=5$ ）を生成します。
自己選好の引き出し: 同じモデルがジャッジとして機能し、自身の出力間のペアワイズ（二者間）の選好を決定します。計算コストを $O(N^2)$ から $O(N)$ に削減するため、著者らは各試行において $N$ 個の候補に対して**一様ランダム生成木（uniform random spanning tree）**をサンプリングし、 $N-1$ 個のエッジのみをクエリします。
選好の集計:
- Bradley-Terryモデリング: ペアワイズの判断を、潜在的な効用 $\theta_i$ を推論するための $L_2$ 正則化を伴うBradley-Terry（BT）フレームワークを用いてモデリングします。
- PageRank正規化: 推論されたペアワイズ勝率を遷移行列に変換し、その定常分布（PageRankスコア $\pi$ ）を計算して、その試行におけるグローバルなランキング分布を生成します。
- 堅牢性チェック: 高度に類似した結果をもたらす、TrueSkill（信頼重み付き更新を伴うベイズ的スキル評価）のバリアントも実装されています。
不確実性の分解: このプロセスを $M$ $M$ 回の独立した試行（生成木のサンプル）に対して繰り返します。得られたアンサンブルのランキング分布 $\{\pi^{(m)}\}_{m=1}^M$ ${π^{(m)}}_{m = 1}^{M}$ は、2つのエントロピー成分に分解されます：
- 試行内候補の曖昧性 ( $StructU_{within}$ ): 単一の試行内におけるランキング分布の平均エントロピー。値が高いことは、モデルが単一の比較セット内であっても候補を自信を持って区別できないことを示します。
- 試行間のランキング不安定性 ( $StructU_{across}$ ): 平均ランキングの総エントロピーと、試行内の平均エントロピーの差。値が高いことは、モデルが好むランキングが、サンプリングされた特定の比較セット（生成木）に応じて大きく変動することを示します。

2. 自己整合性（Self-Consistency）との統合

本フレームワークは、構造的不確実性を標準的な自己整合性不確実性（回答分布のエントロピー）と組み合わせます。著者らは固定された経験的な融合ルールを提案しています：

$StructU_{across}$ は精度と負の相関があるため（不安定性は失敗を示唆）、自己整合性エントロピーに加算されます。
$StructU_{within}$ は推論タスクにおける精度と正の相関があるため（妥当なパス間の曖昧さ）、自己整合性エントロピーから減算されます。

主な貢献

事後的な一貫性フレームワーク: モデルに依存しない、自己選好によるランキングの安定性を介して推論の一貫性を定量化する、出力分散を補完する信号を提供する手法。
構造的分解: Bradley-Terry/TrueSkillおよびPageRankを介して導出される、試行間の不安定性（信頼できない推論を示唆）と試行内の曖昧性（競合する妥当なパスを示唆）への不確実性の分解。
レジーム分析: 構造的信号が情報を持つ場合と崩壊する場合の特性化。本論文は、推論レベルの一貫性評価が情報を持たなくなる「レジーム境界」を特定しています。

実験結果

本フレームワークは、5つのLLM（Claude 4.5 Sonnet、DeepSeek R1、GPT-OSS 20B、Amazon Nova Premier、Qwen 3 32Bを含む）および8つのベンチマーク（Math-Synth、MATH-500、AMC-23、AIME-24/25、MMLU-Pro、TruthfulQA、HotpotQA）にわたって評価されました。

1. 推論タスクにおける補完性

数学的および論理的推論ベンチマーク（Math-Synth、MATH-500、AMC-23など）において、構造的不確実性を自己整合性と組み合わせることで、信頼できない推論インスタンスの特定（Selective Prediction AUCおよびAUROCで測定）が大幅に改善されました。

パフォーマンスの向上: ハイブリッド推定器（$StructU + SelfConsU$）は、ほとんどの推論タスクで最高または2番目に高い性能を達成し、困難なコンテスト問題に対しては、弱いモデルにおいて最大**+13.4%**の向上を示しました。
精度との相関:
- 試行間の不安定性は、正解率と強い負の相関を示しました（不安定性は失敗のシグナルとなります）。
- 試行内の曖昧性は、数学タスクにおいて正解率と正の相関を示しました。これは、複数の有効な解法パスが存在するシナリオと一致しています。

2. 検索タスクにおける崩壊

事実の検索タスク（特に HotpotQA）では、構造的信号が崩壊しました。

観察: 正解および不正解の両方の質問において、試行間の不確実性がほぼゼロであり、試行内の不確実性が最大に近い（一様なPageRank分布）状態を示しました。
メカニズム: 固定されたドキュメントに対する事実検索は、プロンプトテンプレートに関わらず、構造的に均質な推論チェーンを引き起こします。モデルの自己選好判断は区別不能（コイン投げの状態）になり、構造的信号を無意味なものにします。
示唆: このレジームでは、分散ベースの手法（Self-ConsistencyやSemantic Dispersionなど）が構造的アプローチよりも優れています。この崩壊自体が、推論レベルの構造的多様性が存在しないことを示す診断的なシグネチャーとして機能します。

3. アブレーションと検証

ランダム化: 真の自己選好をランダムな比較に置き換えると、AUROCがチャンスレベル付近まで低下し、この信号がパイプラインのアーティファクトではなく、真のモデルの選好に基づいていることが確認されました。
バックエンドの堅牢性: Bradley-TerryとTrueSkillの両方のバックエンドは一貫したランキング（ $\rho > 0.95$ ）を生成し、この分解が特定のモデルの選択ではなく、ランキング分布の特性であることを検証しました。

意義と主張

本論文は、構造的不確実性は普遍的な信頼度推定器としてではなく、レジームに敏感な論理的推論の一貫性評価器として理解されるべきであると主張しています。

評価の再定義: 問いを「回答がどれほど異なるか？」（分散）から「モデルは競合する推論解をどれほど一貫してランク付けするか？」（構造）へとシフトさせています。
診断的有用性: 本フレームワークは、実務家にとって実用的な診断ツールを提供します。「HotpotQAのシグネチャー」（試行間の不確実性がほぼゼロ＋試行内のエントロピーが高い）は、推論レベルの一貫性評価が不毛となるタスクレジームを示しており、分散ベースの手法への切り替えを示唆しています。
限界: 著者らは、この手法が推論コスト（ $N \times M$ 回の比較）を増加させること、および自己選好がモデル固有のバイアスを継承することを控えめに述べています。この分解は固定されたプロトコルの下で観察される経験的なものであり、基礎となるデータの不確実性の根本的な特定ではありません。この手法は、回答の質に差異がある場合に最も効果的であり、差異が純粋にスタイリスティックなものである場合や、タスク構造（例：決定論的な検索）が推論の多様性を抑制している場合には機能しません。

結論として、本論文は、モデル自身の出力に対する内部的な選好順序の安定性を測定することが、回答レベルの一致だけでは明らかにできない系統的なエラーを検出するための、極めて重要な、かつ補完的な視点を提供するものであることを示しています。