技術要約：コミットメント下における一貫性 (Coherence Under Commitment: CUC)

問題提起

知識集約的な領域にデプロイされる大規模言語モデル（LLM）は、決定的な失敗モードである**空虚な一貫性（vacuous coherence）を示すことがあります。標準的な評価指標は、論理的一貫性（例：否定の一貫性。モデルが命題とその否定を同時に肯定しないこと）を優先します。しかし、モデルは決定的な判断を下すことを系統的に回避（abstention）**することで、これらの一貫性制約を形式的に満たすことができます。含意（entailment）または反駁（refutation）のいずれかへのコミットメントを控えることで、モデルは論理的な矛盾をゼロにしつつ、推論としての有用性をゼロにしてしまいます。

高リスクな環境（臨床診断、科学的推論など）において、このような「安全な」振る舞いは、真の信頼性と区別がつきません。クエリの90%に対して回答を拒否するモデルは「一貫性がある」ように見えますが、運用上は役に立ちません。現在の評価パラダイムは、一貫性を単独で測定しており、行動可能な推論に必要な**認識的コミットメント（epistemic commitment）**を無視しているため、この問題を検出できません。

手法：コミットメント下における一貫性 (CUC)

著者らは、論理的一貫性と認識的決断性を共同で測定するために設計された、二重クエリ評価パラダイムであるCoherence Under Commitment (CUC) を提案しています。

1. 二重クエリ抽出プロトコル

単一のクエリではなく、CUCはすべての前提 $P$ と仮説 $\phi$ に対して、対称的なクエリのペアを構築します：

• $Q_\phi$: 「$\phi$ は $P$ によって論理的に含意されるか？」
• $Q_{\neg\phi}$: 「$\neg\phi$ は $P$ によって論理的に含意されるか？」

サンプリングの分散やデコーディングのアーティファクトを排除するため、プロトコルは**決定論的な抽出（deterministic elicitation）**を使用します。これは、モデルのロジットから、二値応答（YES/NO）の正規化された対数確率を直接抽出します：
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{YES}|Q_\phi))}{\exp(\log P(\text{YES}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
これにより、仮説およびその否定に対する肯定的な応答の確率質量が得られます。

2. コア指標

フレームワークは、確率 $\mathcal{P}(\phi)$ および $\mathcal{P}(\neg\phi)$ から導出される2つの主要な指標を定義します：

• コミットメント・スコア ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  これは、決定的な結果に割り当てられた総確率質量を定量化します。スコアが低いことは、モデルがそのクエリを実質的に「未知」として扱っている（回避している）ことを示し、それが推論の質に関わらず、一貫しているかどうかとは無関係です。

• 否定一貫性違反 ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  これは、モデルが互いに排他的な結果に対して、1を超える確率質量を割り当てている程度を測定します。値が0より大きい場合は、論理的な不整合（同時過剰コミットメント）を示します。

重要な洞察: 本論文は、代数的な恒等式 $v_{neg} = \max(0, c - 1)$ を確立しています。これは、$c(\phi) \leq 1$ であるすべてのモデルは、推論の質に関わらず、自動的に違反率がゼロになることを意味します。したがって、低い違反率は、低いコミットメントによるアーティファクトである可能性があります。

3. 3値決定フレームワーク

これらの指標を運用するために、著者らは閾値 $\tau$（確信度）と $\delta$（マージン）を用いた決定ルールを定義します：

• TRUE (真): $\mathcal{P}(\phi) \geq \tau$ かつ $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$ の場合。
• FALSE (偽): $\mathcal{P}(\neg\phi) \geq \tau$ かつ $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$ の場合。
• UNCERTAIN (不確実): それ以外の場合。

これにより、評価においてカバレッジ（Coverage）（非UNCERTAINな予測の割合）と**条件付き精度（Conditional Accuracy, $Acc_{cov}$）**を報告することが可能になり、「正確だが回避するモデル」と「決断的だが矛盾するモデル」を区別できます。

実験設定

• データセット: 正式に検証された否定を持つ FOLIO v0.0（204例）およびルールベースの否定を持つ LOGIQA v2（304例）で評価。
• モデル: 4つのオープンウェイトモデル（1.1B–3Bパラメータ）：TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, Qwen2.5-3B。
• プロトコル: YES/NOトークンの決定論的な対数確率抽出。

主な結果

1. 一貫性・コミットメント・フロンティア

実験により、鋭く、経験的に堅牢なトレードオフ・フロンティアが明らかになりました。どのモデルも、高いカバレッジと低い違反率を同時に達成することはありません。

• 系統的な回避 (Qwen2.5-3B): 最も低い違反率 ($E[v_{neg}] = 0.025$) を達成し、一貫性のみの指標の下では「最良」に見えます。しかし、コミットメント・スコアは $0.115$ であり、カバレッジは7.4% に留まり、92%以上の例に対して予測を控えています。
• 系統的な過剰コミットメント (TinyLlama-1.1B): 79.4%のカバレッジを達成しますが、全例において確率公理に違反しています ($E[v_{neg}] = 0.698$)。これは、矛盾する結果に対して$>1.6$の確率質量を割り当てていることを意味します。
• 中間的なモデル: Phi-2とQwen2.5-1.5Bは中間的な位置を占め、回避と矛盾の様々な度合いを示しています。

2. 標準的評価の失敗

• 精度の盲目性: 標準的な3値精度スコアは、モデル間でほぼ同一（0.343から0.441の範囲）であり、回避と過剰コミットメントという正反対の失敗モードを隠蔽してしまいます。
• 一貫性のみの罠: 一貫性のみの評価では、Qwen2.5-3Bを優れたモデルとしてランク付けしてしまいます（次のモデルより6.6倍低い違反率）。これは、ほとんど実行可能な推論を提供しないモデルを誤って報酬を与えることになります。
• 較正の錯覚: コミットされた予測の小さなサブセットにおいてさえ、モデルは低い較正性（高い期待較正誤差）を示します。Qwen2.5-3Bで見られる一見した較正性は、その攻撃的なフィルタリング（最も容易な7%の例のみを選択していること）によるアーティファクトです。

3. スケーリング効果

Qwen2.5を1.5Bから3Bパラメータへスケールさせた結果、精度に変化はほとんどない一方で、コミットメントが83%減少し、カバレッジが23.5ポイント低下しました。より大きなモデルは、より精密に推論することを学ぶのではなく、ヘッジング（回避）することを学習したのです。これは標準的な指標では、一貫性の向上と誤解される挙動です。

意義と主張

本論文は、論理的推論の評価は「モデルは一貫しているか？」と問うことから、「モデルは有用に一貫しているか？」と問うことへとシフトしなければならないと主張しています。

1. 空虚な一貫性はブラインドスポットである: 標準的な指標は、正しく推論するモデルと、単に回答を拒否するモデルを区別できません。CUCは、非空虚なコミットメントを要求することで、これを暴き出します。
2. フロンティアは不可避である: 一貫性とコミットメントの間には根本的な緊張関係が存在します。一方の次元を最適化しようとするモデルは、しばしばもう一方の次元を損ないます。
3. モダリティ非依存性: 本フレームワークはテキスト上で実装されていますが、補完的なクエリを画像やテキストに対して投げることができるため、マルチモーダルな設定（例：VQA、ロボティクス）にも理論的に適用可能です。
4. 方法論的必要性: 著者らは、回避が実際の運用コストを伴う高リスクなデプロイメントにおいては、一貫性とコミットメントの両方を報告することが不可欠であると主張しています。CUCは、このトレードオフを定量化し、「沈黙しているからこそ一貫している」ように見えるモデルのデプロイを防ぐための、最初の原理的なフレームワークを提供します。

本論文は、CUCのような指標なしでは、実務家は、一見信頼できるように見えて、実際には機能的に不活性なモデルをデプロイしてしまうリスクがあると結論付けています。