技術要約：LLMの自己整合性における誤った合意（Wrong-Consensus Agreement）の分解

問題提起

サンプリングに基づく推論（自己整合性 / Self-Consistency）は、複数のLLM出力を生成し、多数決によって集計する手法であり、回答の正確性を向上させる標準的な技術である。しかし、経験的な証拠は、このヒューリスティックが常に効果的であるわけではないことを示している。すなわち、回答が間違っている場合でも合意形成が高くなることがあり、難易度の高い問題では、多数決が単一サンプルの精度を下回る（「バックファイア」効果）ことさえある。

既存の文献はこれらの失敗を記録しているが、「誤った合意（wrong-consensus agreement）」に関する定量的かつ反事実的な分解については記述していない。具体的には、誤った回答の間で見られる合意が、以下のどちらに起因しているのかは不明なままである：

1. 機械的な影響： 固定されたケースごとの回答選好（例：特定の誤答選択肢がモデルにとって魅力的であること）によって、投票が特定の選択肢に集中するという統計的な必然性。
2. 相関したエラー： モデルのサンプルが独立しておらず、機械的な選好が予測する以上に、共通のバイアスや系統的なエラーによって同じ誤答に固執する現象。

メソドロジー

本論文は、多元的合意指数 ($\Gamma$) と 反事実的分解フレームワーク を導入し、機械的な合意と選好による説明不能な残差を区別する。分析は、GPT-4.1ファミリー（miniおよびnanoを含む）を用い、2つのベンチマーク（GPQA-Diamond：多肢選択式、およびAIME：オープンドメイン）において、既存の実行データ（Ding [2]）を用いて完全に行われる。

主要な定義

• 合意指数 ($\Gamma$): 誤った実行（wrong run）におけるサンプルのうち、最多得票ラベルと一致する期待割合を、参照スケール $d = (1-p)/(C-1)$（ここで $p$ は単一サンプルの精度、$C$ は選択肢の数）で正規化したもの。これは、誤った実行がどれほど「粘着性（sticky）」を持っているかを測定する。
• 機械的反事実モデル（Mechanical Counterfactuals）: エラーが独立しているものの、特定の構造的特性を保持している場合に、合意がどのようになるかをシミュレートするための階層的な帰無モデルを構築する：
  1. 一様帰無モデル ($\Gamma_{iid}$): サンプルが誤った選択肢から一様に抽出される。これは、特定の選択肢への選好が存在しないベースラインを表す。
  2. リークのないケース別選好帰無モデル ($\Gamma_{rival}$): これが本研究の核心的な貢献である。各ケースについて、モデルの選択肢に対する選好分布を、leave-one-out 手法（同じケースの他の実行のみを使用）を用いて推定する。その後、この推定された選好分布からシミュレーションによる実行を抽出する。極めて重要な点として、どの実行も自身の合意を予測しないように設計されており、データのリークを防いでいる。

分解指標

主要な指標は 機械的カバー率 ($\phi$) である：
$$\phi = \frac{\Gamma_{rival}}{\Gamma^{(t)}_{emp}}$$

• $\Gamma^{(t)}_{emp}$: 保持された誤った実行セットにおける経験的な合意指数。
• $\Gamma_{rival}$: リークのないケース別選好帰無モデルによって生成された合意指数。
• 解釈:
  • $\phi \approx 1$: 観察された合意は、ほぼ完全に、特定の（しかし潜在的に誤った）選択肢への機械的な引き付けによって説明される。この場合、「共有されたバイアス」という説明は過剰主張となる。
  • $\phi \ll 1$: 有意な 選好による説明不能な残差 ($\delta = 1 - \phi$) が残る。これは、ケースごとの選好を考慮した後でも、サンプルが独立性を仮定した場合よりも誤った合意に集まっていることを示唆しており、相関したエラーや共通の学習バイアスと整合する。

主要な結果

1. 機械的カバー率におけるベンチマーク間の差異

この分解により、制約のある多肢選択タスクとオープンドメイン・タスクの間には明確な違いがあることが明らかになった：

• GPQA-Diamond (多肢選択式): 機械的なケース別選好は、観察された誤った合意の 81–93% を説明する ($\phi \in [0.806, 0.927]$)。残差は小さい。これは、多肢選択タスクにおいては、「共有されたバイアス」の多くが、特定の魅力的な誤答選択肢にモデルが集団として固執するという機械的な現象として現れており、それがケース別選好チャネルによって捉えられていることを示唆している。
• AIME (オープンドメイン): 機械的な選好は、合意のわずか 59–78% しか説明しない ($\phi \in [0.586, 0.781]$)。1.56–2.80 $\Gamma$ ユニット という相当な残差が残る。この残余は、実行間の選好変動（Dirichlet-multinomial帰無モデルによりモデリング）と整合しており、オープンドメインのタスクにおいては、合意には固定されたケース別選好では説明できない成分が含まれていることを示唆している。

2. 「バックファイア」効果の再現

本研究は、難易度の高い問題において多数決が逆効果になるという発見を再現している。難易度ビン別の分析において、投票ギャップ（合意精度と単一サンプル精度の差）は、最も困難なビン（例：GPQAにおけるGPT-4.1-nanoの $-0.09$）で負の値となる。

3. 高い合意における低い経験的天井

高い自己整合性は情報量を持つが、証明（certification）ではない。

• 「最高合意ビン」（自己整合性のトップ5分位）の精度は、0.42 から 0.83 の範囲にある。
• これはベースレートに対して 1.2–3.6 倍のリフトを示してはいるが、1.0 には遠い。合意は 段階的な証拠（graded evidence） であり、証明ではない。

4. チャンピオンの脆弱性

同一ケースの2つの独立した実行が、高い合意を持つ勝者を生み出したとしても、その「チャンピオン」（最多得票者）は不安定である。

• 反転率 (Flip Rate): AIME では 0.82、GPQA では 0.40 である。
• 自己整合性が非常に高い場合（$\alpha \ge 0.98$）であっても、反転率は GPQA で 0.17、AIME で 0.78 となる。

5. ソフト合意 vs ハード合意

ハードな多数決を、（Jensenギャップを用いた）確率重み付きのソフトな集計に置き換えても、正誤予測の AUROC に有意な改善は見られない。「ソフト」な合意は、ハードな多数決の集中度以上のシグナルを付加しない。さらに、Jensenギャップは正しい実行よりも誤った実行において大きくなっており、これは誤った実行の方が分布が分散していることを示している。

意義と主張

本論文は、新しい投票法の提案や新しい失敗モードの発見ではなく、記述的・理解的な貢献 であると位置づけている。その意義は以下の点にある：

1. 定量的分解: 誤った合意を、機械的なケース別選好と、選好による説明不能な残差へと分解するための、初の反事実的階層を提供した。
2. 「共有されたバイアス」の再定義: 高い合意が誤った回答で見られるのは、単に相関したエラーによるものであるという包括的な仮定に異を唱えた。多肢選択タスクでは、この合意の多くは機械的なものであり（ケース別選好によって捉えられる）、オープンドメインのタスクでは、頑健な残差が残る（系統的なエラーパターンと整合する）。
3. モデルに依存しないフレームワーク: この分解は、観察された実行データと反事実的シミュレーションのみに基づいているため、実行データが得られるあらゆるモデルに適用可能である。
4. 経験的な境界: 自己整合性の信頼度は 段階的な証拠 であり、証明ではないことを確立した。最高合意ビンであっても、経験的な天井は 1.0 を大きく下回る。

著者らは、残差のメカニズム（例：それが厳密に「共有された学習バイアス」なのか、あるいは実行レベルの不均一性なのか）は特定されていないが、ケース別選好のみのモデルでは、オープンドメインの誤った合意を説明するには不十分であることを明示している。なお、反事実における i.i.d. 仮定によって結果は限定されるが、知見の方向性（GPQAにおける高い機械的カバー率、AIMEにおける相当な残差）は、サンプリングの相関に対して頑健である。