Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness

外部検証が不可能な領域において、複数のモデルからの回答を集約する「群衆の知恵」戦略は、誤答の相関性や自信スコアの信頼性不足により、推論コストを増大させても真実性の向上につながらず、むしろ共通の誤解を強化するだけであり、検証可能な領域とは異なる推論時スケーリングの限界を示している。

要約

この論文は、**「大勢の意見を集めれば、AI は正解に近づけるのか？」という疑問に、「いいえ、それは誤解です」**と答えた非常に重要な研究です。

タイトルを直訳すると**「合意（コンセンサス）は検証（バッチ）ではない：なぜ『群衆の知恵』の戦略が AI の真実性向上に失敗するのか」**となります。

以下に、難しい専門用語を排し、日常の例え話を使ってこの論文の核心を解説します。

---

🍎 核心となる話：「リンゴの味」の例え

想像してください。ある部屋に、5 人のプロのシェフ（AI モデル）がいます。彼らは皆、**同じ料理本（学習データ）**を読み、**同じ料理学校（トレーニング）**を出て、同じ味付けの基準で訓練されています。

ある日、彼らに「このリンゴは甘いですか？酸っぱいですか？」と聞きます。
実は、このリンゴは酸っぱいのに、彼らが読んだ料理本には「このリンゴは甘い」という間違った記述が載っていました。

1. 従来の思い込み（群衆の知恵）

私たちは一般的に、「一人が間違っても、100 人に聞けば正解が出るはずだ」と考えがちです（これを「群衆の知恵」と呼びます）。

• 期待： 「100 人に聞けば、酸っぱいと答える人が出てきて、正解にたどり着くはず！」

2. 論文が示した現実（AI の場合）

しかし、この研究によると、AI たちは全く違う反応をしました。

• 現実： 5 人のシェフ全員が、同じ料理本を見ていたので、全員が「甘い」と言い張りました。
• さらに、彼らに「自信はある？」と聞くと、全員が「100% 自信がある！」と答えました。
• 彼らに「他の人はどう思う？」と聞くと、全員が「他の人もきっと『甘い』と言うはずだ」と予測しました。

結果： 人数を増やしても、答えは「甘い」に固定され、「酸っぱい」という真実には決して近づきませんでした。 逆に、大勢が同じ間違いをすることで、「間違い」がより確実なものに見えてしまいました。

---

🔍 論文が突き止めた 3 つの重要なポイント

① 「同じ間違い」をするクセがある

AI モデルたちは、人間のように「経験」や「視点」がバラバラではありません。彼らは同じデータで学習し、同じ仕組みで動いています。

• 例え話： 5 人のシェフが全員、同じ間違ったレシピ本を持っていれば、どんなに人数を増やしても、全員が同じ間違った料理を作ってしまうのと同じです。
• 結論： AI の間違いは「バラバラ」ではなく、**「強く連動している」**ため、多数決をとっても間違いが相殺されず、むしろ増幅されてしまいます。

② 「自信」は「真実」の指標ではない

AI に「この答え、自信ある？」と聞くと、高い確率で「ある！」と答えます。しかし、研究によると、この「自信」は**「正解かどうか」ではなく「他の AI も同じことを言うかどうか」**を反映しているだけでした。

• 例え話： 全員が「甘い」と言っているリンゴについて、「自信ある？」と聞けば、誰しも「もちろん！」と答えます。それはリンゴが本当に甘いからではなく、**「周りが全員そう言っているから」**です。
• 結論： AI が「自信満々」であっても、それは「大勢が同じ間違いをしている」ことを示しているだけかもしれません。

③ 「未来を予測する」のは得意だが、「真実を見抜く」のは苦手

AI は「他の人がどう答えるか」を予測する能力（社会的予測）は非常に高いですが、「何が本当か」を見抜く能力（真実性の検証）は低いです。

• 例え話： AI は「明日の天気予報で、他の人が『晴れ』と言うだろう」と予測するのは得意ですが、「本当に晴れるか」を自分で検証して見抜くのは苦手です。
• 結論： AI に「みんなはどう思う？」と聞けば正解に近づきますが、「これが本当か？」と聞かせても、間違った答えを信じてしまうのです。

---

🛠️ じゃあ、どうすればいいの？

この論文は、「計算資源（コンピューターの力）をただ増やせば、AI は賢くなって真実を語るようになる」という考えは、検証がない分野では通用しないと警告しています。

• 数学やコードの場合： 「答えが合っているか」を自動でチェックするプログラム（検証者）があるため、何回も試して正解を見つけられます。
• 真実や意見の場合： 「正解」を自動でチェックするものがいないため、AI 同士で話し合っても、「間違った合意」を強化するだけで終わってしまいます。

解決策：
AI に真実を語らせるには、単に「何回も聞いてみる」のではなく、**「外部的な事実確認（検索ツールを使う、人間に確認する、別のデータソースを参照する）」**が必要です。

---

💡 まとめ

この論文が伝えたかったことは、とてもシンプルです。

「AI たちが全員同じことを言っても、それが『真実』である保証はありません。むしろ、それは『全員が同じ間違いをしている』サインかもしれません。」

AI の力を最大限に活かすためには、単に「大勢の意見を集める（多数決）」のではなく、**「その意見が正しいかどうかを、外部の事実でチェックする（検証）」**という仕組みが不可欠だということです。

技術概要

論文「Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論コストを増大させることで「真実性（Truthfulness）」を向上させられるかという問いに対し、検証器（Verifier）が存在しない領域では**「合意（コンセンサス）の形成は真実の検証にはならない」**という結論を示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：推論時スケーリングの限界

近年、推論時に計算リソースを割いて複数の候補を生成し、それらから最適なものを選ぶ「推論時スケーリング（Inference-time scaling）」が、数学やコード生成などの外部検証が可能な領域で高い効果を発揮しています（例：Self-Consistency）。

しかし、事実確認や常識推論など、外部検証器が存在しない領域において、同様の手法（多数決、信頼度重み付け、Surprisingly Popular アルゴリズムなど）を用いて「真実性」を向上させられるかという疑問が生まれました。
直感的には、「群衆の知恵（Wisdom of Crowds）」の理論（個人の誤りが互いに相殺されれば真実に近づく）が適用できるはずですが、本研究はこれが LLM には適用できないことを実証しました。

2. 手法と実験設定

2.1 評価対象

• モデル: 5 つのオープンソース指令調整モデル（Gemma-3, GPT-oss, Qwen などのファミリー、パラメータ数 4B〜235B）。
• ベンチマーク: 検証器が存在しない 4 つのタスク。
  • Com2Sense: 常識推論（二値）。
  • Humanity's Last Exam (HLE): 専門家レベルの質問（二値構造のものに限定）。
  • BoolQ: 事実確認クイズ（二値）。
  • Predict-the-Future: 著者が作成した予測タスク（モデルの知識カットオフ後の出来事を予測し、後に事実確認可能）。
• サンプリング: 各質問に対して、温度パラメータ $T \in \{0.7, 1.0\}$ で 1 モデルあたり 25 回独立サンプリング。モデル間エントロピー（Inter-model crowd）では 5 モデル合計 125 票を収集。

2.2 評価した集約戦略（Aggregation Strategies）

以下の 5 つの内部信号に基づく選択ルールを評価しました。

1. 多数決（Majority Vote）: 最も多い回答を選択。
2. 最高信頼度（Highest Confidence）: モデル自身が最も自信を持っている回答を選択。
3. 信頼度重み付け投票（Confidence-Weighted Vote）: 信頼度で重みをつけた投票。
4. 予測人気度重み付け（Prediction-Weighted Vote）: 回答の予測人気度で重み付け。
5. Surprisingly Popular (SP): 実際の支持率と予測支持率の差（驚き）が大きい回答を選択。

2.3 対照実験（Negative Control）

モデルが知識を持たない状況での相関を測定するため、ランダムな ASCII 文字列を提示し、強制的に多肢選択（A/B/C/D）させるタスクを実施しました。このタスクには正解が存在しないため、モデル間の一致は「共有知識」ではなく「構造的な相関（Inductive Bias）」によるもののみを示します。

3. 主要な結果

3.1 集約による真実性の向上は失敗する

• 精度の停滞: 推論コストを単純サンプリングの 25 倍まで増やしても、どの集約手法も単一サンプリングのベースラインよりも一貫して精度を向上させることはできませんでした。
• 予測タスクでの失敗: 知識カットオフ後の出来事を予測するタスクでは、すべての手法が偶然の確率（Chance）レベルの精度に留まりました。
• コンセンサスと正解の乖離: 多くの回答が一致（コンセンサス）しても、それが正解である保証はありません。むしろ、誤った回答が一致することで、誤った自信が増幅される現象が観察されました。

3.2 誤りの強い相関（Correlated Errors）

群衆の知恵が機能する前提は「誤りが独立している（弱く相関している）」ことです。しかし、LLM では以下の理由により誤りが強く相関していました。

• 共有された事前分布: 重なり合う学習データ、類似した最適化目的、ポストトレーニング（RLHF など）のインセンティブにより、モデルは共通の「盲点」や「先入観」を持っています。
• 構造的な相関: ランダム文字列タスク（正解なし）においても、異なるモデル間で最大 0.35 の相関が観測されました。これは、相関が「共有された事実知識」だけでなく、モデルのアーキテクチャや学習バイアスに根ざした構造的なものであることを示しています。
• 温度サンプリングの限界: 温度を上げても、モデルは表面的な多様性しか生み出せず、根本的な仮説（誤った信念）は変化しませんでした。

3.3 内部信号の失敗理由

• 信頼度（Confidence）の誤り: モデルが報告する「自信」は、正解度よりも「他者がどう答えるか（合意）」と強く相関していました。自信が高い回答ほど、誤っている可能性が高いケース（特に難しいタスク）が多く見られました。
• Surprisingly Popular (SP) の失敗: SP アルゴリズムは「少数の専門家が真実を知り、多数派の誤りを予測できる」構造を前提としています。しかし、LLM の集団ではこの構造が安定して存在せず、SP シグナルはタスクによって真実と正解の方向が逆転したり、無効になったりしました。

3.4 社会的予測と真実検証の分離

モデルは「他のモデルが何を言うか（社会的予測）」を、「何が真実か（真実検証）」を予測するよりもはるかに正確に予測できることが判明しました。

• 集約手法の多くは「社会的予測」に基づいており、群衆が間違っている場合、これらのシグナルは誤った方向へ導くことになります。

4. 主要な貢献

1. 検証器不在領域での集約の限界の特定: 推論時スケーリングは検証器がある領域では有効だが、検証器がない領域では「共有された誤解」を増幅するだけであり、真実性を向上させないことを実証した。
2. 誤りの相関構造の解明: 異なるモデルファミリー間でも誤りが強く相関しており、その原因が共有知識だけでなく、学習データとアーキテクチャに起因する「共有された事前分布（Shared Priors）」であることを示した。
3. 内部シグナルの非適合性: 信頼度、予測人気度、驚き（Surprise）などのシグナルは、正解性ではなく「合意」を追跡することを示し、これらが検証器の代替にはなり得ないことを論じた。
4. 新しい対照実験の提案: 正解が存在しないランダム文字列タスクを導入し、モデル間の相関が知識に依存しない構造的なものであることを証明した。

5. 意義と結論

結論

「合意（Consensus）は検証（Verification）ではない」。
検証器が存在しない領域において、単にサンプル数を増やしたり、複数のモデルを投票させたりするだけでは、真実性を向上させることはできません。LLM の誤りは独立ではなく強く相関しているため、集約はノイズを消去するのではなく、共通の誤りを増幅してしまいます。

今後の方向性

真実性をスケーリングするためには、以下のいずれかが必要です。

1. 外部検証器の導入: 検索、ツール実行、人間によるフィードバックなど、外部からの事実確認を行う。
2. 真の認識的多様性の確保: 完全に異なるデータや目的で学習させたモデルの組み合わせ（ただし、これ自体が新たな検証やバイアスの打破を伴う）。
3. 明示的な検証器の学習: 外部ラベル付きデータで訓練された検証器の構築。

社会的インパクト

この研究は、LLM の信頼性を高めるために「計算リソースを投げる（Throwing compute at the problem）」という単純なアプローチが限界に達していることを示しています。真実性を保証し、安全性を強化するためには、単なるサンプリングの増大ではなく、検証メカニズムの構築や誤りの相関を断ち切るための介入が不可欠であるという重要な示唆を与えています。