🤖 AI

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

本論文は、難解な科学問題における小規模な指示チューニング済みLLMにおいて、生成された回答間の高い一致が必ずしも正解性と信頼性のある相関関係を持つわけではないため、多数決による自己一貫性が単一サンプル推論と比較して精度を低下させることが多いことを示している。

原著者： Utkarsh Bahuguna

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Utkarsh Bahuguna

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に難しい謎解きに挑戦しているところを想像してみてください。友人に答えを聞いてみましたが、彼らは確信が持てないようです。そこで、あなたは同じ謎を10回繰り返して尋ねました。もし彼が8回同じ答えを返してきたら、あなたは「よし、彼は正しいに違いない！」と思うでしょう。これは、現代のコンピュータの脳と呼ばれる「大規模言語モデル（LLM）」が賢くなろうとする仕組みに似ています。一度だけ推測するのではなく、彼らは問題を解くために何度も「思考」し、異なる思考の連鎖を生成させ、最も頻繁に現れた答えを選択するように指示されることがよくあります。この手法は「自己一貫性（Self-Consistency）」と呼ばれます。これは、群衆に投票を求めるようなもので、「多数決」がほとんどの場合で正しい答えを導き出すという考えに基づいています。

なぜこれが重要なのでしょうか？それは、これらのコンピュータの脳が、生物学から物理学まで、困難な科学的問題を解決するために使われ始めているからです。もし「群衆投票」のトリックがうまくいくのであれば、コンピュータにより長く、より深く考えさせることで、より良い結果を得られるはずです。しかし、もしその群衆が実は間違っていたらどうでしょう？もしコンピュータがある間違った答えに対してあまりにも自信を持ってしまい、何度も問いかけることで、かえってその間違いに深く固執させてしまうとしたら？これが、この論文が投げかける恐ろしい疑問です。研究者たちは、コンピュータに自分の答えに対して投票させたとき、実際に助けになるのか、それとも図らずも状況を悪化させてしまうのかを知りたいと考えました。

投票の逆効果（The Great Voting Backfire）

この研究において、研究者たちは2つの有名な小型コンピュータ脳（Qwen2.5-7BとLlama-3-8Bと呼ばれます）を用いて、「GPQA Diamond」という非常に難しいテストを実施しました。このテストには、生物学、化学、物理学に関する198問の大学院レベルの科学問題が含まれています。これは、大学生が汗を流すようなレベルの内容です。

チームは、これらのモデルに自分の答えに対して「投票」させたときに何が起こるかを調べるために、巧妙に計画された手法を用いました。彼らは各問題に対して最大64回の解答試行を生成させ、その後、最も一般的な答え（多数決）を採用しました。

ここにひねりがあります。多数決が逆効果になったのです。

賢くなるどころか、コンピュータの脳はほとんどの問題において、実際には精度が低下しました。

Qwenモデルの場合、投票法によって問題の**56.6%**で精度が低下しました。
Llamaモデルの場合、**65.7%**の問題で精度が低下しました。

このように考えてみてください。ある学生が難しい数学のテストを受けているとします。彼はある問題について確信が持てないので、「答えは何だろう？」と自分自身に10回問いかけます。もし彼が頭の中で偶然同じ間違いを8回繰り返してしまったら、「多数決」はその間違った答えを高い自信を持って選ぶように彼に指示してしまいます。問いかける回数が増えるほど、彼はその間違った答えに対して確信を深めてしまいます。論文ではこれを「バックファイア（逆効果）」と呼んでいます。こうした難しい科学問題においては、コンピュータの自信は「嘘つき」であることが判明したのです。

「オラクル（神託）」の夢 vs 現実

研究者たちは次に、実用的な問いを投げかけました。「いつ投票し、いつ一度だけ推測すべきかを判断するための、安価でスマートなフィルターを作れるだろうか？」

彼らは、完璧な「オラクル（正解を知っている魔法のガイド）」を想像しました。もしこのオラクルが各問題を見て、「この問題については64回投票せよ」とか、「あの問題については一度だけ推測せよ」と言えるとしたら、モデルのスコアは14〜17パーセントポイント向上していたはずです。これは大きな飛躍です！

しかし、研究者たちは、この魔法のオラクルの代わりとなる安価なシグナルとして、2つの現実的な「検証器なし（verifier-free）」のシグナルをテストしました。

合意ゲート（The Agreement Gate）：「もし答え同士が十分に一致していれば、投票を信頼せよ」
エントロピー・ゲート（The Entropy Gate）：「もしコンピュータが『不確実』に見えるなら（高エントロピー）、投票せず、もし『確信』を持っているように見えるなら（低エントロピー）、投票せよ」

結果はどうだったでしょうか？ 両方のゲートが失敗しました。
どちらの手法も、魔法のオラクルの持つポテンシャルには到底及びませんでした。実際、これらのゲートを使用しても、盲目的に64回投票した場合と比較して、スコアは全く改善しませんでした。「合意ゲート」はあまりにも役に立たず、差はほとんどありませんでした（0.002未満）。「エントロピー・ゲート」もまた、行き止まりでした。

なぜ起こったのか？

論文では、問題は単純ですが、もどかしいものであると説明しています。それは、**「自信（Confidence）は正しさ（Correctness）と一致しない」**ということです。

これらの難しい科学問題において、コンピュータモデルはしばしば間違った答えに固執してしまいます。64個の回答を生成するとき、彼らは同じ間違った答えを50回生成してしまうことがあります。「多数決」はその50票の誤答を見て、「これは正しいに違いない！」と判断します。コンピュータは自信満々に間違っているのです。

研究者たちがデータを調べたところ、Llamaモデルについて面白いことが分かりました。答えが最も一致していた問題は、実は最も精度が低い問題でした。コンピュータが自分自身と一致すればするほど、それは間違っている可能性が高くなります。それは、グループの友人たちが皆でひどい映画のプロットについて同意しているようなものです。彼らが一致すればするほど、そのプロットがデタラメであることを確信できるのです。

これが意味すること

論文は、これらの特定の難しい科学問題については、「より多く考えること」や「投票すること」が必ずしも役立つとは限らない、と結論づけています。

悪いニュース： もしコンピュータ自身の合意に基づいて、それが正しいかどうかを判断しようとするなら、騙される可能性があります。「多数派」はしばしば間違っています。
良いニュース： 私たちはなぜ失敗するのか（自信が正しさを追跡していないため）を正確に知っており、合意や不確実性をチェックするといった単純なトリックでは解決できないことも分かっています。
未解決の問い： 研究者たちは、最新の「推論ネイティブ（reasoning-native）」モデル（論理のために特別に設計された超スマートなモデル）についてはテストを行っていません。彼らはそれを未来の謎として残しています。おそらく、これらの新しいモデルなら、逆効果にならないかもしれません。まだ誰にも分からないのです。

要約すると、最も難しい科学問題において、コンピュータに自分の答えに対して投票させることは、しばしば間違いを確定させてしまうだけです。真の恩恵を得るためには、単に「より大きな声での投票」ではなく、もっとスマートな「検証方法」が必要なのかもしれません。

技術要約：自己一貫性が逆効果になる時

問題提起

複数の思考の連鎖（Chain of Thought）をサンプリングし、多数決によって最頻回答を選択する手法である「自己一貫性（Self-Consistency: SC）」は、大規模言語モデル（LLM）の推論を向上させるための低リスクな手法であると広く想定されている。一般的なヒューリスティックでは、サンプル数（ $N$ ）を増やして投票を行うことで、少なくとも単一サンプル（ $N=1$ ）と同等の結果が得られると考えられている。

本論文は、困難な科学的推論タスクにおいて、この仮定に異を唱えるものである。著者は、多数決が「逆効果（backfire）」となるシナリオ、すなわち、 $N$ を増やすことで問題ごとの精度が低下する状況（ $mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$ ）が存在するかを調査している。著者は、困難な問題において、モデルのサンプリング分布が誤った回答に集中している場合、追加のサンプルはエラーを修正するのではなく、むしろエラーを定着させてしまうのではないかと仮定している。さらに、本論文は、安価で検証器（verifier）を必要としない信号（合意レベルやトークン・エントロピーなど）が、どの問題に対して投票を行い、どの問題に対しては逆効果を避けるためにスキップすべきかを効果的に識別できるかどうかを問うている。

メソドロジー

本研究は、生物学、化学、物理学の大学院レベルの多肢選択式問題198問からなるGPQA Diamondベンチマークを用いた、事前登録された検証的研究デザインを採用している。

モデル: 指示チューニング済みの非推論型小型モデルである Qwen2.5-7B-Instruct と Meta-Llama-3-8B-Instruct の2つを評価した。
サンプリング・プロトコル: 各問題に対し、温度（temperature）0.7で $N=64$ 個の思考の連鎖を生成した。
実験の分割: データセットを、47個の探索的問題（仮説生成用）と151個の確認的問題に分割した。すべての仮説と閾値は、確認的分析の前にロックされ、Gitタグ付けされた。
指標:
- $MV\_acc(N)$ : モンテカルロ・サブサンプリングによって推定された、 $N$ サンプルにおける期待多数決精度。
- 逆効果（Backfire）: $MV\_acc(64) < MV\_acc(1)$ と定義される。
- ルーティング・ゲート: 最適な $N$ $N$ へ問題をルーティングするための、検証器を必要としない2つの信号をテストした。
  1. 多数決合意ゲート（Plurality Agreement Gate）: $k$ サンプルにおける合意割合が閾値 $\tau$ を超える場合にプローブ回答を返し、そうでない場合は $N=64$ をデフォルトとする。
  2. トークン・エントロピー・ゲート（Token Entropy Gate）: 平均的なパー・トークン・エントロピーが閾値を下回る場合にプローブ回答を返し、そうでない場合は $N=64$ をデフォルトとする。
オラクル境界（Oracle Bounds）: 理論的な上限を確立するために「グリッド・オラクル」を構築した。このオラクルは、正解を用いて、精度を最大化する特定の $N \in \{1, 2, 4, 8, 16, 32, 64\}$ に各問題をルーティングする。

主な結果

1. 逆効果の蔓延

集計的な指標は横ばい、あるいはわずかにプラスに見えるものの、多数決は個々の問題の大部分において精度を低下させている。

Qwen2.5-7B: 198問のうち 56.6% の問題で逆効果が発生した。
Llama-3-8B: 65.7% の問題で逆効果が発生した。
ドメイン別内訳: 化学が最も高い逆効果率（Qwenで66.7%、Llamaで68.8%）を示し、次いで物理学、生物学の順となった。
集計 vs 個別: 集計精度は緩やかな上昇（例：Qwenは0.342から0.369へ）を見せたが、これは広範な問題ごとの劣化を隠蔽している。最悪の単一問題では精度が約47ポイント低下しており、少数の問題が大幅に向上したことで、平均値が誤解を招くものとなっている。

2. 検証器フリー・ゲートの失敗

本研究では、固定予算の投票（ $N=64$ ）とオラクル上限との間の「ヘッドルーム（余地）」を回収できるか、安価な信号が有効であるかをテストした。

オラクルの潜在能力: グリッド・オラクルは、 $N=1$ に対して精度を 14ポイント（Qwen）および 17ポイント（Llama）向上させることができる。
ゲートの性能: どちらの合意ゲートも、エントロピー・ゲートも、固定 $N=64$ $N = 64$ のベースラインに対して精度を大幅に向上させることはできなかった。
- 合意ゲートは、Qwenに対して利用可能なヘッドルームのわずか 0.8% を、Llamaに対しては -1.6%（ $N=64$ に対する相対値）しか捉えられなかった。
- エントロピー・ゲートも同様に、有意なヘッドルームの回収に失敗した。
結論: これらのゲートは、投票が役立つ問題と、投票が有害となる問題を区別するメカニズムを提供しない。

3. メカニズム：確信度は正解性を追跡しない

本論文は、失敗の根本原因が 較正不全（miscalibration） であることを特定している。

合意 $\neq$ 正解性: 最も合意度が高いビン（モデルが最も自信を持っている状態）においてさえ、多数決の回答が正しいのはQwenで約52.5%、Llamaでは 28.6% に過ぎない。
非単調性: Llamaにおいては、最も合意度が高いビンでの精度が、最も低いビンの精度よりも実際に低くなっていた。高い自己一貫性は、これらの困難な問題における高い精度とは相関していない。
信号の失敗: 確信度（合意度や低エントロピー）が正解性と連動していないため、これらの信号に依存するゲートは、計算資源を効果的にルーティングすることができない。

意義と主張

本論文は、その貢献に関する以下の具体的な主張を行っている。

逆効果の定量化: 2つのモデルファミリーにおいて、困難な大学院レベルの科学ベンチマークにおいて、自己一貫性が大多数の問題で逆効果になることを示す、初の事前登録された再現可能な定量化を提供した。
安価なヒューリスティックの失敗: 自然な検証器フリーの信号（多数決合意およびトークン・エントロピー）が、逆効果を防いだり、理論的に得られる精度向上を実現したりするには不十分であることを示した。
メカニズムの特定: 失敗の原因が、困難な入力に対して確信度が正解性を追跡していないこと（高い合意は、自信に満ちた誤答を示すことが多い）にあることを確認した。
未解決の問い: 本論文は、「推論ネイティブ（隠れた思考の連鎖を持つ）」モデルについてはテストしていないことを明記している。これらのアーキテクチャが逆効果現象を回避できるかどうかは、中心的な未解決の問いである。なお、予備的な評価の試みは、トークン予算の制約により困難であった。

著者は、困難な推論タスクにおいて、実務家は自己一貫性が常に安全であると想定すべきではなく、また、モデル自身のサンプリング分布（合意度やエントロピーなど）が、それが有益であるかどうかを示すと期待すべきではないと結論付けている。失われた精度を取り戻すには、モデル自身の信号に頼るのではなく、訓練された検証器やプロセス報酬モデル（PRM）のような外部の信号が必要になる可能性が高い。