あなたは、とても難しいパズル（複雑な数学の問題や、コードを書くことなど）を解こうとしているところだと想像してください。あなたには、超スマートなロボットの友人（大規模言語モデル）がいて、助けてくれます。しかし、ここには一つ落とし穴があります。もしあなたが全く同じ質問を、全く同じ方法でロボットに10回繰り返したとしたら、ロボットは、見た目はほとんど同じだが、微妙に異なる10個の答えを返すかもしれません。それらはすべて同じ方法で間違っていたり、あるいは同じ解決策の狭い領域で行き詰まったりしているかもしれません。これは、友人に何度も道を聞いているのに、友人がループ思考に陥っているために、毎回同じ間違いの角を曲がってしまうようなものです。

これを解決するために、科学者たちは「スケーリング・インファレンス（推論のスケーリング）」と呼ばれるトリックを発見しました。単にロボットに一度聞くのではなく、何度も問いかけ、その中から最高の答えを選び出すのです。しかし、これが機能するためには、ロボットがただ同じ道を何度も繰り返すのではなく、異なる経路を探索する必要があります。この論文では、次のような特定の問いを掘り下げています。「どうすれば、回答の質を落とすことなく、ロボットの回答をもっと多様にできるか？」研究者たちは、ロボットの思考に対して、わずかに異なりつつも、依然として関連性のある「ヒント」を与えることで、ロボットははるかに広い可能性の世界を探索し、正解にたどり着く確率が大幅に高まることを発見しました。しかし、彼らはある罠にも気づきました。もし試行された答えの中で「最も人気のある」答えを選ぼうとすると、新しい経路を探索するために行ったあらゆる努力が実は消えてしまい、結果として改善が見られなくなる可能性があるのです。

---

グレート・アイデア・ハント：なぜ混ぜ合わせることがロボットの思考をより良くするのか

さて、あなたには超スマートなAIロボットがあります。物語を書いたり、数学を解いたり、コーディングをしたりするのが得意です。しかし、難しい質問を投げかけると、時々、彼は決まったパターンに陥ってしまうことがあります。それはまるで、自分の尻尾を追いかけている犬のようなものです。同じ場所をぐるぐると回り続け、同じ種類の答えを何度も生成し続けてしまいます。AIの世界では、これを「多様性の欠如」と呼びます。

この論文の著者たちは、次のように考えました。「もし、ロボットにその円の中から抜け出すよう強制したらどうなるだろうか？ もし、同じ質問を投げかける際に、その聞き方をほんの少しだけ変えたらどうだろうか？」例えば、「あなたは厳格な数学教師だと想像してください」と言ったり、「クリエイティブなライターのように考えてください」と言ったり、あるいは単に問題の言い回しを少し変えたりしてみるのはどうでしょうか。これは「サンプリングの多様性」と呼ばれます。

大きなアイデアはシンプルです。もしロボットに問題を解くための100通りの異なる方法を試させ、その100通りが互いに非常に異なっているならば、そのうちの少なくとも一つが正解である確率は格段に高まります。これが「Best-of-N」戦略です。多くのことを試し、その中から最良のものを選びます。しかし、ここで極めて重要な問いがあります。「どうすれば、それら100の試行を、愚かなものや間違ったものにすることなく、多様にできるのか？」ということです。

スウィートスポット：退屈すぎず、奇妙すぎない

著者たちは、完璧な「押し（ナッジ）」を探すための探索を行いました。彼らは、ロボットの思考を揺さぶるさまざまな方法をテストしました。

まず、彼らは無関係なアイデアを試しました。例えば、ロボットに数学の問題を解かせようとしているのに、先にケーキの焼き方について考えるように指示するようなものです。これは単なるノイズです。それは役に立ちません。ロボットは混乱し、回答の質は低下します。

次に、全く同じ繰り返しを試しました。同じ言葉を使って、全く同じ質問を10回繰り返すことです。すると、ロボットは10回とも同じ答えを返してきます。新しいアイデアもなければ、結果の向上もありません。

しかし、そこで彼らは**スウィートスポット（最適解）**を見つけました。彼らは「タスクに沿った（task-aligned）」アイデアを与えることを試みました。数学の問題であれば、「問題を小さなステップに分解して考えてください」とか、「特定の定理を使うことを検討してください」といった具合です。これらのヒントは、ロボットに新しい経路を探索させるほど十分に異なっていましたが、同時に数学の問題自体についても依然として関連性がありました。

結果は驚くべきものでした。これらの「ちょうど良い」ヒントを使用したとき、ロボットの成功率は大幅に上昇しました。例えば、HumanEvalと呼ばれるコーディングテストにおいて、「Dual」（第2のロボットがアイデア生成を助ける手法）を用いた場合、通常の問いかけと比較して成功率が**4.7%向上しました。数学テストのMATHでは、改善率は8.2%**でした。推論テストのMMLU-Proでは、**10.8%**も跳ね上がりました。

この論文は、「多様性と忠実度のトレードオフ（diversity-fidelity trade-off）」が存在することを示唆しています。新しい経路を生み出すのに十分な違い（多様性）が必要ですが、回答の質（忠実度）を損なうほど異なっていてはいけません。それはスープにスパイスを加えるようなものです。少し加えれば美味しくなりますが、加えすぎれば食べられなくなり、スパイスが全くなければ退屈な味になります。

罠：なぜ「投票」が成功を台無しにするのか

ここで物語にひねりが加わります。研究者たちは、最終的な答えをどのように選ぶかについても調査しました。通常、100個の異なる答えがある場合、「最も多くの人が同意しているものはどれか見てみよう！」と考えがちです。これは**多数決（majority voting）**と呼ばれます。もし100台のロボットのうち51台が「答えは42です」と言えば、42が正しいはずですよね？

論文はこう言っています。「ちょっと待ってください。」

彼らは、もし多数決を使用した場合、多様性を生み出すために行ったあらゆる努力が無駄になる可能性があることを数学的に証明しました。なぜでしょうか？ なぜなら、多数決は「最も一般的な答えが正解である場合」にのみ機能するからです。しかし、もし回答を多様にさせた場合、票は分散してしまう可能性があります。正解は唯一無つで素晴らしいものかもしれませんが、もしそれが100回の試行のうち5回しか現れず、誤った答えが20回現れたとしたら、多数決は誤った方を選んでしまいます。

MATHデータセットを用いた実験において、彼らは、多数決を使用した場合、高度な多様性テクニックは効果を発揮せず、時には状況を悪化させることさえあることを発見しました。この論文は、単一の正解を見つけようとしている場合、多数決を優れた戦略として明確に否定しています。それは、全員がユニークであろうとしている陪審員のようなものです。もし全員が異なるものに投票していたら、決して評決に達することはできません。

この魔法はいつ機能するのか？

研究者たちは、このトリックを見つけただけで終わりませんでした。それが通用するかどうかを確認するために、あらゆる場所でテストを行いました。

• 温度（Temperature）: 彼らは、ロボットが「熱い（非常にランダムな）」状態と「冷たい（非常に厳格な）」状態の両方でテストしました。多様性のテクニックはどちらの場合でも機能し、設定されている温度による効果に加えて、さらなるブーストを与えました。
• 思考ステップ（Thinking Steps）: 彼らは、ロボットが自身のステップを順を追って説明する「Chain-of-Thought（思考の連鎖）」を用いてテストしました。これらのテクニックは依然として機能し、難しいコーディングテストにおいて**7.4%**のブーストを与えました。
• 誰が「思考者」か？: 彼らは、アイデアを生成するために異なるロボットを使用しました。その結果、よりスマートな「思考者」ロボットを使うことで、システム全体がより良くなることがわかりました。
• アイデアの数: 注入されるユニークなアイデアが多いほど、結果は良くなりました。100通りの異なるアイデアを使用する方が、わずか1つのアイデアを使用するよりも優れていました。

しかし、彼らはまた、このトリックは比較的弱い（weaker）ロボットに対して最も効果的であることにも気づきました。もしロボットがすでに超スマート（最大級の強力なモデルなど）であれば、追加のブーストは小さくなります。それは、天才に地図を渡すようなものです。彼らはおそらくすでに道を知っているでしょう。しかし、賢いが天才ではないロボットにとっては、その地図は非常に大きな助けとなります。

結論

この論文は、AIロボットから最大限の成果を引き出そうとするすべての人へのガイドブックです。それは私たちに次のように教えてくれます。

1. 多様性は良いことである: ロボットに異なるアプローチを試させることは、正解を見つける助けになります。
2. 「押し（ナッジ）」には注意せよ: 与えるヒントは関連性のあるものでなければなりません。あまりに奇妙すぎると失敗し、あまりに退屈すぎると効果がありません。
3. 単に投票してはいけない: 単一の正しい答えを見つけたいのであれば、単に最も人気のあるものを選んではいけません。すべての多様な試行の中から、単一の最良のものを選んでください。
4. これはツールであり、魔法の杖ではない: これは、計算リソースの予算があり、かつ、まだ完璧ではないモデルに対して使用する場合に最も効果を発揮します。

著者たちは単に推測したのではなく、何百もの実験を行い、それを裏付ける数学的理論を構築しました。彼らは、問いかけ方を慎重に混ぜ合わせることで、より大きな、より高価なロボットを作る必要なく、AIをよりスマートに、より速く、より信頼性の高いものにできることを示しました。それは、時には、100通りの異なる方法で問いかけることこそが、正しい答えを見つけるための最善の方法であるということを思い出させてくれます。