あなたは、非常にトリッキーな数学パズル、つまり長い論理の連鎖を解き明かさなければならない謎解きに挑んでいると想像してください。あなたには、とても賢い友人（大規模言語モデル、またはLLM）がいて、会話ができます。通常、この友人に質問すると、彼らはすぐに一つの答えを出してくれます。しかし、時として彼らは最初のステップでつまずき、最後まで同じ間違いを繰り返してしまうことがあります。

これを解決するために、科学者たちは主に2つのトリックを試してきました。1つ目は「リサンプリング」です。これは、友人にパズルを10回解かせ、最も多く現れた答えを選ぶ方法です。これは、10人の異なる人たちに同じ謎解きをさせ、誰が一致するかを見るようなものです。2つ目のトリックは、「検証器（ベリファイア）」を使うことです。これは、すべての答えを採点し、どれが最適かを判断する、非常に厳格な別人の教師を使う方法です。しかし、ここに落とし穴があります。10人に答えさせるだけでは、結局、少しずつ形が違うだけの「同じ間違った考え方」を10個手に入れるだけになってしまうことがあり、また、教師に頼るということは、その教師が混乱したり偏ったりしていないと信じなければならないということです。

「Refining Over Resampling」と題されたこの論文は、第3の道を提案しています。それは、AIに単なる「答え出し」ではなく、「自身の編集者」になるよう教えるという方法です。彼らは、AIにいくつかの異なる出発点のアイデアを生成させ、その後、各アイデアに対して、AIが一旦立ち止まり、自分の仕事を批判し、自分自身の間違いを見つけ、最終的な答えを出す前にそれを修正するようにさせます。これは、単に「もう一度最初からやり直して」と言うのではなく、「おい、待て。ステップ3で小さなミスをしたぞ。それを直してから先に進もう」と伝えるような、友人に「考えるためのセカンドチャンス」を与えるようなものです。

問題点：「エコーチェンバー」と「ハルシネーションの床」

研究者たちは、AIモデルに数学の問題を解かせる際、単に答えをどんどん生成させるだけで進めようとすると、奇妙なことが起こることに気づきました。彼らはこれを「多様性の飽和（diversity saturation）」と呼びました。例えば、瓶の中に入っているジェリービンの数を当てるよう、仲間に頼む場面を想像してください。10人に聞けば、10通りの予想が得られるでしょう。しかし、100人に聞くと、9割の人が、ある特定の「明白な（しかし間違った）手がかり」を見たために、互いに非常に近い数字を予想していることに気づくかもしれません。AIも同じことをしていました。AIは、新しい解決策を見つける代わりに、同じ誤った経路のバリエーションを生成することに脳のパワーを浪費し、同じ間違いを繰り返していたのです。

その上、「ハルシネーションの床（hallucination floor）」という問題もありました。たとえAIが心の奥底では正しい答えを知っていたとしても、書き出している最中に、計算ミスや論理の滑りによって、うっかり躓いてしまうことがあります。すべての推測は独立して行われるため、一つひとつの推測が同じ種類のミスに躓く可能性が等しく高いのです。単に多くの推測を求めることは、解決にはなりません。なぜなら、それは「躓き」を直すのではなく、単に「より多くの躓き」を提供しているだけだからです。

解決策：幅と深さ

著者たちは、「幅・深さリファインメント（Breadth-Depth Refinement）」と呼ぶ戦略を考案しました。これは、迷路を探索することに似ています。

**「幅（Breadth）」**は、広い網を投げることを意味します。単一の経路を歩むのではなく、AIはいくつかの異なる出発ルート（これを「ロールアウト」と呼びます）を生成します。これにより、彼らが誤ったアイデアの同じ「エコーチェンバー」に閉じ込められないようにします。

**「深さ（Depth）」**こそが真の魔法です。これらの異なるルートを手に入れた後、彼らはすぐにベストなものを選ぶわけではありません。代わりに、それぞれのルートを取り上げ、自己改善のループへと送り込みます。

1. 生成器（Generator）： AIが解法の次の部分を書き込みます。
2. 批評家（Critic）： AIが一旦停止し、厳格な編集者のように振る舞い、自分が今書いたものを読み、「待て、その計算は合っていない」とか「その論理は意味をなさない」と言います。
3. 修正器（Corrector）： AIは批評家の言葉を聞き、その特定の部分を書き直してエラーを修正します。

彼らは、すべてのルートに対してこのループを数回（これを「深さ」と呼びます）繰り返します。最後に、これらすべて磨き上げられ、自己修正された答えを集めて、投票を行います。投票で勝った答えが、最終的な答えとなります。

彼らが発見したこと

チームはこの手法を、AIME（アメリカ・インビテーショナル・数学検定）やMATH500データセットのような、非常に難しい数学コンテストを用いてテストしました。彼らは、この手法を従来の方法と比較しました。それは、一度だけ推測する（Greedy）、8回推測して多数決を取る（Majority Voting）、あるいは8回推測して「教師」となるAIに勝者を決めてもらう（Verifier-based Best-of-N）といった方法です。

結果は非常に有望でした。彼らの手法は、一貫して他の手法を上回りました。例えば、Qwen2.5-1.5Bという、より小さく能力の低いAIモデルを使用した際、従来の「教師」による手法はMATH500の質問に対して約**29.6%の正解率でした。しかし、この新しい「自己編集」メソッドを用いると、同じモデルが58.0%の精度へと跳ね上がりました。これはほぼ倍増です。AMC（アメリカン・数学コンペティション）においても、同じ小型モデルが25.0%から32.5%**へと向上しました。

より大きく賢いモデルを使用した場合でも、彼らの手法はスコアを向上させましたが、賢いモデルはすでに自力でかなりの成果を出していたため、改善の幅はやや小さくなりました。

なぜ機能するのか（そして何が違うのか）

ここでの重要な洞察は、AIは外部の教師に間違いを指摘してもらう必要はない、ということです。適切な構造を与えれば、AIは自分自身のミスを見つけることができるのです。論文は、「批評家」のステップが極めて重要であることを示唆しています。彼らが、AIに自分の仕事を明示的に批判させるプロセスを除去したところ、スコアは低下しました。単にAIに「もう一度やってみて」と言うだけでは不十分であり、「何を直すべきか」を教える必要があるのです。

また、この手法は「トレーニングフリー（学習不要）」です。彼らはAIに新しいことを教えたり、間違いを修正する方法の例を何千も示したりする必要はありませんでした。テスト中に、AIが持つ既存の知能をより賢い方法で利用しただけなのです。

トレードオフ

ただし、代償もあります。この方法には、より多くの計算能力と時間が必要です。AIが問題を解くたびに、生成、批評、書き直しを何度も繰り返すため、単に一度推測する場合よりも多くの「計算量（compute）」（コンピュータの脳のパワーを指す専門用語）を消費します。しかし、著者らは、追加で行われる作業量に対して、精度の向上が非常に価値があることを算出しました。特に、最初の一回で正しい答えに到達するのが難しい小型モデルにおいて、その傾向が顕著です。

結局のところ、この論文は、AIをより賢くしたいのであれば、単に「もっと頑張れ」と言ったり、より多くの推測を求めたりすべきではない、ということを示唆しています。むしろ、答えを提出する前に、考え、チェックし、間違いを修正するための「時間と構造」を与えるべきなのです。これは、「量（More）が重要」から「質（Better）が重要」への転換です。