Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

あなたは、非常に難しい謎解き、例えば複雑な数学の問題やトリッキーな論理パズルを解こうとしているところだと想像してください。あなたには、博識ではあるものの、考えが速すぎると途中で行き詰まったり、おかしなミスをしたりすることもある、とても賢い友人（大規模言語モデル、またはLLM）がいます。人工知能の世界では、「テスト時スケーリング（test-time scaling）」と呼ばれる、成長著しいアイデアがあります。これは、友人に、最終的な答えを出す前に、もっと考える時間を与えたり、もっと多くの紙を用意したり、あるいはもっと多くのチャンスを与えたりすることを意味します。単に質問を一度だけして、最初に浮かんだ答えを受け取るのではなく、声に出して考えさせたり、問題を3通りの方法で試させたり、あるいは自分の間違いをチェックさせたりするのです。大きな疑問は、コンピュータに「考える時間」を与えることが、実際に彼らをより賢くするのか、それとも単に言葉を多く喋らせるだけなのか、ということです。

長い間、科学者たちは、AIに複数の回答を生成させ、その中から最善のものを選択させることで、あるいは解決策への異なる経路を探索させることで、これをテストしてきました。しかし、ここに落とし穴があります。誰もが少しずつ異なるルールで動いているのです。ある研究者は、AIに100通りの異なる回答を生成させて勝者を選ばせ、ある者は、文章の途中で考えを変えさせ、また別の者は、手がかりを探す探偵のように探索させます。誰もが異なる「プレイブック（作戦指示書）」を使用しているため、誰が本当に最も優れた成果を出しているのかを比較するのは非常に困難でした。それはまるで、レースカー、自転車、ロケットシップの速度を、どれだけの燃料を使ったかやどのようなコースを走ったかを知ることなく、単にどれだけ遠くまで行ったかだけで比較しようとするようなものです。この論文は、「待った、これらを混同するのはやめて、適切に測定し始める必要がある」と言い立ちます。

この論文の著者たち、すなわちケース・ウェスタン・リザーブ大学のチームは、本質的に、これらの思考機械をテストするための新しいルールブックを作成しています。彼らは、「テスト時スケーリング」は単一の概念ではなく、実際には3つの非常に異なる戦略であり、それらを別々に扱う必要があると主張しています。第一に「シングル・トラック（単一経路）」法です。これは、AIが一つの長い経路に沿って考え、例えば、進むべき道を間違えた時に立ち止まって修正しながら進むハイカーのように、進みながら自分自身を修正していく方法です。第二に「リーフ・レベル（葉レベル）」法です。これは、AIが全く異なる完成した回答を大量に生成し（例えば、パン屋が100個のパンを作るように）、最後に最善のものを選択する方法です。第三に「プレフィックス・レベル（接頭辞レベル）」法です。これは、木を探索する者のようなものです。AIは多くの異なる方向へと枝分かれしていき、どの枝が有望そうかを確認し、旅が終わる前に行き止まりを切り落としていきます。

この論文は、これらすべての方法を同じものとして扱うことは間違いであると指摘しています。もし単に「より多くの計算資源を使用した」と言うだけでは、そのパワーがどのように使われたのかが分かりません。著者らは、コスト（予算）の数え方と、最終的な回答の選び方が、モデル自体と同じくらい重要であることを示しています。例えば、AIがより多くの回答を生成しているからといって、必ずしも選ばれた最終回答がより良くなるわけではないことを彼らは発見しました。実際、もし勝者を選ぶ方法に欠陥があれば、回答を増やすことは、むしろ結果を悪化させる可能性があります。これは、100人の人々が映画に投票しているのに、最悪のものを選んでしまうような壊れた投票機を使っているようなものです。

この混乱を解決するために、チームは単に議論するだけでなく、実務的な作業を行いました。彼らは、数学、科学、論理パズルを網羅する200万件以上の「推論トレース（AIが問題を解く際に行った各ステップの記録）」という巨大な新しいライブラリを作成しました。そして、このライブラリを用いて27種類のオープンソースAIモデルをテストしました。彼らの結果は、AIに考える時間をより多く与えることは、正しい答えを見つけること（彼らはこれを「発見」と呼びます）には役立つものの、必ずしもその山の中から正しい答えを選び出す方法（これは「選択」と呼ばれます）をAIが知っているとは限らないことを示唆しています。彼らは、あるモデルにおいて、試行回数を増やすことで正解を見つける確率は約56%から82%に上昇した一方で、それらの試行のすべてが正解である確率（完全一致の確率）は大幅に低下したことを発見しました。これは、AIは宝を見つける能力は向上しているものの、どの地図が本物であるかを見極めることは難しくなっている、ということを意味しています。

また、この論文は、最終的なスコアだけを見て、それで終わりにしてはいけないことも強調しています。AIが本当に賢くなっているのかを理解するためには、それがどのようにテストされたのか、つまり、どのようなプロンプトが使われ、何回試行され、最終的な回答がどのように選ばれ、さらにはコンピュータがどのように実行されていたかという微細な詳細までを正確に知る必要があります。彼らは、これらの詳細なしでは、異なるAIモデルを比較することは「リンゴとオレンジを比較する」ようなものであると主張しています。彼らは、これらの「思考予算」を測定するための明確な枠組みを提供し、この膨大なデータセットを広く公開することで、混乱を収束させ、明確で公平かつ再現可能な結果によって、この分野全体が前進することを願っています。要するに、彼らは、真にスマートなAIを構築するためには、AIがどのように考えているかを推測するのではなく、推測ではなく「定規」を使って測定する必要があると伝えているのです。