Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

想像してみてください。あなたの顔を映すだけでなく、もしあなたが話し続けたり、考え続けたり、問題を解き続けたりした場合に存在しうる、あらゆる「あなたの未来の姿」を映し出す魔法の鏡があるとします。多くの人々は鏡を見て、「正解にたどり着けたか？」と問いかけます。この論文は、より興味深い問いを投げかけます。「この鏡は、どれほど多くの『異なる』正解を見つけ出すことができるのか？ そして、それらの答えのうち、実際にテストを生き残れるものはいくつあるのか？」と。

著者らはこの概念を**ミラー理論（Mirror Theory）**と呼んでいます。AIを単に事実を蓄積する静的な百科事典として扱うのではなく、「リフレクション（反射・投影）」と呼ばれるプロセスを生き抜かなければならない、生きた鏡として扱うのです。ここでの「リフレクション」とは、単なる一瞬の光の閃きではなく、AIが問題解決のためのさまざまな方法を試行錯誤していく、長く曲がりくねった道のりのことを指します。

主な発見：大きいことは必ずしも善ではない

この論文の最大の驚きは、**「大きいことは必ずしも善ではない」**ということです。AIの世界では、通常、より多くの「脳の力」（パラメータ数）を持つモデルの方が自動的に優れていると想定されます。しかし、著者らは特定のセットアップを用いてこれを検証しました。彼らは3つの異なるバージョンのAI（Qwen2.5という名称）に対し、30個の数学問題を解かせました。そして、彼らに限られた「思考時間」（トークン数、つまり言葉の断片のようなもの）を与えました。

結果は以下の通りです：

• 思考時間を短く設定したとき（96トークン）、小さなモデルは苦戦しました。
• 思考時間を160トークンに増やしたとき、素晴らしいことが起こりました。中規模のモデルである15億パラメータのモデルがチャンピオンとなりました。このモデルは、より多くの正解を見つけただけでなく、さらに重要なことに、他のモデルよりも「より多くの異なる方法」でその正解を見つけ出したのです。
• 最大規模の30億パラメータのモデルは、この特定のテストにおいては中規模モデルよりも成績が振るいませんでした。いくつかの答えには正解したものの、同じような解法を何度も繰り返すという「マンネリ」に陥ってしまい、中規模モデルがより幅広い成功ルートを探索できた一方で、停滞してしまったのです。

この論文は、「能力」とは単にモデルがいかに大きいかではなく、限られた時間とエネルギーの予算内で、いかに多くの**実行可能なパス（正解かつ多様な解法）**に到達できるかであると示唆しています。

「実行可能パス・エントロピー（Viable Path Entropy）」スコアカード

これを測定するために、著者らは**実行可能パス・エントロピー（VPE）**という新しいスコアを考案しました。あなたがオーディション番組の審査員だと想像してください。

• 従来の方法（Pass@k）： 少なくとも一人の出場者が満点を取れたかどうかだけをチェックします。もし達成していれば金メダルを与え、そうでなければゼロとします。
• 新しい方法（VPE）： 2つのことをチェックします。
  1. 到達可能性（Reachability）： 正解となる解法を一つでも見つけ出せたか？
  2. 多様性（Diversity）： もし見つけたのであれば、どれほど「異なる種類」の正解を見つけたか？ 巧妙なショートカットを使ったのか、長い計算を用いたのか、あるいは図解を用いたのか？ それとも、ただ同じ答えを3回繰り返しただけなのか？

論文によれば、中規模モデル（1.5B）が最も高いVPEスコアを記録しました。それは単に正解を多く出しただけでなく、より創造的で、かつ明確に異なる方法で正解に到達したのです。最大規模のモデル（3B）は、たとえ賢かったとしても、この特定のルール下では「探索性」に欠けていたため、スコアが低くなりました。

この論文が否定していること

著者らは、これが何に該当しないかについても明確に述べています。

• これは「大きいモデルが常に勝つ」というルールではありません。実験は、条件が適切でなければ、より大きなモデルがより小さなモデルよりも「ミラー・ホライゾン（鏡の地平線／到達可能な成功範囲）」が狭くなる可能性があることを明確に示しています。
• これは、AIが永遠にスケールアップしていく様子を正確に予測する魔法の公式ではありません。著者らは、「パラメータが増えれば能力が増える」という単純な一本の線は存在しないと主張しています。代わりに、能力はゲームの具体的なルール（プロンプト、時間制限、検証器）に依存するのです。
• これは、単に一度正解を得ることだけを目的としたものではありません。論文は、たった一つの固定された方法で正解に辿り着くことは、多くの異なる有効な経路を見つけ出すことほど印象的なものではないと論じています。

信頼性はどの程度か？

著者らは、自分たちの結果がAIの謎を永遠に解明したと主張するような、過大な主張はしていません。彼らは、自分たちの結果を普遍的な宇宙の法則ではなく、特定の実験において**「測定され、観察されたもの」**として記述しています。

• 彼らは各30個の数学問題に対して、32個のサンプル（試行）を実行しました。
• 特定の「検証器（正しい数値を確認する厳格なチェッカー）」と、特定の「モードマップ（類似した解法をグループ化する方法）」を使用しました。
• 彼らは、自分たちの「モードマップ」が（解法の長さや単純な数学記号によって分類するなど）やや粗いものであることを認めており、将来のテストではより複雑なグループ化手法を用いる可能性があるとしています。
• 彼らは、自分たちの知見がミラー理論の考え方を**「支持」**するものであると示唆していますが、それが疑いようのない事実として「証明した」とまでは主張していません。彼らは、結果が測定手法として機能することを「示しており」、主張を「支持している」と述べつつも、異なるタスクやモデルを用いたさらなる検証の余地を残しています。

まとめ

AIを、教科書を暗記するロボットとしてではなく、限られた燃料を持つ「探検家」として考えてみてください。この論文は、最高の探検家とは必ずしも最も巨大な探検家ではなく、燃料を使って森の中にどれほど多くの「異なる正しい道」を見つけ出せるかという点においてであると示唆しています。燃料（トークン予算）を増やしてあげると（96から160へ）、中規模の探検家が突如として最も有能になり、より大きく重い探検家が見逃してしまった、豊かで多様な解法を見つけ出すようになるのです。

論文は、AIの知能を真に理解するためには、単に「正解に辿り着いたか？」と問うべきではないと結論づけています。むしろ、「どれほど多くの異なる、有効な方法で正解を見つけることができたのか？ そして、そのうちのいくつを実際に発見できたのか？」と問うべきなのです。それが、新たな「ミラー・ホライゾン（鏡の地平線）」なのです。