あなたは、一連の超高性能なロボット（大規模言語モデル、通称LLM）が、巨大で多段階のパズルを解こうとしている様子を見ていると想像してみてください。そこであなたは、奇妙なことに気づきます。彼らは天才になったかと思えば、次の瞬間には自分の足に躓いて転んでしまうのです。通常の言い分は、「まあ、パズルによって難易度が違うからね」というものです。

しかし、この論文はこう言っています。「ちょっと待ってください！ それだけがすべてではありません」

研究者たち（モナッシュ大学のチーム）は、これらのロボットが単にパズルが難しいから失敗しているのではないと主張しています。そうではなく、彼らにはプランニング（計画立案）に関する全く異なる2つの脳のスキルがあり、それらのスキルの成長速度が完全に異なっているというのです。

機械の中に潜む「二つの脳」

プランニングを家を建てることに例えてみましょう。この論文は、LLMにはツールボックスの中に2つの明確に異なる道具があることを示唆しています。

1. 「レンガ職人」（操作的推論 / Operational Reasoning）: これは、目の前の一つのレンガを見て、「これはここにフィットするか？ ここに置いたら次はどうなるか？」と問う能力です。これは、局所的でステップ・バイ・ステップの論理に基づいています。
2. 「建築家」（構造的列挙 / Structural Enumeration）: これは、設計図全体を見渡して、「本当に屋根まで到達できるか？ 到達するために必ず通過しなければならないランドマークは何か？」と問う能力です。これは、全体像とゴールへの経路を見通す力です。

この論文の主要な発見は、これら2つのスキルは同一のものではないということです。「レンガ職人」のスキルを少し差し出せば「建築家」のスキルの不足を補える、というわけにはいきません。もしロボットが全体像を把握するのが苦手であれば、個々のレンガを置くのがどれほど得意であっても、それを救うことはできません。研究者たちはこれを「非補償的（non-compensatory）」な関係と呼んでいます。つまり、一方の強みが他方の弱点を修正することはできない、という意味です。

大規模化 vs 知能：壮大な実験

これを証明するために、チームは単にロボットにパズルを解かせたのではありません。彼らは**項目反応理論（IRT）**という厳格な「成績表」システム（学生が何を知っていて、何を知らないのかを正確にマッピングする高度な手法）を用いて、検証を行いました。彼らは3つの異なるロボット・ファミリー（Qwen、Gemma、Granite）を、3つの異なる条件下でテストしました。

• 直接回答（Direct）: 単に答えを出す。
• 思考の連鎖（Chain-of-Thought / CoT）: 「思考を声に出す」ように、ステップ・バイ・ステップで考える。
• スクラッチパッド（Scratchpad）: ロボットがメモを書き留めたり、行き止まりに当たった時にバックトラック（引き返し）したりすることを可能にする特別なツール。

ここにひねりがあります：
ロボットを大きく（パラメータ数を増やし）、あるいは「考える」時間を与えた（推論の痕跡を長くした）とき、**「レンガ職人」**のスキルは著しく向上しました。ロボットはレンガを置いたり、直近のステップを確認したりするのが非常に速くなりました。

しかし、**「建築家」**のスキルはどうだったでしょうか？ それは全く同じままだったのです。ロボットをどれほど大きくしても、あるいはどれほど長く「思考を声に出す」ことを許容しても、全体像を把握したり、ゴールへの正しい経路を見つけたりすることに関しては、依然として同じくらい苦手なままだったのです。

この論文は、「モデルが大きくなれば、あらゆる面で優れている」という考えを明確に否定しています。モデルの規模を拡大したり、推論ステップを追加したりするだけでは、「建築家」の問題は解決しないことを彼らは突き止めました。それは、画家に大きなキャンバスとより良い筆を与えたようなものです。彼らは花を描くこと（レンガ）は上手くなるかもしれませんが、それでも家を建てる方法（構造）は理解できないのです。

「選択式」と「自由記述」の魔法

この研究の中で、最も遊び心があり、かつ啓発的な部分の一つは、ロボットに対してどのように回答を求めたかという点です。

研究者がロボットに多肢選択式の質問（例：「答えはA、B、Cのどれですか？」）を与えたとき、ロボットは「建築家」のタスクにおいて天才のように見えました。しかし、答えをゼロから生成（自分で書き出す）しなければならなくなったとき、同じタスクにおける彼らのパフォーマンスはゼロ近くまで急落しました。

論文はこう示唆しています。「建築家」のタスクにおいて、ロボットは実は心の奥底では答えを知っているのですが、その知識を文章として書き出すことが極めて苦手なのです。それは、テストで正解を指差すことはできるのに、エッセイを書こうとするとフリーズしてしまう学生のようなものです。研究者はこのギャップを測定し、最も困難な「建築家」のタスクにおいて、選択式と自由記述の差が極めて大きい（彼らのスケールで最大0.82ポイント）ことを明らかにしました。

これが意味すること、そして意味しないこと

この論文は、「AIのプランニングを解決した！」とか「ロボットは壊れている」といった極端な主張はしていません。代わりに、私たちが「間違ったもの」を見ているのだと示唆しています。

• 証明したこと: 彼らは3つのロボット・ファミリーを用いて1,040種類の異なるプランニング・パズルからデータを測定し、明確な二次元構造を発見しました。彼らは、「レンガ職人」のスキルはサイズとともに向上するが、「建築家」のスキルは向上しないことを示しました。
• 否定したこと: プランニングとは、モデルが大きくなるにつれて改善される単一のスキルであるという考えを否定しました。また、単に「スクラッチパッド（メモを書く場所）」を与えるだけでは、「レンガ職人」のタスクには役立つものの、「建築家」の問題を魔法のように解決することはできないことも示しました。
• 「おそらく」の領域: 論文では、これらはオープンソースのモデルのみをテストしたものであると注釈しています。別の会社の秘密の超強力なモデルであれば、異なる種類の「建築家」の脳を持っている可能性を100%否定することはできません。しかし、テストされた3つのファミリーに基づけば、このパターンは一貫しています。

好奇心旺盛なティーンエイジャーへの教訓

あなたがビデオゲームのキャラクターを育成していると考えてみてください。レベル上げをして、キャラクターに強力なアーマーを着せています（モデルのスケールアップ）。すると、キャラクターは個々のパンチを避けること（操作的推論）には長けてきました。しかし、ボスの攻撃パターンを理解していないため、最終ボスを倒す方法はいまだに分かりません（構造的列挙）。

この論文はこう告げています。「同じアーマーを鍛え続けるのはやめなさい！ ボスを倒すスキルを身につけるには、全く別の種類のトレーニングが必要なのです」。

著者たちは、もしAIのプランニング能力を高めたいのであれば、単にモデルが大きくなるのを待ったり、思考時間を長くしたりするだけでは不十分だと考えています。私たちは、どのようにして「建築家」のスキルを具体的に教え込むかを考えなければなりません。なぜなら、現在のところ、サイズや時間だけでは突破できない壁に、彼らの脳はその部分でぶつかっているからです。