あなたは、賢明で博識なロボットにゲームの遊び方を教えようとしていると想像してください。あなたは、あらゆる本が収められたライブラリをロボットに与えました。そのロボットは詩を暗唱でき、複雑な数学の問題を解き、コードを書くこともできます。しかし、いざあなたがそのロボットを座らせて、三目立て（Tic-Tac-Toe）のような単純なゲームをさせようとすると、ロボットは愚かなミスをし始めます。一見良さそうに見える手を選びますが、その5手後にゲームに負けてしまうのです。これは**大規模言語モデル（LLM）**の世界です。非常に賢く、会話や推論ができるAIですが、一つの悪い判断がすべてを台無しにしてしまうような、一連の意思決定を行う際に苦戦することがあります。

研究者が投げかけている大きな疑問は、「なぜこのようなことが起こるのか？」ということです。ロボットはその瞬間のステップを考えるのが下手なのでしょうか？ それとも、本の中で見たゲームを思い出そうとして、「幻覚（ハルシネーション）」を起こしているのでしょうか？ これを知るために、科学者たちは逐次的意思決定（sequential decision-making）を用います。これは、単に「一つの選択の結果が次の選択の盤面を変える、一連の選択を行うこと」を意味する専門的な言い回しです。彼らは、チェスやチェッカーのようなゼロサムゲームを用いてテストを行います。これらのゲームは、一方のプレイヤーの勝利がもう一方の敗北となるため、テストに最適です。なぜなら、ルールが厳格であり、数学を用いて何が「完璧な」手であるかを正確に知ることができるからです。もしロボットが、三目立てにおいて完璧なコンピュータプログラムに勝てないのであれば、その脳には何かが壊れていることになります。

推論のボトルネックというパズル

この研究において、チェコ技術大学プライドの研究者たちは、あえて挑むことにしました。彼らは、効率的で小規模なモデルから、GPT-5.4やGemini 3.1 Proのような「フロンティア」級の巨大モデルに至るまで、利用可能な最もスマートなAIモデルを取り上げ、三目立て、ニム（Nim）（石の山を使ったゲーム）、**コネクトフォー（Connect Four）**といった単純なゲームに挑戦させました。

結果は、AIにとって少し恥ずかしいものでした。競技レベルの数学問題を解ける最も高度なモデルであっても、最適ではないプレイを見せました。人間の子供が午後だけで決して負けないように学べる三目立てにおいて、これらのAIモデルは100手につき4回から12回のミスを犯しました。コネクトフォーでは、「フロンティア」モデルが標準的なコンピュータの対戦相手に対してほとんどすべてのゲームで敗北し、本来40手ほど続くはずのゲームが、最初の10手以内に崩壊してしまうこともよくありました。

研究者たちは疑問に思いました。「AIはゲームを忘れてしまっているのだろうか？」 おそらく、トレーニングデータで見かけた戦略を思い出そうとしているものの、ゲームが少し異なっているために混乱しているのではないか、と考えたのです。これを検証するために、彼らはAIに対して「トリック」を使いました。ゲームの仕組み自体は全く同じに保ちながら、その上の「スキン（外見）」だけを変えたのです。三目立てを、合計が15になる数字を3つ選ぶことで勝利する「マジック・スクエア」に変えたり、川を渡るための「物語」にしたりしました。

ここで驚きの事実があります。AIの成績は、良くなったり悪くなったりすることはありませんでした。 ゲームが数学パズルや物語に偽装されていても、AIは以前と同じ数のミスを犯したのです。これは、問題が「記憶している戦略を忘れている」ことや「ルールを理解できていない」ことではなく、AIがその瞬間の推論におけるボトルネックを抱えていることを示唆しています。それは、歴史の教科書を暗唱でき、論理も完璧に理解している学生が、いざ目の前の単純な論理パズルを解こうとすると、現在の状況を正しい次のステップに結びつけることができずにフリーズしてしまう状態に似ています。AIが「知っていること」と、変化する環境の中で「実行できること」の間にあるギャップは、実在し、かつ頑固なものです。

解決策： 「内省的」なノート

これらの巨大なAIモデルを再学習させることは、コストがかかりリスクも高いため（コードの書き方や言葉の話し方を忘れてしまう可能性があるため）、研究者たちはこう問いかけました。「AIの脳を作り変えることなく、助けることはできないだろうか？」

彼らは、REAPER（Reflective Experiential Agent with Periodic Extraction of Rules：定期的ルール抽出を伴う内省的経験エージェント）と呼ばれる新しいフレームワークを構築しました。REAPERを新しい「脳」としてではなく、AIの隣に座る賢いノートと厳しいコーチだと考えてください。

仕組みは以下の通りです：

1. ゲーム： AIが対戦相手とゲームを行います。
2. 内省（Reflection）： ゲームが終わった後、AIは単に最終スコア（勝ち／負け）を見るだけではありません。代わりに、REAPERシステムはAIに対し、自身が行ったすべての動きを振り返るよう強制します。「あの時の盤面において、この手は適切だったか？ これは勝利に貢献したか、それとも損害を与えたか？」と問いかけるのです。
3. クレジット割り当て（Credit Assignment）： これが魔法の部分です。通常のゲームでは、負けたときにすべての手が悪かったと考えるかもしれません。しかし、REPERはこう言います。「待て、君は最後に負けたとしても、中盤では素晴らしい手を打っていたぞ」。たとえ最終的な結果が敗北であっても、良い手には称賛を、悪い手には非難を与えるのです。
4. ルールブック： 数ゲームごとに、REPERはこれらの内省内容をまとめ、自然言語による単純なルールとして書き留めます。単に「この特定の場所では手Xが良かった」と覚えるのではなく、「相手が角を脅かしてきたら、ブロックせよ」といった形で学習します。
5. ループ： AIは再びゲームをプレイしますが、今度は手を打つ前に、自分自身のルールが書かれたノートと過去のミスを読み込みます。

結果： 強くなるのではなく、賢くなる

研究者たちは、これをGPT-5 nanoという小型で効率的なAIモデルを用いて三目立てでテストしました。結果は明白でした。

• ベースライン： ノートなしの状態では、AIは多くのミスを犯し、プレイが下手でした。
• 「初期の試み」： 単純なバージョンのノートを試みましたが、形式が乱雑すぎて、AIはフォーマットエラーを繰り返しました。
• REAPERの成功： 内省とルール抽出の完全なシステムを用いることで、AIのパフォーマンスは飛躍的に向上しました。完璧な相手に対して可能な最高の結果である「引き分け」を、改善されたベースラインの81.8%に対し、約**86.8%**の割合で達成し始めたのです。

決定的なのは、AIを再学習させる必要がなかったことです。人間が過去の試合を研究して上達していくのと同じように、AIは純粋に自身の経験から学習しました。研究者たちは、この手法が単にAIのプレイを良くしただけでなく、意思決定に使う言葉（トークン）を減らし、より明確な戦略に従うことで、AIをより効率的にしたことも発見しました。

これが意味すること

この論文は、ゲームにおけるAIの問題は、ルールを理解する知能が足りないのではなく、一連の行動を最終的な結果へと結びつけることに苦労しているのだということを示唆しています。AIに自らのミスを振り返り、特定のゲームから一般的なルールを抽出する方法を教えることで、コードを一行も書き換えることなく、不器用なプレイヤーを戦略的なプレイヤーへと変えることができるのです。

研究者たちは、これは単純なゲームを用いたシミュレーションであることを慎重に注記しています。これがすべてのAIの問題を解決したり、複雑な現実世界のシナリオで完璧に機能したりすると主張しているわけではありません。しかし、これは極めて重要な点を証明しています。「経験の記憶」と「自己内省」は強力なツールであるということです。もし私たちが、AIに「自分が何をしたか」を振り返り、そこから学び、レッスンを書き留める方法を教えることができれば、単に空白の中で「思考」するだけでなく、周囲の世界から実際に学ぶことができるエージェントを構築できるかもしれません。