パズルを解こうとするたびに、タイマーが止まった瞬間にルールを忘れてしまう世界を想像してみてください。今日、難しい数学の問題を解いたとしても、明日には全く同じ問題に直面しても、またゼロからやり直しになります。これは、多くの人工知能（AI）エージェントにとっての現在の現実です。彼らは「凍結された」脳、つまり起動時に固定された強力なモデルに基づいています。彼らは、脳の配線を変えることはコストがかかり、リスクが高く、時間がかかるため、リアルタイムで間違いから学ぶことができません。しかし、現実の世界では、これらのエージェントは絶えずフィードバックを受けています。顧客が「それはうまくいきました！」と言ったり、人間が間違いを修正して「これが正しいやり方です」と教えたりします。科学者たちが問いかけている大きな疑問は、「この凍結された脳を持つエージェントに、脳自体を一切変えることなく、自身の過去の経験という『カンニングペーパー』を読ませるだけで、賢くさせることはできるのか？」ということです。

「Learning on the Job（仕事中の学習）」と題されたこの論文は、巧妙な回避策を探求しています。研究者たちは、AIの脳を書き換えようとする代わりに、エージェントに外部のノートブック、つまりメモリシステムを与えました。エージェントはタスクを終えると、その結果（勝ったのか負けたのか？）を確認し、短い自然言語のルールをこのノートブックに書き込みます。例えば、「もし顧客が返金を求めてきたら、まず日付を確認すること」といった具合です。その後、エージェントは同様の状況に直面したとき、行動を起こす前にノートブックをチェックします。この研究では、AIが複雑なルールをナビゲートして顧客を助けなければならない銀行シミュレーションを用いてテストを行いました。その結果、単に自分自身のメモを読むだけで、エージェントは業務が大幅に向上することがわかりました。「勝ち／負け」の信号だけで学んだエージェントは成功率が1.6倍向上し、詳細な修正から学んだエージェントは2.6倍向上しました。さらに素晴らしいことに、あるタイプのAIによって書かれたメモは、全く異なるタイプのAIにとっても有用であり、この「経験」が図書室の本のように共有できることを証明しました。

問題点：AIの健忘症

今日の最も高度なAIエージェントを、非常に有能だが非常に忘れっぽいインターンだと考えてみてください。あなたは彼らを雇い、彼らに参照するための膨大なポリシー集（この研究では約700の文書）を与え、顧客を助けさせます。もし彼らが難しい問題を解決できれば、それは素晴らしいことです！しかし、会話が終わった瞬間に、彼らの短期記憶は完全に消去されます。もし同じ難しい顧客が明日再び電話してきたとしても、エージェントは昨日何が起きたのか全く分かっていません。彼らはゼロからやり直しになります。

この健忘症の原因は、アーキテクチャにあります。これらのエージェントは「凍結された重み」を持つモデル上で動作しています。モデルの脳を、粘土で作られた巨大で複雑な彫刻だと想像してください。一度彫刻が焼き固められ（デプロイされ）たら、全体を溶かして最初からやり直さない限り、粘土を削ったり足したりすることはできません。溶かすことは危険（以前に知っていたことをすべて忘れてしまう可能性がある）であり、コストもかかります。そのため、現実の世界では、これらのエージェントは凍結されたままです。彼らは、仕事の最終日でも、初日と同じくらい有能なのです。

解決策：外部のノートブック

研究者たちはこう問いかけました。「もしエージェントが、脳を変える必要なく学習できるとしたらどうだろうか？ もし、ただノートブックさえあればいいとしたら？」

彼らは、凍結されたAIと「Spark」と呼ばれるシステムを組み合わせました。Sparkを、エージェントがメモを書き、読むことができる共有の魔法の図書館だと考えてください。エージェントはタスクを終えると、その経験をただ捨て去るわけではありません。代わりに、何が起きたかを振り返り、ライブラリに「ルール」を書き込みます。

• 「経験（Experience）」モード： エージェントは単純な「👍/👎」（1ビットの判定）を受け取ります。エージェントは自力で教訓を見つけ出さなければなりません。「Xを試したが失敗した。次はXを避けるべきだ」といった具合です。
• 「指示（Instruction）」モード： エージェントは「👍/👎」に加えて、正解を受け取ります。「Xを試したが失敗した。正しいやり方はYである」といった具合です。

エージェントはこれらの教訓を、「顧客が振込を求めてきたときは、常にまず一日の限度額を確認すること」のような、シンプルな自然言語のルールとして書き込みます。これらのルールはSparkライブラリに保存されます。次にエージェントが顧客に直面したとき、行動を起こす前にライブラリから関連するルールを検索します。

実験：記憶への賭け

これをテストするために、チームは「τ-bench」と呼ばれる困難なバンキング・ベンチマークを使用しました。AIが銀行員としてプレイするビデオゲームを想像してください。「顧客」は他のAIによってシミュレートされており、隠された目標やトリッキーな要求を持っています。エージェントは、膨大なポリシー文書の中から、銀行のルールを見つけ出さなければなりません。これは難しく、最高のAIモデルでさえ、最初の試行では約25%のタスクしか解決できません。

研究者たちは、2つの異なるAIモデルを用いて実験を行いました。

1. Mistral Large： 企業が自社サーバーで実行できる、強力なオープンソースモデル。
2. Claude Sonnet 5： トップクラスの最先端モデル。

彼らは各モデルに対して3つのシナリオをテストしました。

1. ベースライン： エージェントはポリシー・ライブラリを持っていますが、メモリはありません。試行ごとにすべてを忘れます。
2. 経験（Experience）： エージェントはライブラリとメモリ・ノートブックを持っており、単純な「勝ち／負け」の信号からのみ学びます。
3. 指示（Instruction）： エージェントはライブラリとメモリ・ノートブックを持ち、「勝ち／負け」の信号に加えて、失敗後の正しい解決策からも学びます。

結果：ゼロからヒーローへ

結果は驚くべきものでした。メモリ・ノートブックを使用したエージェントは、凍結された脳のニューロンを一つも変えることなく、業務が大幅に向上しました。

• 修正の力： Mistral Largeモデルの場合、「指示」グループ（修正から学ぶグループ）は、ベースラインと比較して、初回試行でのタスク解決率が2.6倍高くなりました。彼らは、ベースラインのエージェントが何度試しても決して解決できなかった84件中22件のタスクを解決することに成功しました。
• 経験の力： 単純な「勝ち／負け」の信号から学ぶだけでも、効果がありました。「経験」グループは、ベースラインに対して1.6倍向上しました。
• 学習曲線： 最初は、ノートブックが空であったため、すべてのエージェントが等しく成績が悪かったのです。しかし、試行を重ねるごとに、ノートブックを持つエージェントは賢くなっていきました。ベースラインのエージェントは横ばいでしたが、学習を行うエージェントは、試行ごとに上昇していきました。
• クロスモデルのマジック： 研究者たちは非常に面白いことをしました。Mistral Largeモデルによって構築されたノートブックを取り上げ、それをClaude Sonnet 5モデルに読ませました（その逆も同様です）。異なるモデルであったにもかかわらず、メモは有用でした！ Mistralモデルは、Claudeのメモを読むことで、成功率が大幅に向上しました。これは、ノートブックに保存された知識が単なる「Mistralのスタイル」ではなく、あらゆるエージェントが利用できる一般的で有用な知識であることを証明しています。

なぜこれが重要なのか

この論文は、再学習の巨大なコストとリスクを負うことなく、AIを賢くするための新しい方法を提案しています。AIの脳を溶かして作り直そうとする代わりに、より良い「覚え方」を与えることができるのです。

研究では、いくつかのアイデアも否定されました。例えば、エージェントが単に答えを「キャッシュ（一時保存）」しているだけではないか（特定のパズルの正確な解を暗記しているのではないか）という点です。彼らは、それがそうではないことを確認しました。エージェントは、新しいバリエーションの問題を解決するのに役立つような「ルール」（例：「日付を確認する」）を学んでいたのです。また、この学習が、エージェントがすでに得意としていることに対して性能を低下させないことも示されました。彼らは新しいスキルを獲得しながら、古いスキルも維持していました。

要約すると、この研究は、凍結されたAIエージェントにとって、毎日得られるフィードバック（それが単純な「よくやった」であれ、詳細な修正であれ）は、学習内容を書き留める場所さえあれば、彼らを生涯学習者に変えるのに十分であることを示しています。それは、単一のエージェントの経験を共有可能な組織的資産へと変え、一つのノートを通じてシステム全体をよりスマートにしていくのです。