Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

本質的なアイデア：「壊れやすいメモ」問題

あなたが、散らかった部屋の掃除を任されたロボットだと想像してください。作業を始める前に、あなたは付箋にToDoリストを書きました。「1. キッチンへ行く。2. コップを拾う。3. 食洗機に入れる。」

AIエージェント（大規模言語モデルによって動くロボット）の世界において、この「付箋」がプラン（計画）です。この論文は、極めて重要な問いを投げかけています。「ロボットはこのリストを本当に記憶しているのか、それとも一歩進むたびにそのメモを読み続けているだけなのか？」 ということです。

著者たちの調査によると、標準的なAIモデルに対する答えはこうです。「ただメモを読み続けているだけである」。

もしその付箋を取り上げたり（あるいは、ロボットのメモリウィンドウがいっぱいになってメモが「追い出されて」しまったり）すると、ロボットは自分が何をすべきだったかを即座に忘れてしまいます。ロボットはプランを自分の「脳」の中に保存しているのではなく、今見ている「紙」の中に保存しているだけなのです。

実験： 「ゴースト・リプレイ（幽霊再生）」

これを証明するために、研究者たちは**リプレイ・ペアリング（Replay Pairing）**と呼ばれる巧妙なトリックを用いました。ロボットが家を掃除する様子を、2回再生する映画を想像してください。

1. 映画A（現実のシナリオ）： ロボットはプランが書かれた付箋を見て、それから掃除を始めます。
2. 映画B（ゴースト・シナリオ）： ロボットは全く同じ行動を取り、全く同じ結果を見せますが、プランが書かれた付箋は魔法のように消えています。

研究者たちは、これら2つの映画におけるロボットの内部的な「脳の状態（隠れ状態）」を比較しました。

• もしロボットがプランを記憶していたら： ロボットはプランを暗記しているため、両方の映画における脳の状態はほぼ同一になるはずです。
• もしロボットが単にメモを読んでいるだけなら： メモが消えた瞬間に、脳の状態は劇的に変化するはずです。

結果： メモが取り除かれた瞬間、ロボットの脳の状態は即座に変化しました。プランの「信号」は、わずか1ステップで4倍から12倍も低下しました。それはまるで、ロボットがメモを見て一歩進んだ直後、メモが記憶から完全に消え去ってしまったかのようでした。

「思考」の罠（推論モデル）

研究者たちは、行動する前に自分自身と対話する、よりスマートで新しいAIモデル（「推論モデル」と呼ばれます）についてもテストを行いました。これらのモデルには、<thinking>（思考中）という、自身の思考を書き出す特別なセクションがあります。

これらのスマートなモデルに対して「ゴースト・リプレイ」を試みたところ、奇妙な結果が出ました。ロボットは、メモがない状態でもプランを覚えているように見えたのです！

ひねり（真相）： 研究者たちは、これが一種のトリックであることに気づきました。スマートなモデルは、行動を進める過程で、自身の <thinking> ブロックの中にプランを書き直していたのです。つまり、元のメモが取り除かれたとしても、ロボットは直近の自身の思考からプランを「読み取って」いたのです。

彼らは、元のメモだけでなく、プランに言及している直近の思考までも削除する**「厳格な除去（Strict Stripping）」**という手法でこれを修正しました。これを行うと、スマートなモデルであっても、プランが目の前に見えている状態に依存していることが明らかになりました。彼らはプランを長期記憶として「保持」しているわけではありません。

ストレス・テスト： メモがなくなった時に何が起きるか？

これが現実世界でどれほど深刻な問題かを確かめるため、彼らは「圧縮ストレス・テスト」を実施しました。AIに家を掃除させますが、メモリウィンドウを制限することで、新しい情報を入れるために古いメモを捨てざるを得ない状況を作りました。

• 「ナイーブ（単純）」なアプローチ： スペースを確保するために、AIにプランのメモを捨てさせます。
  • 結果： AIの成功率は**35%**も急落しました。プランを忘れてしまったため、仕事を完遂できませんでした。
• 「スマート」なアプローチ： AIが忘却し始めていることを検知して、プランのメモを再挿入する仕組みを試みました。
  • 結果： これもあまり効果はありませんでした。AIは単にプランを失っただけでなく、自分が何をしているかという「コンテキスト（文脈）」自体を見失っていたため、混乱が生じていたからです。

まとめ

この論文は、現在のAIエージェントにとって、コンテキスト管理こそがシステムの中で最も重要な部分であると結論付けています。

AIのメモリウィンドウをホワイトボードだと考えてください。プランはロボットの腕に刻まれた永久的なタトゥーではなく、ホワイトボードに描かれたマーカーの絵です。マーカーがボード上にある限り、ロボットは機能します。しかし、ボードを消去してしまうと（たとえプランの部分だけを消したとしても）、ロボットは動作を停止してしまいます。

論文による主な主張：

• プランは持続しない： プランはAIの内部的な「脳」の状態として保存されているのではなく、毎ステップ、テキストウィンドウから読み直される必要があります。
• 減衰は速い： テキストがなくなると、プランの「記憶」はほぼ瞬時（1ステップ以内）に消失します。
• 推論モデルはトリッキーである： 彼らは自身の思考の痕跡の中にプランを隠しており、それらの痕跡を排除しない限り、テストの結果を誤認させる可能性があります。
• 保護だけでは不十分： プランのテキストを保護するだけでは、メモリ制限に対する魔法の解決策にはなりません。AIが行動のコンテキストを見失えば、プランが存在していても失敗します。

この論文は、この「忘却」を測定する新しい方法を提示し、現在のAIエージェントがいかに脆弱であるかを証明しています。彼らが仕事を続けるためには、プランが「今、まさに」目の前にある必要があるのです。