When Does Context Compaction Pay in Long-Horizon Agents?

デジタルアシスタントが、ファイルの読み込み、コードの実行、そして自身の進捗確認を行いながら、数時間にわたって複雑な問題を解決し続ける姿を想像してみてください。これを行うために、アシスタントはこれまでに何を行ったか、その行動と目にした結果の実行ログをすべて記憶しておく必要があります。このログは「コンテキスト」と呼ばれます。作業が進むにつれて、このログはどんどん長くなり、最終的にはアシスタントの動作を遅らせ、処理に多額の費用がかかるようになります。これを管理するために、ソフトウェアエンジニアは「コンテキスト圧縮（context compaction）」と呼ばれるトリックを開発しました。履歴のすべてを持ち越し続ける代わりに、システムはアシスタントにこれまでの出来事を短い要約として書き出させ、古い詳細は破棄し、その要約のみを使用して作業を継続させるのです。これは、100マイル歩いた後の旅行者が、将来の自分に向けて旅の様子を記した絵葉書を書き、バックパックの容量を節約するために詳細な日記を燃やしてしまうようなものです。この要約が、旅行者の進むべき道筋を維持するのに十分であり、時間とリソースを節約できることが期待されています。

研究者であるYuyao Wangによる新しい研究は、この戦略が長期的なタスクにおいて実際に機能するかどうかを調査しています。研究者は、2つの異なる高度な言語モデルを用いて、9つの困難な多段階の問題に対してこのアイデアをテストしました。彼らは、エージェントの状態を特定の瞬間に保存し、その後、2つの異なる方法でゴールまで到達させるという制御された実験を設定しました。一方の方法では、エージェントは完全な履歴を保持し続け、ベースラインとして機能します。もう一方の方法では、履歴が長くなりすぎた場合に、エージェントは要約の使用に切り替わります。研究者は、コストだけでなく、戦略の変化がエージェントの行動、ステップ数、および要約の作成を待つ時間にどのように影響したかも測定しました。

結果は驚くべき展開を見せました。計算上は、要約への切り替えによって費用が節約できるはずでしたが、現実はしばしばその逆でした。テストされたモデルの一つでは、要約に切り替えたエージェントの方が、完全な履歴を保持していたエージェントよりも多くの費用がかかりました。その理由は、要約が劣っていたからではなく、要約するという行為がエージェントの行動を変え、余計な作業を生み出したことにありました。エージェントは要約を受け取ると、フル履歴を受け取ったときとは異なり、すでに見たはずのファイルを再読したり、情報を再確認したりする必要性を感じることがよくあり、それが連鎖的な追加のリクエストにつながりました。これらの追加ステップは、研究者が「読み取り専用（read-only）」のアクションと呼ぶもので、急速に積み重なっていきました。多くの場合、履歴を短くすることで節約できたお金は、これらの不必要な確認によるコストによって完全に相殺されてしまいました。実際、テストされた主要なモデルにおいて、タスクの終了まで継続した場合、この戦略は21のステートのうち20のケースでコストを増加させました。

研究ではまた、要約が行われた後にエージェントがどれだけの作業を行う必要があるかを調べ、この戦略がいつか報われる可能性があるかどうかを検討しました。研究者は、コンテキスト圧縮が金銭的な勝利となるのは、要約が書かれた後に非常に大量の作業が残っている場合のみであることを発見しました。タスクが終盤に差し掛かっている場合、要約を作成するコストと、エージェントがそれに適応するために行う追加のステップは、節約できる金額に見合いません。しかし、長い道のりが待ち受けているタスクであれば、この戦略は機能しますが、それには特定の条件が必要です。テクノロジーの価格が大きく関わっており、あるモデルでは、コンピュータのメモリからの読み取りコストが現在ほとんどのプロバイダーが請求しているものよりもはるかに高い場合にのみ、この戦略は節約につながりました。テストされたもう一つのモデルについては、この戦略は現在の価格でも効果的であり、これは主に、そのモデルが要約を受け取った際の行動の変化がそれほど劇的ではなかったためでした。

コスト以外にも、研究者はエージェントがどれだけ速く動くかも調査しました。彼らは単一のコンピュータチップ上でプロセスをシミュレートし、履歴を短くすることでシステムが高速化するかどうかを確認しました。その結果、履歴を短くすることで個々のステップの処理速度は向上しましたが、要約を作成する時間やエージェントが行う追加のステップによって、プロセス全体としては遅くなることが分かりました。一部のシナリオでは、エージェントは長い履歴を処理するのを待つ必要がないにもかかわらず、フル履歴を使用していた場合よりも、同じタスクを完了するのに実質的に2倍近い時間がかかることもありました。これは、長い履歴を処理する時間を節約した分が、要約の生成やエージェントが行う追加作業の時間によって失われてしまうためです。

本研究は、コンテキスト圧縮が長期的なタスクに対する単純な解決策ではないと結論付けています。それは、使用される特定のモデル、テクノロジーのコスト、および残された作業量に大きく依存するトレードオフです。研究者は、履歴を単に短くすることは、エージェントを混乱させ、既に行った作業を繰り返させる原因になることを明らかにしました。この戦略を機能させるためには、最も直近のステップを確実に保存し、エージェントが自身の履歴を再確認する必要を感じないようにするような、慎重な設計が必要です。これらの条件が満たされない限り、コストがかかるとしても、フル履歴を保持し続けることが、長く複雑な問題に取り組むエージェントにとって、より信頼性が高く、時にはより安価な経路であり続けるのです。