The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation
本論文は、LLMエージェントの永続的ストレージのフットプリントが、タスクの正確性とは無関係にフレームワークや構成によって劇的に変化することを明らかにするベンチマークであるAgentFootprintを紹介するとともに、コンテンツアドレスストレージがデータの再構成可能性を損なうことなく、このオーバーヘッドを大幅に削減できることを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ある天才的なロボット探偵が謎を解く様子を見ていると想像してください。その探偵は手がかりを読み、質問をし、最後に答えを書き留めます。探偵が正解を出せば皆が歓声を上げ、人々はその思考の速さや、実行にかかったコストをチェックします。しかし、誰もその探偵が床に残していった「散らかり具合」には目を向けません。
『隠れた足跡（The Hidden Footprint）』と呼ばれるこの論文は、まるで清掃員の報告書のようです。それはこう問いかけています。「探偵が仕事を終えたとき、その部屋にはどれほどのゴミが残されているのか？」
大きな驚き：ゴミの量は膨大である
主な発見は衝撃的です。2人の探偵が全く同じ謎を完璧に解いたとしても、一方はもう一方よりも15.7倍も大きなゴミの山を残すことがあるのです。
例えるなら、あなたと友人が二人とも完璧なチョコレートケーキを焼いたとします。あなたはケーキ（結果）を差し出しますが、あなたはカウンターをサッと拭いただけなのに対し、友人は15個のボウル、30個の小麦粉のカップ、そして山のような粘着性のある包装紙を置き去りにした、というようなものです。ケーキ自体は同じに見えますが、友人のキッチンは惨状となっています。
現実の世界では、この「ゴミ」は単なる紙ではありません。それはハードドライブに保存されるデジタルバイトです。研究者たちは、単一のタスクに対して、あるフレームワークは131 MBものデータを残す一方で、実際の答え（届けられた「ケーキ」）はわずか2.6 MBであったことを発見しました。つまり、フレームワークの「残骸」は、本来行うべき仕事の24,033倍も大きかったのです！
「見えない」二重カウントのトリック
ここが巧妙なところです。もしコンピュータ上のファイル数だけを数えるなら、ゴミはそれほどひどくないと思うかもしれません。この論文は、標準的なカウント方法は罠であると主張しています。
あなたが紙に「Hello」という文字を書くとします。次に、その紙をコピー機でコピーしますが、コピー機がすべてのコピーに小さな「目に見えないインク」のスタンプを付けているとします。紙の枚数を数えれば、1枚に見えます。しかし、インクに注目すれば、「Hello」という言葉が12回書かれていることがわかります。
研究者たちは、コンピュータがデータを保存する方法（「SQLite」のページや「JSON」のエスケープ処理など）により、同じ情報がシステムの中に何度も繰り返し保存されていることを発見しました。
- **素朴なカウント（Naive counting）**は、「重複はわずかである」と言いました。
- この論文による賢いカウントは、「実際には、同じコンテンツが12.1倍も保存されている！」と言いました。
彼らは、もし「目に見えないインク」の中を見なければ、ゴミの本当の大きさを大幅に見逃してしまうことを証明しました。
「成長」の問題
論文では、探偵が同じ手がかりを200回チェックしなければならない場合に何が起こるかもテストしています。
- LangGraphやAutoGenのような一部のフレームワークは、決して忘れないリスのように振る舞います。手がかりをチェックするたびに、彼らは履歴の全体を再び書き留めます。これにより、ストレージのサイズは超線形的（superlinearly）に（どんどん加速しながら）増大します。200ラウンド後、彼らは一つの小さなファイルに対して323 MBものデータを残しました。
- 一方、OpenAI Agentsのような他のフレームワークは、賢いメモ取り手のように振る舞います。彼らは新しい部分だけを書き留めます。そのため、ストレージの増加は緩やかで、ほぼ直線的でした。
論文はこの成長率（と呼ばれます）を測定し、それが0.73（小さくなっている！）から1.95（爆発的に増大している！）の範囲にあることを明らかにしました。
大きなゴミは、より賢い探偵を意味するのか？
あなたはこう思うかもしれません。「もしかしたら、散らかっている探偵はより慎重に作業しているから、より賢いのではないか？」
論文はこう答えています。「いいえ」です。
彼らは、有名なコーディング・チャレンジ（SWE-bench）からの108件の実世界の提出物を調査しました。その結果、これらのシステムが書き出すデータの量は1,617倍（極小のファイルから巨大なものまで）も異なることがわかりました。しかし、ここが決定的な点ですが、ゴミの量と、システムが問題を解決できたかどうかには、何の関連もありませんでした。
実際、相関関係は極めて弱く、実質的にゼロでした。大量のデータを残すシステムが失敗することもあり、逆に小さな足跡しか残さないシステムが成功することもありました。論文は、「より多くのストレージ ＝ より高いパフォーマンス」という考えを明確に否定しています。
「魔法の消しゴム」（ただし、まだ買わないでください）
研究者たちは問題を指摘しただけでなく、解決策も示しましたが、これはあくまで**概念実証（proof of concept）**であり、完成された製品ではないと慎重に述べています。
彼らは「コンテンツ・アドレス型ストア（content-addressed store）」を構築しました。これは、図書館において、すべての本を棚に置く代わりに、本のユニークな指紋の写真を撮るようなものです。もし二つの本が同一であれば、写真一枚と「これはあれと同じである」というメモだけを保管します。
この「魔法の消しゴム」を散らかりやすいフレームワークに適用したところ：
- ストレージを4.8倍から32.7倍削減できました。
- 極めて重要なことに、これほど多くのデータを削除した後でも、会話の履歴全体を完全に再構成できることを彼らは証明しました。探偵の思考を再現できるという「スコア」は、全く変わっていませんでした。
この論文が否定したもの
- 「ストレージは安いのだから無視してよい」という考えを否定しました。論文は、AIを実行するコストはタスク終了時に消えてしまうのに対し、ストレージは蓄積していく「永続的な負債」であると主張しています。
- 標準的なファイルカウンタが正確であるという考えを否定しました。単純なカウントでは、システムのコード内に隠された重複を見逃してしまうことを彼らは示しました。
- データ量の多い痕跡が、より良い結果をもたらすという考えを否定しました。データは、サイズと成功の間に何の結びつきもないことを示しています。
彼らの確信度はどの程度か？
著者たちは、自分たちが行った測定の正確性に非常に自信を持っています。彼らは、他の干渉を受けないように、隔離された清潔なコンピュータ・ルーム（サンドボックス）内で1,061回の実験を行いました。彼らは、全く同じタスクとモデルを使用して、8つの異なるフレームワーク（LangGraph、CrewAI、AutoGenなど）をテストしました。
彼らは推測したのではなく、測定したのです。同一条件下において、最も優れたものと最も劣ったものとの間で、残されたデータの量は15.7倍も異なっていたことを突き止めました。また、この差は、一つのフレームワークが「より賢い」からではなく、データの保存方法の仕組みの違いによるものであることも示しました。
まとめ
この論文は、AIエージェントの「足跡」を、スピードやコストと同様に測定し始める必要があると結論づけています。現在、私たちは一部のシステムが大量のデジタルゴミを残していく一方で、他のシステムはほとんど何も残さない状況を放置しており、しかも、ゴミが多い方が仕事ができているわけではないことが判明しています。
著者らは、もし私たちがAIエージェントを大規模に（例えば、一日あたり10,000台のロボットの艦隊のように）運用したいのであれば、「クリーンな」フレームワークと「散らかった」フレームワークの差が、毎日3 GBのストレージで済むか、あるいは51 GB必要になるかの分かれ目になる可能性があると示唆しています。これは、彼らが示した通り、ロボットをより賢くするためには全く関係のない、非常に大きな差なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。