Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

あなたの家に住む、あるロボット助手が、あなたが今朝使った特定のマグカップを見つける手助けをする任務を負っていると想像してみてください。そのロボットは、何時間も家の中を歩き回り、連続したビデオ映像を記録し続けています。あなたの問いに答えるために、ロボットは単に直近数秒間の映像を見るだけでは足りません。何百分もの記録された履歴を検索しなければならないのです。しかし、ロボットの脳には厳しい制限があります。意思決定を行うまさにその瞬間に処理できる情報量は、極めてわずかで固定されています。ビデオ全体を能動的なメモリに保存することもできなければ、質問を受けるたびに一日分の映像をすべて見直す余裕もありません。これは、身体性知能（embodied intelligence）における根本的なボトルネックです。すなわち、終わりのない観察のストリームと、有限な思考予算との間のギャップです。

長年、研究者たちは、人工知能モデルを単に巨大化させれば、この問題は解決すると期待してきました。モデルが十分に大きければ、目にしたものすべてを自然に記憶できるようになると考えられていたのです。しかし、最近の実験では、最も高度なモデルであっても、長く連続したビデオ映像に直面すると苦戦することが示されています。彼らは一枚の写真の中にいる猫を認識することはできますが、一時間前にその猫がどこへ行ったのかを追跡することにはしばしば失敗します。問題は、モデルに「見る」能力が欠けていることではなく、時計の針が進み、メモリがいっぱいになっている時に、「何に注目すべきか」を知るための戦略が欠けていることなのです。

ある研究チームは、異なるアプローチを試みるべく研究に着手しました。彼らは、より大きな脳を構築しようとする代わりに、ロボットがどのように記憶にアクセスするかが、脳のサイズそのものよりも重要なのではないかと考えました。彼らは、成功するエージェントには、二つの異なるツールが連携して機能する必要があると提案しました。それは、起きた出来事の圧縮された要約（日記のようなもの）と、あらゆる瞬間を正確に検索可能なアーカイブ（写真のライブラリのようなもの）です。決定的なのは、エージェントが、投げかけられた特定の質問に基づいて、日記を読むことに予算を割くのか、それともライブラリを検索することに予算を割くのかを選択できなければならないという点です。彼らは、既存のロボットの脳を、再学習を必要とせずにこれらのリソースを管理する新しい論理層で包み込むことで、このシステムをテストするための仕組みを構築しました。

研究者たちは、建物の中を長く歩く様子を模した合成環境を用いて、このシステムをテストしました。そこでは、ロボットが数時間前に見た物体に関する質問に答えなければなりません。彼らは、ランダムにフレームを選択するモデルや、すべてを短いテキストに要約しようとするモデル、あるいはライブラリの検索のみを行い、進行中の要約を保持しないモデルなど、いくつかの標準的な手法と、この新しいシステムを競わせました。彼らは、すべての決定において4,096「トークン」（情報の単位）という厳格な制限の下で、小規模から大規模まで7つの異なるオープンソースモデルを用いてテストを行いました。

結果は驚くべきものでしたが、微妙な差異もありました。質問の内容に応じて注意を賢く振り分ける新しいシステムは、質問の内容に応じてアクセスを条件付けなかった他のあらゆる手法を圧倒しました。300フレームのストリームの中に隠された特定の物体を見つけるよう求められた場合（エピソード的検索タスク）、新システムは75〜94%の確率で成功しましたが、最善の代替手法は20%未満の成功率に留まりました。研究者たちは、正しい質問をし、それから正しいフレームを呼び出す能力こそが決定的な要因であることを発見しました。実際、標準的なモデルに4倍のメモリを与えても、新しいシステムが限られたメモリを賢く使うことほどには、性能向上には繋がりませんでした。小さな予算を持つスマートなシステムが、巨大な予算を持つ愚かなシステムに勝利したのです。

しかし、物語は完璧な勝利では終わりませんでした。研究者たちは、システムを「要約」「アーカイブ」「そしてどのようにそれらを使うかを決定するスマート・ルーター」の三つの部分で設計しました。彼らが各部分を個別にテストした際、驚くべき欠陥を発見しました。スマート・ルーターとアーカイブこそが英雄であり、実質的な役割を果たしていました。しかし、出来事の進行状況を記録するはずだった要約コンポーネントは、実はシステムを悪化させていたのです。要約を取り除くと、システムのパフォーマンスは大幅に向上しました。実際、フルシステムは、テストされた7つのモデルすべてにおいて、アーカイブのみのベースラインを上回ることはありませんでした。その理由は、ロボットの脳が、数百ステップにわたって完璧な進行計を維持するには不十分だったためです。要約における小さな誤差が積み重なり、システムを混乱させてしまったのです。ライブな要約の代わりにオフラインのテキストインデックスを利用した方が、より高いパフォーマンスを発揮しました。

この失敗は、メインのアイデアに対する敗北ではなく、重要な洗練でした。この研究は、厳格な時間とメモリの制限下では、アクセスの構造がモデルのサイズや利用可能なメモリ量よりも重要であることを証明しました。ロボットはすべてを見る必要はありません。どこを見るべきかを正確に知る必要があるのです。研究者たちは、身体性エージェントの未来は、より大きな脳を作ることではなく、情報をより賢く活用する方法を構築することにあると結論付けました。最も効果的な戦略は、一度に世界全体をメモリに保持しようとすることではなく、正しい証拠を見つけ出すことに予算を投じることです。彼らの特定の要約設計は失敗しましたが、核心となる原理は揺るぎませんでした。膨大なデータと限られた時間の世界において、何を無視すべきかを知ることは、何を覚えるべきかを知ることと同じくらい重要なのです。