技術要約: FocusMem

問題提起

GUIエージェントには、2つの補完的な時間スケールにおけるメモリが必要です：エピソード記憶（完了したタスクから再利用可能な証拠）と、ワーキングメモリ（現在のインタラクション内での制約や進行状況）。既存のアプローチはトレードオフに直面しています。マルチモーダルな軌跡（trajectory）をそのまま再生することは計算コストが高く、ポリシーのコンテキストを拡大させますが、テキストベースのメモリでは重要な視覚的または手続き的な詳細が失われてしまいます。

潜在メモリ（Latent memory）は、マルチモーダルな軌跡を少数の連続的なトークンへと圧縮することで、この解決策を提供します。しかし、現在の潜在メモリ手法は、軌跡を単一の固定された潜在ブロックへと「ワンショット」でマッピングすることに起因する、以下の3つの具体的な失敗モードに陥っています。

1. 内容の復元可能性（Content Recoverability）: 単一のブロックが「再利用可能な経験」と「現在のタスクの進行状況」という異なる情報要件を持つ両方を担わなければならないため、圧縮中に重要な詳細が失われる可能性があります。
2. 条件付き読み出し（Conditional Readout）: 固定されたメモリブロックは、異なる意思決定段階に適応することができません。同じ圧縮された証拠であっても、エージェントが探索中なのか、フィルタリング中なのか、あるいは検証中なのかによって、強調すべき軌跡の部分は異なります。
3. 証拠の信頼性（Evidence Trust）: 検索された軌跡が現時点の決定に対して無関係であったり、不一致であったりする場合でも、固定された潜在ブロックが依然としてポリシーに影響を与え、エージェントを誤導する可能性があります。

手法: FocusMem

FocusMemは、潜在メモリインターフェースを、内容形成（Content Formation）、状態条件付き読み出し（State-Conditioned Readout）、および**証拠の信頼性（Evidence Trust）**という3つの明確な責務に分解することで、これらの課題に対処します。本フレームワークは、凍結されたGUIポリシーを用いて動作し、メモリ経路のみを最適化します。

1. 証拠の構築

• エピソード的証拠: エピソードティック・バンクから検索された完全な軌跡。
• ワーキング証拠: 現在のインタラクション履歴の期限切れとなったプレフィックス（接頭辞）から切り出されたセグメント。
• これらは共に、$K$個のトークンからなる潜在ブロックへとマッピングされます。

2. 分解された潜在メモリ

アーキテクチャは以下の3つのステージで構成されます。

• ステージA: ロール認識型コンテンツ基盤（何が復元可能として残るのか？）

  • 共通のクエリを用いる代わりに、FocusMemはエピソード記憶とワーキングメモリに対して、ロール固有のベースクエリ（$Q_{0}^{ri}$）を導入します。
  • 意味論的監督（Semantic Supervision）: KLダイバージェンス損失により、潜在ブロックが広範に言語化可能な軌跡の内容を保持することを保証します。
  • 機能的監督（Functional Supervision）: ロール固有の疑似ターゲット損失（$\hat{v}^{ri}_i$）により、ブロックが制御に関連する情報（例：エピソード記憶における再利用可能な手順、ワーキングメモリにおける状態変化）を保持することを保証します。
  • このステージでは、現在の決定状態に依存しない、安定したロール固有の基礎を確立します。

• ステージB: 状態条件付き読み出し（今、何が露出しているのか？）

  • 軽量な状態ーアイテム・アダプターが、現在の決定状態（$u_t$）とエンコードされたアイテムに基づき、残差クエリ（$\Delta Q_{t,i}$）を生成します。
  • 最終的な決定に供されるブロック（$Z^{dynamic}_{t,i}$）は、動的クエリを証拠に対してクロスアテンションすることで生成されます。
  • これにより、同じ保持された証拠から、現在のインタラクションの段階に応じて異なる潜在表現を生成し、軌跡の関連部分のみを表面化させることが可能になります。

• ステージC: 証拠の信頼性（それを使用すべきか？）

  • 軽量な**トラスト・ゲート（信頼ゲート）**が、各決定指向のメモリブロックをスコアリングします。
  • 推論時、スコアが閾値 $\gamma$ を下回るブロックは破棄され、ポリシーのアテンションから除外されます。
  • 学習では、Straight-through HardConcreteマスクを使用し、高信頼度で無関係なエピソード項目を注入することで、ゲートが不一致な証拠を抑制するように学習させます。

3. 最適化

学習は2段階で進行します。

• ステージA: 固定クエリと意味論的・機能的監督を用いて、ロール認識型コンテンツ基盤を学習します。
• ステージB: ステージAから初期化を行い、動的クエリ残差とトラスト・ゲートを有効にします。共有コンプレッサー、条件付き読み出し、およびトラスト・モジュールを、ポリシーを凍結した状態で共同最適化します。

主な貢献

1. 問題定式化: 著者らは、コンパクトな潜在GUIメモリを、「復元可能な内容の形成」、「現在の決定に対する視点の適応」、および「ポリシーへの影響の制御」という3つの明確な責務に基づいて定式化しました。
2. FocusMemフレームワーク: ロール認識型コンテンツ基盤、状態条件付き読み出し、および独立したブロックレベルのトラスト・ゲートを通じて、これらの責務を実現する、凍結ポリシー型の潜在メモリフレームワークです。
3. 包括的な評価: 5つのGUIエージェント・ベンチマーク（MMInA-Wikipedia, MMInA-Shopping, DeepShop, WebVoyager, Online-Mind2Web）にわたる評価と、性能向上の源泉を特定するための標的型診断を実施しました。

実験結果

FocusMemは、メモリを持たないエージェント、生の軌跡再生、および従来の潜在メモリ適応（CoMEM型、HyMEM型、Mem-W型）と比較して評価されました。

• 性能: FocusMemは一貫してすべてのベースラインを上回りました。5つのベンチマークにおいて、完全にマッチングされた「Action-only Fixed」ベースラインに対して、タスク成功率（SR）を10.8〜18.0ポイント向上させました。
• 効率性: ゲート処理前の潜在トークンを最大48個というコンパクトな状態に抑えつつ、タスクあたりの平均実行ステップ数を削減しながら、これらの利得を実現しました。
• アブレーション研究:
  • コンテンツ基盤: 意味論的監督と機能的監督を組み合わせることで、一般的な内容とロール固有の情報の両方において、最高の復元性が得られました。
  • 動的読み出し: コンテキストがコンパクトなボトルネックの下で、関連する内容が追加の軌跡コンテキストと競合する場合、固定読み出しよりも動的読み出しの方が大幅に堅牢であることが示されました。
  • トラスト・ゲート: ゲートは、注入された無関係な証拠を効果的に抑制し、非ゲート型のベースラインに見られる性能低下を防ぎました。

意義と主張

本論文は、効果的な潜在メモリとは、単に過去のインタラクションを圧縮することではなく、「何を保持し、何を露出させ、何をポリシーに許容するか」にかかっていると主張しています。これらを分離することで、FocusMemは以下を実証しました：

• エピソード記憶とワーキングメモリは、異なる内容保持戦略を必要とする異なる役割を果たすこと。
• 単一の軌跡は、固定された要約に頼るのではなく、インタラクションの異なる段階において異なる情報を提供し得ること。
• 不一致な証拠は、限定されたコンテキスト予算の下で除外可能であり、これにより、検索されたものの無関係な履歴によってエージェントが誤導されるのを防げること。

著者らは、コンテンツ形成、状態条件付き読み出し、および証拠の信頼性を分離することが、コンパクトながらも強力なメモリインターフェースをもたらすと結論付けており、将来の潜在メモリシステムは、メモリを単一の圧縮ブロックとして扱うのではなく、これらの明確なメカニズムを明示的にモデル化すべきであることを示唆しています。