技術概要：明示的および暗黙的証拠に基づく個人の視覚的記憶

問題定義

長期的記憶は、パーソナライズされた AI エージェントにとってますます重要になりつつあるが、現在の研究とベンチマークは依然として主にテキスト中心である。既存のマルチモーダルベンチマークには画像が含まれる場合もあるが、後続の質問に答えるために必要な情報は、通常、付随するテキストのみから回復可能である。さらに、既存の記憶システムは多くの場合、画像のターンを一般的なキャプションに集約しており、これは「損失を伴う」プロセスである。なぜなら、アイデンティティ、所有権、反復的な視覚的手がかりといった重要な視覚的詳細が破棄されるからである。

本論文は、分野におけるギャップを特定している。すなわち、現在のシステムが明示的なテキスト記述を超えて存在する個人の視覚的記憶を保持し、推論する能力が欠如している点である。これには、2 つの明確な証拠の形態が含まれる：

1. 明示的証拠：複数の画像に登場するが、対話内で明示的に命名または議論されていない、反復的な視覚的実体（特定のペットや物体など）。
2. 暗黙的証拠：視覚的またはマルチモーダルな手がかりから推論されなければならない潜在的なユーザー事実（猫を飼っていること、特定の趣味を持っていることなど）。これは、会話自体がその事実とは無関係であっても含まれる。

既存のベンチマークは、視覚的一貫性を用いて時間経過に伴うアイデンティティや所有権の曖昧さを解決することをエージェントに要求せず、また視覚的代理のみから事実を推論することを要求しないため、これらの能力をテストできていない。

手法

1. ベンチマーク構築（VisualMem）

適切な評価データの欠如に対処するため、著者は永続的なユーザーペルソナに基づく長期マルチモーダル相互作用をシミュレートするために設計された合成ベンチマークVisualMemを導入する。構築パイプラインは 4 つの段階からなる：

• マルチモーダルペルソナコンテキスト：各ユーザーのために構造化されたコンテキストを構築する。これには、プロフィール（人口統計、興味）、ソーシャルグラフ（家族、友人）、ユーザー関連資産（ペット、物体）、およびイベントのタイムラインが含まれる。
• 会話生成：異なる記憶能力をテストするために 3 種類の会話が生成される：
  • 明示的実体：画像には反復的なターゲット実体（人物または資産）が含まれており、モデルが相互作用全体でそれらを追跡できるかをテストする。
  • 暗黙的事実：画像には、テキストで明示的に述べられていない事実（例：「ユーザーは猫を飼っている」）を暗示する視覚的代理（例：キャットタワー）が含まれる。これには、事実を画像のみから推論するVisual-Onlyと、画像とテキストを組み合わせることで推論するMultimodalの両方のバリエーションが含まれる。
  • ディストラクター：中立な相互作用または「ハードネガティブ」（例：友人の猫）を含め、モデルが所有権やアイデンティティを誤って帰属させないかをテストする。
• グローバル一貫性を伴う画像生成：制御可能な画像生成を用いて、永続的実体の参照画像とシーンの記述に基づいて画像を合成する。これにより、異なるイベントや場所で同じユーザー、ペット、または物体が視覚的一貫性を維持することが保証され、有効な長期的記憶推論の要件を満たす。
• 質問生成：遅延記憶を調査する評価質問が作成される。これらは、モデルが過去の視覚的証拠に基づいて実体のアイデンティティを想起するか、潜在的な事実を推論することを要求する。多くの場合、画像が再表示されない多肢選択問題として提示される。

データセットは、10 のペルソナ、1,717 のイベント、1,718 の画像、696 の質問で構成され、ペルソナあたり平均 172 のイベントを有する。

2. 提案アーキテクチャ：VISUALMEM

著者は、既存のテキストベースの記憶システム（特に MemOS をバックエンドとして使用）と統合するように設計されたハイブリッド視覚 - テキスト記憶フレームワークVISUALMEMを提案する。画像をキャプションに集約するシステムとは異なり、VISUALMEM は 3 つの段階を持つ専用視覚記憶パイプラインを採用する：

• 段階 1：コンテキスト誘導解釈：画像は孤立して処理されない。システムは、画像とその周囲の対話コンテキストを共同で分析し、アイデンティティやシーンの所有権に関する曖昧さを解決する（例：「私のキッチン」と「友人のキッチン」を区別する）。
• 段階 2：遅延コミットメント：証拠が即座のグラウンディングに不十分である可能性があることを認識し、システムは曖昧な画像を元のコンテキストとともに保留状態に置く。会話が進展し、より多くの視覚的記憶が蓄積するにつれて、システムはこれらの保留画像を再訪する。これにより、モデルは新しい証拠が到着するにつれて、早期にノイズの多い抽出にコミットするのではなく、アイデンティティと所有権を段階的に曖昧さを解消できる。
• 段階 3：構造化抽出：画像が確認されると、システムは 3 つのレベルで構造化された個人情報を抽出する：
  • 関係レベル：社会的リンクと所有権を推論する。
  • 実体レベル：反復する人物、物体、ペットを特定し、将来のマッチングのために視覚的参照を保存する。
  • 事実レベル：永続的で視覚的にグラウンディングされたユーザー事実（所有物、習慣など）を抽出する。
    これらの事実は言語化され、統合のためにテキスト記憶バックエンドに転送される一方、構造化された視覚的記憶は検索のためにアクセス可能のまま保持される。

推論時には、VISUALMEM はクエリを適切な記憶ソースにルーティングする。実体中心のクエリは構造化された視覚ストアに対して解決され、広範な事実クエリはテキスト記憶バックエンド、または両者の組み合わせを使用する。

主要な結果

視覚的記憶ベンチマークにおける性能

実験により、VISUALMEM は VisualMem ベンチマークにおいて既存の記憶システムを大幅に上回ることが示された：

• 全体の精度：VISUALMEM は**84.1%**の精度を達成し、最も強力な既存の記憶ベースのベースライン（MemOS の 56.0%）および RAG ベースの手法（Self-RAG の 22.1%）を大幅に上回った。
• 明示的実体：最大の改善は、ターゲット人物（MemOS の 45.0% 対 95.0%）およびターゲット資産（59.9% 対 91.1%）タスクで観察された。これは、キャプションベースの手法が時間経過に伴うアイデンティティと反復性を保持することに失敗するのに対し、VISUALMEM の構造化された視覚的記憶が成功することを確認するものである。
• 暗黙的事実：VISUALMEM は暗黙的事実タスク（Visual-Only: 77.9%、Multimodal: 83.4%）でも性能を向上させ、視覚的手がかりから潜在的な事実を推論し、対話コンテキストと組み合わせる能力を実証した。

テキスト中心ベンチマークにおける性能

視覚モジュールが既存のテキスト能力を低下させないことを確認するため、著者は VISUALMEM を標準的なテキストのみのベンチマーク（LOCOMO および PersonaMem）で評価した。

• VISUALMEM は LOCOMO で58.1%、PersonaMem で**46.3%**を達成し、MemOS ベースライン（それぞれ 56.8% および 45.5%）と同等であった。
• これは、視覚的記憶でシステムを拡張しても、そのテキスト記憶のパフォーマンスは維持されることを示している。

アブレーション研究

• 視覚的記憶対テキスト記憶：実体タスクにおいて、テキスト記憶のみを使用することは、視覚的記憶のみを使用することよりも大幅に劣った。これは、ベンチマークが視覚的証拠によって駆動されていることを確認する。しかし、両方を組み合わせることで、特にマルチモーダルな暗黙的事実において最良の結果が得られた。
• 遅延コミットメント：保留メカニズムを除去すると、性能（特にターゲット人物において）が顕著に低下し、十分な証拠が蓄積されるまで抽出を遅らせることの必要性が実証された。
• コンテキストウィンドウ：記憶構築中にコンテキストウィンドウを制限するよりも、完全な会話セッションをコンテキストとして使用した方が良い結果をもたらした。これは、視覚的証拠とテキスト的手がかりをリンクさせるために、広範なコンテキストが重要であることを浮き彫りにした。

意義と主張

本論文は、個人の視覚的記憶が、パーソナライズされた AI エージェントの長期的記憶における独立したかつ重要な構成要素であると主張する。著者は以下を論じる：

1. 現在の研究の限界：既存のベンチマークと手法は、マルチモーダル設定であってもテキスト中心であり、テキストで明示的に述べられていない視覚的証拠に対する推論能力をテストできていない。
2. 構造化された視覚的記憶の必要性：画像を一般的なキャプションに集約することは、パーソナライズされたエージェントにとって不十分である。システムは、視覚的相互作用から導き出された永続的な個人情報（アイデンティティ、所有権、事実）を明示的にモデル化する必要がある。
3. ハイブリッドアプローチの実現可能性：VISUALMEM は、構造化された視覚的記憶を既存のテキスト記憶バックエンドと効果的に統合するハイブリッドアーキテクチャが、視覚タスクの性能を向上させながらテキストベースの能力を損なわないことを実証している。

この研究は、将来の記憶エージェントが、画像を補助的なテキストとして扱うことを超えて、視覚的相互作用によって提供される永続的な個人情報を保持し、推論するための専用メカニズムを開発する必要があることを示唆している。著者は、ベンチマークが視覚的一貫性と制御を確保するために合成的に構築されたものであり、現実世界での展開にはプライバシーと堅牢性の課題に対処する必要があることを指摘している。