🤖 AI

Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

本論文は、POLAR というマルチモーダルな記憶拡張型フレームワークを紹介するものであり、これは長期にわたるユーザーの相互作用を知識グラフに整理し、具身エージェントが時間経過に伴うタスク実行と推論の向上のためにパーソナライズされた文脈を効果的に検索できるようにするものである。

原著者： Jeongeun Lee, Chanyoung Park, Dongha Lee

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jeongeun Lee, Chanyoung Park, Dongha Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボット執事がいると想像してください。このロボットは「赤いコップを持ってきて」や「靴を探して」といった指示を遂行するのが得意です。世界を見渡し、言語を理解することもできます。しかし、ここで問題が発生します。現実世界では、人々は常に明確で技術的な用語で話しているわけではありません。

もしロボットに「私の靴を持ってきて」と頼み、家に3種類の靴がある場合、ロボットは行き詰まります。ロボットは「靴」が何かを知っていますが、どの靴を指しているのかはわかりません。もしかすると、雨の日にはいつも青いスニーカーを履き、火曜日の会議にはハイヒールを履くかもしれません。あなたの個人的な履歴を知らなければ、ロボットは単に推測するしかありません。

この論文は、この問題を解決する新しいシステム「POLAR」を紹介します。POLARは、ロボットに長期間にわたってあなたの特定の習慣や好みを記憶させるための特別で整理された日記を与えるようなものです。

POLARの仕組みを簡単な部分に分けて説明します。

1. 問題：ロボットの短記憶

現在のロボットは、非常に短い注意力しか持たない人のようです。数週間前に言ったことを基にした質問をすると、詳細を忘れることが多いです。「ああ、あなたは靴が好きだったね」という一般的なアイデアは覚えていても、「去年の冬、雪の日にあの青いスニーカーを買った」という具体的な物語は思い出せません。点と点をつなげられないため、間違ったアイテムを持ってきてしまうことが多いのです。

2. 解決策：POLARの「賢い日記」

POLARは、ロボットが移動したすべての瞬間のビデオ録画を保存するわけではありません（それは散らかった整理されていないデータの山になってしまいます）。代わりに、あなたの履歴を2つの特定の種類のメモを持つ構造化された記憶グラフとして整理します。

「誰と何」のメモ（意味記憶）：
家の中のすべての物体にカードがあると想像してください。「青いスニーカー」のカードには、ロボットが具体的な事実を書き留めます。「去年の冬に購入」「雪の日に使用」「朝のランニングで着用」。これらはあなたとその物体との関係に関する、短く明確な事実です。
「どのように見つけたか」のメモ（エピソード記憶）：
これは旅行記のようなものです。ロボットが過去に行った旅を記憶します。例えば、「前回このスニーカーを探したとき、まずリビングをチェックしたが、そこにはなかった。ガレージで見つけた」。これにより、ロボットは次回どこを見るべきかを知り、間違った部屋で時間を無駄にすることを防ぎます。

3. 実生活での動作

「雪の日の靴を持ってきて」といった曖昧な命令を出した場合、POLARは以下のように動作します。

手がかりを読む： 新しい要求を見て、整理された日記を検索します。
一致を見つける： 「青いスニーカー」のカードにある「雪の日に使用」というメモを見つけます。「ああ、ユーザーが指しているのは赤い靴ではなく、これらの靴だ」と気づきます。
経路を計画する： 旅行記を確認し、「前回、寝室ではなくガレージで見つけた」と思い出します。そのため、寝室をスキップしてまっすぐガレージに向かいます。

4. 実験が示した結果

研究者たちは、模擬された家の中で異なるロボット「脳」（AIモデル）を用いてこのシステムをテストしました。3つのアプローチを比較しました。

「記憶なし」ロボット： 今見ているものだけを見る。（どの靴を指しているか知らないため、失敗することが多い）。
「生データ」ロボット： 過去のすべてのビデオログと会話を一度に読み込もうとする。（あまりにも多くの散らかった情報に混乱する）。
POLARロボット： 整理された日記を使用する。

結果：
POLARロボットは、特に多くの類似したアイテム（3種類の靴など）がある場合や、要求が非常に曖昧な場合に、あなたが望む正確なアイテムを見つける能力がはるかに優れていました。また、以前どこを探したかを記憶していたため、アイテムへの最速の経路も特定できました。

重要な結論

この論文は、ロボットが長期的に真に役立つためには、単に「長い記憶」（すべてを保存すること）を持つだけでは不十分であると結論づけています。必要なのは賢い記憶（情報を有用な事実や経験として整理すること）です。POLARは、散らかった過去の相互作用を明確なガイドに変換し、ロボットがあなたが何を求めているかだけでなく、誰がそれを求めているのかも理解できるようにします。

技術的概要：POLAR – 長期的なユーザー相互作用を通じた具身型マルチモーダル大規模言語モデルエージェントの個人化

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）に基づく具身型エージェントは、複雑な物理タスクの解決において潜在能力を示しています。しかし、既存のアプローチは主に一般的な指示とカテゴリレベルの物体認識に焦点を当てています。現実世界のシナリオでは、個人化された支援は、長期的な相互作用を通じて蓄積された暗黙の文脈に基づいたインスタンスレベルのグラウンディングを必要とすることがよくあります。

ユーザーが複数の靴のペアがある家庭で「私の靴を持ってきて」というリクエストを出した場合、エージェントは「最後のランニングで履いた靴」などの過去の履歴に基づいて、意図された特定のインスタンスを特定しなければなりません。この設定において、現在の MLLM ベースのエージェントは 2 つの主要な課題に直面しています：

現在の入力の不十分さ: 現在の指示と視覚的観察のみに依存することは、曖昧で個人化された参照を解決するには不十分な場合が多いです。
生コンテキストの非効率性: 過去の相互作用にはユーザー固有の必要な情報が含まれていますが、生の相互作用ログは非構造化でノイズが多く、MLLM が直接推論するには困難です。その結果、長文脈設定においてパフォーマンスの低下を招くことがよくあります。

2. 手法：POLAR フレームワーク

著者は、過去の相互作用を構造化されたタスク関連メモリに整理するために設計された、マルチモーダルメモリ拡張フレームワークであるPOLAR（Personalized Long-term Agent with Retrieval）を提案します。POLAR は記憶化（Memorization）と利用（Utilization）の 2 つの明確な段階で動作します。

A. メモリ表現（マルチモーダル知識グラフ）
POLAR は、メモリを 3 種類のノードを含むグラフ $M = (V, E)$ として構造化します：

物体ノード: 物体の一意の識別子（例：物体 ID）。
意味的メモリノード: これらは物体に関連する個人化された文脈を捉えます。生ログを保存する代わりに、POLAR は相互作用を、単一のユーザー固有の属性を記述する簡潔で微細なテキスト文（例：「雪の日に使用された」）に再構成します。これにより情報の絡み合いを防ぎ、検索精度を向上させます。
エピソード的メモリノード: これらはエージェントの軌道、生のユーザー指示、参照画像を保存します。重要なのは、生軌道が、すべての低レベルのステップを保持するのではなく、計画に関連する経験（成功/失敗の状態、非生産的な部屋、有益な観察など）を捉えるコンパクトなテキスト要約に変換される点です。

グラフ内のエッジはタイムスタンプが付けられており、時間的更新と最近性を考慮した検索をサポートします。新しい相互作用が既存の物体ノードまたは意味的ノードと一致する場合、エントリを重複させるのではなく、グラフがインクリメンタルに更新されます。

B. 利用と計画
タスク実行中、POLAR はエージェントを導くために関連するメモリを検索します：

検索: 現在の指示 $I_k$ が与えられると、システムは埋め込み類似性（BGE-M3 エンコーダ経由）を使用して、上位 k 個の意味的メモリノードを検索します。
グラウンディング: エージェントは、検索された意味的ノードから対応する物体ノードへのグラフ接続をたどり、関連する指示とエピソード的メモリを収集します。
推論と計画: MLLM ポリシーは、検索された候補物体に対して推論を行い、意図されたターゲットインスタンスをグラウンディングします。その後、関連するエピソード的メモリ（過去の探索経験）を活用して、高レベルの経路計画と低レベルの動作選択を導きます。

具身型エージェント自体は、階層的な計画フレームワークに従います：

高レベル計画: シーングラフとグローバルな推論に基づいて、粗い経路（一連の部屋/経由点）を生成します。
低レベル計画: 自己中心視覚観察に基づいて、実行可能な動作（移動、回転、停止）を選択します。

3. 実験設定

データセット: 評価は、Habitat-Matterport3D（HM3D）シーンにおける個人化インスタンスグラウンディングデータセットであるPinNEDに基づいて構築されています。
シナリオ: 3 つの評価シナリオが設計されました：
- 構成的: 複数の過去のエピソードからの証拠を組み合わせる必要があります（単一対結合）。
- 妨害: 同一カテゴリの意味的・視覚的に類似した物体からターゲットを区別する必要があります。
- 時間的: 時間経過に伴う文脈の変化や物体の関連性の変化に対処する能力をテストします。
ベースライン:
- 事前情報なし: 現在の指示と観察のみを使用します。
- 生相互作用: エージェントに 15 のランダムにサンプリングされた生の過去の相互作用ログを提供します。
バックボーン: オープンソースモデル（Qwen3-VL、Qwen2.5-VL）とプロプライエタリモデル（GPT-5、GPT-4o-mini、Gemini-2.5-Flash）を含む複数の MLLM across 評価されました。

4. 主要な結果

パフォーマンスの向上: POLAR は、すべての MLLM バックボーンとシナリオにおいて、事前情報なしおよび生相互作用のベースラインを常に上回ります。
- 事前情報なしのベースラインは失敗することが多く、現在の観察のみでは個人化されたグラウンディングには不十分であることを確認しました。
- 生相互作用のベースラインは改善が一貫していません。場合によっては、非構造化のコンテキストがノイズを導入し、パフォーマンスを阻害します。
インスタンスグラウンディング: POLAR はカテゴリ一致（CM）エラー（正しいカテゴリに到達するが間違ったインスタンスであること）を大幅に削減し、同一カテゴリの候補間でユーザーの意図を解決する優れた能力を示しています。
メモリ設計分析:
- 意味的メモリ: 生相互作用に対する疎または密な検索と比較して、より微細な検索を提供し、リクエストに関連する情報をより効果的に分離します。
- エピソード的メモリ: 過去の軌道の構造化された要約は、生軌道や単純な指示のみの検索よりも高い成功率をもたらします。これは、計画に関連する経験の抽出が重要であることを証明しています。
時間的ロバスト性: POLAR は結合および時間的シナリオで顕著に優れたパフォーマンスを発揮し、物体中心のグラフが分散した情報を効果的に接続し、文脈の進化に対処することを示しています。

5. 意義と主張

この論文は、具身型エージェントの効果的な長期的個人化には、単にコンテキストウィンドウを拡張したり、生の相互作用ログを保存したりするだけでは不十分であると主張しています。中核的な貢献は、メモリを構造化することが不可欠であることを実証した点にあります。

具体的には、著者は以下を主張しています：

構造化されたメモリは必要である: 非構造化の過去の相互作用をタスク関連メモリ（意味的およびエピソード的）に変換することは、信頼性の高いインスタンスグラウンディングと計画にとって不可欠です。
二重のメモリ役割: 個人化された支援には、微細なユーザー固有属性の検索のための意味的メモリと、将来の計画を導くために過去の探索経験を再利用するためのエピソード的メモリという、異なるメモリタイプが必要です。
暗黙の文脈の解決: エージェントは、時間を通じて蓄積された暗黙のユーザー意図を解釈する能力を持たなければなりません。これは、構造化されたメモリ拡張なしでは現在の MLLM が欠いている能力です。

この研究は、マルチモーダル履歴を検索可能で推論に友好的な知識グラフに整理することにより、一般的な指示追従と真の個人化支援の間のギャップを埋めることを結論付けています。