Editable Multimodal Memory with Reinforcement Learning Management for Long-Horizon Personalized Agents

想像してみてください。あなたは、あなたが話したすべてのことをすべて覚えている、超スマートなロボットの友人と話しています。最初は素晴らしいことのように思えますが、一つ落とし穴があります。もしそのロボットが、これまでの会話のあらゆる言葉をすべて記憶しようとすれば、最終的にその脳は爆発してしまうか、あるいは使い道のない古い詳細事項で溢れかえってしまい、重要な情報が見つけられなくなってしまうのです。これは、今日の「AIエージェント」（人間のように振る舞うように設計されたコンピュータプログラム）が直面している大きな問題です。彼らは役に立つために過去を覚えている必要がありますが、彼らの「脳のスペース」（コンテキストウィンドウと呼ばれます）には限りがあり、情報を永遠に積み上げ続けることはできません。科学者たちは、リスがどんぐりを溜め込みすぎるようにデータを蓄積するのではなく、何を保持し、何を捨て、そしてあなたが考えを変えたときにどのように記憶を更新すべきかを理解できるメモリシステムを構築する方法を模索しています。

この論文は、そのようなメモリシステムを構築するための新しい方法を紹介しています。これは、あなたのロボットの友人に「賢い司書」と「編集可能な魔法のノート」を与えるようなものだと考えてください。本を棚に積み上げ続けて図書館を崩壊させるのではなく、このシステムは、何を残すべきかを決定するための特別なマネージャー（強化学習、つまりコンピュータが試行錯誤して良い選択をすることでポイントを得るビデオゲームのようなもの）を使用します。このシステムはテキスト、画像、音声を扱い、最も重要なのは、ユーザーであるあなたが「実は、さっき言ったことは違います」とか「その記憶を丸ごと削除して」と言ったときに、システムが即座に従うことができる点です。研究者たちは、これを大規模なシミュレーションでテストしました。30,000回のインタラクションを通じて、彼らの「賢い司書」は、古い手法よりも正しいものを覚え、間違ったものを忘れることにずっと優れていることが分かりました。

問題点：忘れることができない脳

あなたが先週友達に話した物語を思い出そうとしている場面を想像してください。もし、あなたが着ていたシャツの色、声の正確なトーン、背景のノイズなど、あらゆる細部をすべて覚えようとしたら、物語の要点を見つけることは不可能になります。現在のAIエージェントも同様です。彼らはあなたと会話することはできますが、会話が長くなりすぎると、最初の方の内容を忘れてしまったり、もはや重要ではない古い事実によって混乱したりします。また、彼らはあなたが考えを変えたときにも苦労します。もしあなたがAIに「ピザが好きです」と言い、その後で「実は、チーズのアレルギーがあります」と言った場合、標準的なAIは最初の記憶に固執してしまうため、依然としてあなたにピザを注文しようとするかもしれません。

この論文は、私たちには編集可能でマルチモーダルなメモリシステムが必要であると主張しています。「マルチモーダル」とは、単に、言葉、写真、音といった異なる種類の情報を扱えることを意味します。「編集可能」とは、Googleドキュメントを編集するように、間違いを修正したり削除したりできることを意味します。著者たちは、単にすべてを永遠に保存するのではなく、自らメモリを能動的に管理し、何が重要で何を捨てるべきかを決定し、かつユーザーの指示に従うシステムを構築したいと考えました。

解決策：賢い司書と魔法のノート

著者たちは、2つの主要なパーツを持つシステムを作成しました。それは、バージョン管理されたマルチモーダル・メモリ（魔法のノート）と、アクター・クリティック・マネージャー（賢い司書）です。

魔法のノート（メモリ）
このノートを、異なる種類の記憶のための特別なページを持つものと考えてください。エージェントに何かを伝えると、それはノートに書き込みます。しかし、ここからが面白いところです。単に一つのバージョンを書くのではありません。それは「バージョン管理された」記録を作成します。もしあなたが「青が好きです」と言い、後に「赤の方が好きです」と言った場合、ノートは最初のページを消去するのではなく、最初のページを「古いもの」としてマークし、「赤が現在の好みである」という新しいページを書き込みます。また、削除したいもののための「墓石（tombstone）」も保持します。墓石とは、「これは永久に消去されました。ここを見ないでください」という小さな赤い旗のようなものです。

このノートはスペースについても賢いです。もし記憶が非常に長い、あるいは詳細すぎる場合、システムはそれを「圧縮」することができます。10ページの物語を、主要な点は維持したまま、無駄を削ぎ落とした4ページの要約に変える様子を想像してください。論文によれば、完全なメモリは1.00ユニットのスペースを占めますが、圧縮されたものはわずか0.42ユニットしか使いません。これにより、重要な事実を失うことなく、新しい記憶のためのスペースを節約できます。

賢い司書（マネージャー）
ここで強化学習が登場します。「司書」はノートを監視し、何をすべきかを決定するAIです。それは、以下のような12種類のヒント（手がかり）をチェックします。

• ノートにどれくらいの空き容量があるか？
• これはユーザーが考えを変えたことに関する記憶か？
• この記憶は他の何かと矛盾しているか？
• ユーザーが近いうちにこれについて再び尋ねる可能性はどのくらいあるか？

これらのヒントに基づき、司書は「これをそのまま保持する」「これを圧縮する」「これを捨てる」「これを更新する」といった決定を下します。司書は、シミュレーションの中でさまざまな戦略を試し、良い決断に対して「ポイント」を得ることで学習します。もしユーザーが必要とする記憶を捨ててしまったら、ポイントを失います。もしユーザーを助ける記憶を保持できたら、ポイントを得ます。

結果：司書の勝利

研究者たちは、合計30,000回のインタラクションと6,000回の質問を含む、10種類の異なるストリームを用いた「ストレス・テスト」でこのシステムをテストしました。彼らは、単純な「先入れ先出し（FIFO）」ルール（新しい記憶のために最も古い記憶を捨てるだけのもの）や、他の基本的なルールと比較して、この「賢い司書」を検証しました。

結果は明白でした。

• 高い想起能力： 賢い司書は、トップの回答を求められた際、正解となる記憶を**27.7%の確率で見つけ出しました。これは、次に優れた手法が17.6%**しか正解できなかったのと比べると、大幅な向上です。
• 好みの記憶： ユーザーが考えを変えたとき（「好みの変化」）、司書は新しい好みを**47.5%の確率で記憶していましたが、従来の手法は35.4%**程度で苦戦していました。
• 古い記憶の排除： 最も印象的な発見は、賢い司書が「古い（stale）」記憶（時代遅れになったり削除されたりした記憶）をゼロに抑えたことです。他の手法は、古い、不正確な情報を表示するという間違いを犯し続けました。
• スペースの効率性： 司書はよりスマートであったにもかかわらず、他の手法よりもノートを早く埋め尽くすことはありませんでした。実際、重要度の低いものを圧縮する方法を知っていたため、単純なFIFO法よりも記憶を追い出す（evict）回数が少なくなりました。

なぜこれが重要なのか

この論文は、すべてを記憶して混乱するロボットと、多くを忘れすぎてしまうロボットの間の、どちらか一方を選ぶ必要はないということを示しています。「賢い司書」に「魔法のノート」を管理させることで、真にパーソナライズされたエージェントを構築できるのです。それらはテキスト、画像、音声を扱うことができ、あなたの考えを変えたり、データを削除したりする権利を尊重します。

著者たちは、これは制御されたシミュレーション内でのテストであり、まだ現実世界の人間の相手としてテストされたわけではないという点に注意を促しています。しかし、その結果は、もし私たちがAIエージェントを長期的なパートナーにしたいのであれば、柔軟で、編集可能で、そして「いつ保持し、いつ手放すべきか」を知る賢い脳によって管理されたメモリシステムを与える必要があることを示唆しています。それは、メモリを静的なデータの山から、生き生きとした対話のパートナーへと変えるのです。