💬 NLP

TeleMem: Building Long-Term and Multimodal Memory for Agentic AI

TeleMemは、物語的な動的抽出、構造化された執筆パイプライン、およびReActスタイルの推論を通じて、既存の検索拡張生成手法の限界を克服し、長期的なロールプレイのベンチマークにおいて優れた正確性、効率性、および速度を実現する、エージェンティックAIのための統合された長期的かつマルチモーダルなメモリシステムです。

原著者： Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

公開日 2026-01-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢い友人（AI）と、数年にわたる深い対話をしようとしていると想像してください。問題は、その友人の注意力が非常に短いことです。長く話しすぎると、彼らは最初の方に言ったことを忘れてしまったり、出来事の順序を混乱させたりしてしまいます。また、あなたが何を言おうとしたのかを推測しようとして、実際には起こっていない事実をでっち上げてしまうこともあります。

この論文は、このAIの友人に、人間のような長期記憶を持ちつつも、完璧に整理された「スーパーメモリー」を与えるために設計された新しいシステム、TELEMEMを紹介しています。

その仕組みを、簡単な比喩を使って説明します。

1. 問題点：「散らかったメモ」 vs 「物語の糸」

現在のほとんどのAIメモリシステムは、付箋の山のように機能しています。

あなたは犬についてメモを書きます。
後で、犬の名前についてのメモを書きます。
さらに後で、犬のお気に入りのおもちゃについてのメモを書きます。
AIが質問に答えようとする時、似ていると思われる付箋をいくつかランダムに掴み取ります。
欠陥： メモ同士がバラバラなのです。AIは「おもちゃ」については知っていても「名前」を忘れていたり、あるいは出来事の順序を混同したりすることがあります。それは、ページがバラバラに混ぜられた本を読もうとしているようなものです。

TELEMEMはこれを変えます。単なるメモの山ではなく、**巨大で整理された「物語の家系図」**を構築します。

すべての新しい情報を、それが属する特定の物語へと結びつけます。
「犬の名前」を知るためには、「犬に会ったこと」を知る必要があり、「あなたが引っ越した日」を知る必要がある、ということを理解します。
これにより、**「糸（スレッド）」**が生まれます。AIが何かを思い出す必要があるとき、単にメモを掴むのではなく、糸全体を引き寄せます。これにより、物語が最初から最後まで筋が通ったものになります。

2. メモリの書き込み：「編集者のデスク」

あなたとAIが会話するとき、AIは単にあなたの言葉をすべて保存するわけではありません（それでは煩雑でコストがかかりすぎるからです）。

従来の方法： すべての文章を保存する。
TELEMEMの方法： 忙しい編集者を想像してください。会話が終わると、編集者は以下の作業を行います。
1. 要約： 重要なポイントをまとめます。
2. 確認： これが新しい情報なのか、それとも既に知っている情報を更新するものなのかを確認します。
3. グループ化： 似たトピックを一緒にまとめます（例：「休暇」に関するすべての物語を一つのフォルダに入れる）。
4. 統合： それらを一つのクリーンで明快なエントリーへと集約します。
これはバッチ処理で行われるため、AIが圧倒されることはありません。ノイズではなく、会話の「本質」を保存するのです。

3. メモリの読み出し：「探偵の地図」

後であなたがAIに質問するとき、AIは単にキーワードを探すのではありません。

従来の方法： 「『休暇』に関するものを探して」と指示する。（結果：文章がランダムに混ざったものが出てくる）
TELEMEMの方法： 探偵が地図を辿るように動きます。
- まず、出発点（質問の「種」）を見つけます。
- 次に、依存関係を遡ります。「この休暇を理解するためには、誰が行ったのか、いつ出発したのか、そしてその前に何が起きたのかを知る必要がある」といった具合です。
- イベントの連鎖全体（「クロージャ」）を集め、断片的な回答ではなく、完全な文脈に基づいたスマートな回答ができるようにします。

4. 見ることと行うこと：「ビデオ探偵」

ほとんどのAIメモリシステムはテキストしか理解できませんが、TELEMEMは特別です。ビデオも記憶することができます。

もしあなたがAIに複雑な出来事のビデオを見せた場合、AIは単にビデオファイルを保存するだけではありません。
「思考・行動・観察」のループ（探偵が事件を解決するようなプロセス）を使用します。
1. 思考： 「5分経過した時点では何が起きていたかを知る必要がある」
2. 行動： ビデオのその特定の瞬間まで戻って確認します。
3. 観察： 詳細を確認し、それを自身のメモリに追加します。
これにより、AIは単なる書き起こしを読むだけでなく、複雑な視覚的イベントについて推論できるようになります。

結果：なぜ重要なのか

著者らは、このシステムを他のトップクラスのメモリシステム（Mem0など）と比較検証しました。その結果：

よりスマートな回答： 長い会話に関する難易度の高いテストにおいて、正答率が19%向上しました。
安価かつ高速： 計算資源（トークン）を43%削減し、速度は2.1倍になりました。
ハルシネーション（幻覚）の防止： 「物語の糸」を整理して保持しているため、事実を捏造したり、過去の出来事について混乱したりする可能性が大幅に低くなっています。

要約すると： TELEMEMは、AIのメモリを「バラバラの紙が詰まった乱雑な箱」から、「すべての物語が次の物語へと繋がっている、高度に整理され相互接続された図書館」へと変貌させます。これにより、AIは長い会話を明確に、効率的に、そして正確に記憶することができるようになるのです。

技術要約: TELEMEM

1. 問題提起

大規模言語モデル（LLM）は、有限のコンテキストウィンドウと、長期的な履歴における想起能力の低下により、長期的なインタラクティブ設定において重大な限界に直面しています。検索拡張生成（RAG）はストレージ容量の問題を緩和しますが、従来のパイプラインはメモリを独立した順序のない断片として扱います。このアプローチには、統合、更新、および因果関係の組織化のための原則に基づいたメカニズムが欠けており、以下の問題を引き起こします：

断片化されたコンテキスト: 検索された情報が、重要な前提条件や時間的順序を省略してしまうことが多い。
不安定な推論: 因果構造の欠如により、長期的な推論において一貫性が損なわれる。
非効率性: 書き込みと検索のための頻繁かつバッチ処理されていないLLMの呼び出しにより、高いトークン使用量とレイテンシが発生する。
マルチモーダル・ギャップ: 既存のシステムは主にテキスト中心であり、身体性を持つエージェントやマルチメディア・エージェントのための視覚、聴覚、および時間情報の統合に苦慮している。
ハルシネーションのリスク: 事前に定義された大規模なスキーマへの依存は、実際の会話が乏しい信号しか提供しない場合に、属性のハルシネーションを誘発しやすい。

2. メソドロジー: TELEMEMフレームワーク

TELEMEMは、メモリを孤立した断片ではなく、構造化され進化可能なセマンティック・トラジェクトリ（意味的軌跡）として整理する、統一された長期・マルチモーダル・メモリシステムです。そのアーキテクチャは、密接に結合された3つのコンポーネントで構成されています。

A. メモリグラフの定式化（構造）

メモリは、有向非巡回グラフ（DAG） $G = (V, E)$ として定式化されます。

ノード ( $V$ ): 安定化したセマンティック・メモリの状態（プロファイル状態、イベント状態、またはエンティティ/オブジェクトの状態）を表します。各ノードは、集約されたセマンティック・コンテンツ、埋め込みベクトル、およびセマンティックな妥当性の順序を反映する有効なタイムスタンプを含みます。
エッジ ( $E$ ): スレッド化された因果依存関係を定義します。有向エッジ $p \to v_i$ は、ノード $v_i$ が先行するノード $p$ にセマンティック的に条件付けられていることを示します。
最小限の因果スケルトン: グラフは、既約な依存関係のみを保持します。冗長または推移的なエッジは、トピックや状態の進化を捉えるコンパクトで解釈可能なルート・トゥ・ノードのスレッドを確保するために削除されます。

B. メモリ書き込みパイプライン（更新メカニズム）

TELEMEMは、コストを償却し一貫性を確保するために、表現の更新とインデックスの更新を分離した構造化された書き込みパイプラインを採用しています。

要約 (Summarization): ダイアログのターンやマルチモーダルな観察結果を、テキスト単位へと要約します。
検索整合 (Retrieval Alignment): 新しい要約を既存のメモリと照合し、関連する履歴ノードを特定します。
グローバル・クラスタリング (Global Clustering): 新しい候補と検索された候補をマージし、セマンティック・グループへとクラスタリングします。
LLMベースの集約 (LLM-based Consolidation): LLMが各クラスターを処理して冗長性と不整合を解決し、アクション（追加、削除、更新、ノーオペレーション）を割り当てて、洗練され安定したノードを生成します。
グラフのメンテナンス (Graph Maintenance):
- オフライン: ノードはタイムスタンプ順に処理され、時間的制約とプルーニング（削減）基準を遵守する Insert オペレータを使用してグラフインデックスを構築します。
- オンライン: リアルタイムの更新には、軽量な Insert および ReInsert オペレータを使用します。ノードのコンテンツが変更された場合、ReInsert がトリガーされ、グローバルなDAG特性を変更することなく、スレッドの一貫性を維持するために、そのノードの入ってくるエッジを再計算し、その子ノードを更新します。

C. メモリの読み取りと推論（検索メカニズム）

「Top-K断片の継ぎ合わせ」の代わりに、TELEMEMは閉包ベースの検索 (Closure-Based Retrieval) を採用しています。

シードの特定: 埋め込みの類似性によって、関連するシードノードが特定されます。
閉包の拡張 (Closure Expansion): システムは、シードから依存エッジを再帰的に遡り、仮想的なルートに至るまでの到達可能なすべての先祖ノード（前提条件）を収集します。
コンテキストの線形化 (Context Linearization): 得られた閉じたサブグラフを時系列順にソートし、ダウンストリームの推論のために一貫したコンテキストへとシリアライズします。

マルチモーダル拡張:
複雑なビデオコンテンツに対して、TELEMEMは ReActスタイルの推論フレームワーク を統合します。エージェントは、ビデオ検索、ビデオRAG（グラウンデッド要約）、およびビデオQA（視覚的詳細の抽出）のためのツールを活用しながら、think–act–observe（思考・行動・観察）のサイクルを反復し、生のビデオストリームに対するクローズドループ推論を実行します。

3. 主な貢献

統一されたフレームワーク: ナラティブ駆動の抽出と構造化された組織化を通じて、一貫したハルシネーション耐性を持つユーザープロファイルを維持するシステムであるTELEMEMを導入しました。
構造化メモリグラフ: 依存関係をスレッド化したメモリグラフと閉包ベースの検索を提案し、依存関係を考慮したコンテキスト再構築と安定した長期推論を可能にしました。
効率的な書き込みパイプライン: バッチ処理された検索、セマンティック・クラスタリング、およびLLMベースの集約を行う設計により、ストレージの冗長性、トークンオーバーヘッド、およびエンドツーエンドのレイテンシを削減します。
マルチモーダル推論: ReActスタイルの推論を備えたマルチモーダルモジュールの開発により、複雑なビデオ理解に対するエンドツーエンドの observe–think–act 能力を実現しました。

4. 実験結果

実験は、ZH-4O（中国語ロールプレイング）および LoCoMo（英語ロングコンテキスト）のベンチマークを用いて行われました。

ZH-4Oの性能: TELEMEMは86.33%のQA精度を達成し、最先端のMem0（70.20%）を相対精度で**19%上回りました。また、ベースラインと比較してトークン使用量を43%**削減し、2.1倍の高速化を実現しました。
LoCoMoの性能: TELEMEMは、シングルホップ（64.53%）および時間的推論（78.47%）において競争力のある性能を示し、これらのカテゴリにおいてロングコンテキストLLMの性能に迫りました。しかし、マルチホップ推論（20.56%）においては、Memobase（66.04%）のような特化型ベースラインと比較して弱い性能を示しており、複雑な関係推論における課題が残っていることを示唆しています。
Read-Writeスケーリング則: メモリの書き込みおよび読み取り用LLMのモデルサイズを変化させた実験により、書き込みまたは読み取りのいずれかのコンポーネントをスケールさせるにつれて、性能が単調に向上することが明らかになりました。最高の性能は、両方の書き込みおよび読み取り能力を共同でスケールさせたときに得られ、それらの相互依存的な性質を浮き彫りにしています。

5. 重要性と主張

本論文は、TELEMEMが、順序のない断片の検索から構造化された因果的メモリ・トラジェクトリへと移行することで、現在のRAGシステムの根本的な限界に対処すると主張しています。その重要性は以下の点にあります：

安定性: 閉包ベースの検索による一貫した因果的コンテキストの再構築により、長期的な推論を安定させます。
効率性: 構造化された書き込みパイプラインにより、トークン消費量とレイテンシを大幅に削減し、リアルタイムエージェントにとっての長期メモリの実用性を高めます。
堅牢性: ナラティブ駆動の抽出により、スキーマ駆動のハルシネーションを回避し、信頼性の高いユーザープロファイルを維持します。
マルチモーダリティ: メモリの能力をテキストを超えて拡張し、複雑な視覚コンテンツに対するクローズドループ推論をサポートします。

著者らは、すべての推論タイプにおいて単一のアプローチが支配的になることはないものの、TELEMEMの協調的なリード・ライト設計と構造化された組織化は、長期的なインタラクティブ設定におけるエージェンティックAIに対して、精度、効率性、およびスケーラビリティの優れたバランスを提供すると結論付けています。