💬 NLP

TeleMem: Building Long-Term and Multimodal Memory for Agentic AI

TeleMem 是一个面向智能体 AI 的统一长期多模态记忆系统，它通过叙事动态提取、结构化写作流水线以及 ReAct 式推理，克服了现有检索增强生成方法的局限性，在长期角色扮演基准测试中实现了卓越的准确性、效率和速度。

原作者： Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图与一位非常聪明的 AI 朋友进行一场长达数年的深度对话。问题在于，这位朋友的注意力非常短暂。如果你说话时间过长，他们就会开始忘记你在开头说过的话，或者对事件的先后顺序感到困惑。他们甚至可能会编造一些从未发生过的事实，因为他们试图去猜测你的意思。

这篇论文介绍了一个名为 TELEMEM 的新系统，它旨在给这位 AI 朋友提供一种“超级记忆”，这种记忆运作起来就像人类的长时记忆一样，但组织得极其完美，让他们永远不会迷失。

以下是它的工作原理，我使用了简单的类比：

1. 问题所在：“零散的便签” vs. “故事线”

目前大多数 AI 记忆系统的工作方式就像是一堆便签纸。

你写了一张关于你狗狗的便签。
稍后，你又写了一张关于狗狗名字的便签。
再后来，你写了一张关于狗狗最喜欢的玩具的便签。
当 AI 需要回答问题时，它会抓取一些看起来相似的随机便签。
缺陷： 这些便签是脱节的。AI 可能知道玩具，却忘了名字，或者它可能会搞混事件的顺序。这就像是在读一本页面被洗乱了的书。

TELEMEM 改变了这一点。它不再是建立一堆便签，而是构建了一棵巨大的、有组织的叙事家族树。

它将每一条新信息都连接到它所属的具体故事中。
它知道“狗狗的名字”取决于“遇见狗狗”，而“遇见狗狗”又取决于“你搬家的那一天”。
这创造了一条线索（Thread）。当 AI 需要回忆某事时，它不仅仅是抓取一张便签，而是拉动整条线索，确保整个故事从头到尾逻辑通顺。

2. 写入记忆：“编辑的办公桌”

当你与 AI 交谈时，它并不会仅仅保存你说的每一个字（那样太混乱且成本太高）。

旧方法： 保存每一句话。
TELEMEM 的方法： 想象一位忙碌的编辑。当你结束一段对话时，这位编辑会：
1. 总结关键点。
2. 检查这是新信息，还是对已有知识的更新。
3. 分组相似的主题（例如将所有“度假”相关的故事放在一个文件夹里）。
4. 将它们整合成一条简洁、清晰的条目。
这个过程是分批进行的，因此 AI 不会被信息淹没。它保存的是对话的“本质”，而非噪音。

3. 读取记忆：“侦探的地图”

当你稍后向 AI 提问时，它不仅仅是搜索关键词。

旧方法： “帮我找找关于‘度假’的内容。”（结果：一堆随机的句子混合在一起）。
TELEMEM 的方法： 它像是一个遵循地图的侦探。
- 它找到起点（问题的“种子”）。
- 然后它向后追溯依赖关系：“为了理解这次度假，我需要知道谁去了，什么时候出发的，以及之前发生了什么。”
- 它收集整个事件链（“闭环”），从而让 AI 拥有完整的上下文来给出聪明的答案，而不是碎片化的答案。

4. 看见并行动：“视频侦探”

大多数 AI 记忆系统只能理解文本。TELEMEM 的特别之处在于它也能记住视频。

如果你向 AI 展示一段复杂的事件视频，它不会仅仅存储那个视频文件。
它使用一个“思考-行动-观察”的循环（就像侦探破案一样）：
1. 思考： “我需要知道在第 5 分钟时发生了什么。”
2. 行动： 它回到视频中去查看那个特定的时刻。
3. 观察： 它看到了细节，并将这些细节添加到其记忆中。
这使得 AI 能够对复杂的视觉事件进行推理，而不仅仅是阅读它们的转录文本。

结果：为什么这很重要

作者将该系统与其他顶尖记忆系统（如 Mem0）进行了对比测试，发现：

回答更聪明： 在一项关于长对话的困难测试中，它的正确率提升了 19%。
更便宜、更快： 它节省了 43% 的计算能力（Token），且速度快了 2.1 倍。
没有幻觉： 因为它保持了“故事线”的有序性，它产生虚假事实或对过去产生混淆的可能性大大降低。

简而言之： TELEMEM 将 AI 的记忆从一个杂乱无章的散件纸盒，变成了一个井然有序、环环相扣的图书馆，在这里每一个故事都与下一个紧密相连，从而让 AI 能够清晰、高效且准确地记住长期的对话。

技术摘要：TELEMEM

1. 问题陈述

大语言模型（LLMs）在长期交互场景中面临显著局限，主要源于有限的上下文窗口以及随时间推移而退化的记忆召回能力。虽然检索增强生成（RAG）缓解了存储容量问题，但传统的流水线将记忆视为独立、无序的碎片。这种方法缺乏用于整合、更新和因果组织的原则性机制，导致了以下问题：

碎片化上下文： 检索到的信息往往遗漏了关键的前置条件或时间顺序。
推理不稳定： 因果结构的缺失导致长程推理的不一致性。
低效性： 用于写入和检索的频繁、非批处理的 LLM 调用导致了高昂的 Token 使用量和延迟。
多模态差距： 现有系统主要以文本为中心，难以整合视觉、听觉和时间信息，从而难以服务于具身智能或多媒体智能体。
幻觉风险： 依赖大型预定义模式（Schema）往往会导致在实际对话提供稀疏信号时产生属性幻觉。

2. 方法论：TELEMEM 框架

TELEMEM 是一个统一的长期且多模态的记忆系统，它将记忆组织为结构化的、可演进的语义轨迹，而非孤立的碎片。其架构由三个紧密耦合的组件组成：

A. 记忆图谱构建（结构）

记忆被形式化为一个有向无环图（DAG）， $G = (V, E)$ ，其中：

节点 ( $V$ )： 代表稳定的语义记忆状态（剖面状态、事件状态或实体/对象状态）。每个节点包含整合后的语义内容、一个嵌入向量以及反映语义有效性顺序的有效时间戳。
边 ( $E$ )： 定义了线程化的因果依赖关系。一条有向边 $p \to v_i$ 表示节点 $v_i$ 在语义上以先前的节点 $p$ 为条件。
最小因果骨架： 图谱仅保留不可约的依赖关系。冗余或传递性的边会被剪枝，以确保构建出紧凑、可解释的“根节点到节点”的线程，从而捕捉主题和状态的演进。

B. 记忆写入流水线（更新机制）

TELEMEM 将表示更新与索引更新解耦，采用结构化的写入流水线来摊销成本并确保一致性：

摘要化： 将对话轮次或多模态观测结果摘要为文本单元。
检索对齐： 将新摘要与现有记忆进行匹配，以识别相关的历史节点。
全局聚类： 将新的和检索到的候选对象合并并聚类为语义组。
基于 LLM 的整合： LLM 处理每个簇以解决冗余和不一致问题，分配动作（添加、删除、更新、无操作）以生成精炼且稳定的节点。
图谱维护：
- 离线： 节点按时间戳顺序进行处理，使用遵循时间约束和剪枝标准的 Insert 操作符来构建图谱索引。
- 在线： 实时更新使用轻量级的 Insert 和 ReInsert 操作符。当节点内容发生变化时，触发 ReInsert，重新计算其入边并刷新其子节点，以在不修改全局 DAG 特性的情况下维持线程一致性。

C. 记忆读取与推理（检索机制）

TELEMEM 不采用“Top-K 碎片拼接”，而是采用基于闭包的检索（Closure-Based Retrieval）：

种子识别： 通过嵌入相似度识别相关的种子节点。
闭包扩展： 系统从种子节点开始递归遍历依赖边，向后追溯所有可达的祖先节点（前置条件），直至到达虚拟根节点。
上下文线性化： 将生成的闭合子图按时间顺序排序，并将其序列化为下游推理的连贯上下文。

多模态扩展：
针对复杂的视频内容，TELEMEM 集成了一个 ReAct 式推理框架。智能体通过“思考–行动–观察”的循环，利用工具进行视频检索、视频-RAG（落地式摘要化）和视频-QA（视觉细节提取），从而对原始视频流进行闭环推理。

3. 核心贡献

统一框架： 引入了 TELEMEM，该系统通过叙事驱动的提取和结构化组织，维护连贯且具有抗幻觉能力的个人画像。
结构化记忆图谱： 提出了一种具有线程化依赖和基于闭包检索的记忆图谱，实现了依赖感知的上下文重建和稳定的长程推理。
高效写入流水线： 设计了执行批量检索、语义聚类和基于 LLM 整合的流程，减少了存储冗余、Token 开销和端到端延迟。
多模态推理： 开发了一个具备 ReAct 式推理能力的多模态模块，实现了针对复杂视频理解的端到端“观察–思考–行动”能力。

4. 实验结果

实验在 ZH-4O（中文角色扮演）和 LoCoMo（英文长上下文）基准测试上进行。

ZH-4O 表现： TELEMEM 实现了 86.33% 的问答准确率，相比于最先进的 Mem0（70.20%）在相对准确率上提升了 19%。同时，与基线相比，它减少了 43% 的 Token 使用量，并实现了 2.1 倍的加速。
LoCoMo 表现： TELEMEM 在单跳（64.53%）和时间推理（78.47%）方面表现出竞争力的性能，接近长上下文 LLM 在这些类别中的表现。然而，在多跳推理（20.56%）方面，其表现弱于 Memobase（66.04%）等专门的基线模型，这表明在复杂的关联推理方面仍存在挑战。
读写缩放法则（Read-Write Scaling Law）： 通过改变用于记忆写入和读取的 LLM 模型规模进行的实验表明，随着组件规模的扩大，性能呈单调提升。当写入和读取能力共同扩展时，可以获得最佳结果，这凸显了它们相互依赖的本质。

5. 意义与主张

论文声称 TELEMEM 通过将无序的碎片检索转向结构化的、因果性的记忆轨迹，解决了当前 RAG 系统的根本局限。其意义在于：

稳定性： 通过基于闭包的检索重建连贯的因果上下文，它稳定了长程推理。
高效性： 结构化的写入流水线显著降低了 Token 消耗和延迟，使长期记忆在实时智能体中变得实用。
鲁棒性： 叙事驱动的提取避免了基于模式（Schema）的幻觉，保持了可靠的用户画像。
多模态性： 它将记忆能力扩展到文本之外，支持对复杂视觉内容的闭环推理。

作者总结道，虽然没有一种方法能在所有推理类型中都占据统治地位，但 TELEMEM 协调的读写设计和结构化组织，为长期交互环境下的智能体 AI 提供了一种更优的准确性、效率和可扩展性的平衡。