💬 NLP

Learning What to Share and What to Personalize: Hierarchical Strategy Co-Evolution for Agent Memory

本文提出了 HiPS，这是一个通过协同演化全局共享记忆策略与用户特定自适应规则，从而动态优化智能体在个性化交互中保留或丢弃信息的层级化框架。

原作者： Yupeng Han, Shuochen Liu, Kai Zhang, Ze Liu, Zhihong Pan, Xianquan Wang

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yupeng Han, Shuochen Liu, Kai Zhang, Ze Liu, Zhihong Pan, Xianquan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界里，研究人员正在教计算机程序扮演个人助手的角色，使其能够进行长期的对话，并记住与他们交谈的人的细节。为了让这些数字智能体真正发挥作用，它们不能仅仅处理当下的言语，还需要建立一个持久的用户画像，回想起过去的偏好、情感状态和生活事件。然而，人类的对话可以延伸到数千轮，产生海量的信息，没有任何计算机能将其全部保存在即时记忆中。挑战在于决定保留什么以及遗忘什么。如果智能体记得太少，它会变得健忘且平庸；如果记得太多，它会被无关的细节淹没，从而失去专注于重要事项的能力。目标是找到一种方法，去整理出一份关于个人历史的精简且有用的摘要，使智能体无论对话进行了多久，都能以一致性和关怀感做出回应。

长期以来，解决这一问题的标准方法是对每个人都应用一套单一、僵化的规则。想象一位图书管理员，无论来访者是普通的读者还是研究学者，都使用完全相同的归档系统。这种“一刀切”的方法在处理常见情况时效果良好，但在用户需求独特或行为随时间发生变化时则会失效。近期一些试图让这些系统变得更聪明的尝试涉及教它们从经验中学习，但即使是这些先进的方法，也往往在学习开始前就确定了一套固定的策略，或者将每个用户都视为完全相同的个体。其结果通常是一种折衷方案，虽然满足了平均水平的用户，却让许多人感到回复略显生疏，缺乏让对话具有个性化色彩的微妙细节。

中国科学技术大学的一个研究小组提出了一种解决此问题的新方法，称其框架为 HiPS。该系统并没有强迫每个用户都进入同一个模具，而是将记忆管理任务拆分为两个部分：一个适用于所有人的共享基础层，以及一个专门针对个人进行适配的灵活层。这就像是一个每个人都在使用的通用语法，结合了一种只有你才会使用的个人方言。共享部分学习关于如何高效组织信息的通用原则，例如如何处理冲突的事实或如何总结一个长篇故事。然而，个人部分则会观察那些行为异于大众的用户。如果某个用户的互动方式无法被通用规则很好地捕捉，系统就会为他们创建一套定制的指令。

这种方法的独特之处在于，这些规则并非静态的，而是随着智能体的表现而进化。系统通过观察智能体完成工作的质量来不断测试自身的策略。如果一条规则有助于智能体给出更好的答案，那么这条规则就会变得更强并更有可能被使用。如果一条规则导致了混乱或错误，它就会被削弱或丢弃。这创造了一个改进的循环，其中共享规则和个人规则相互影响。有时，一条最初作为某个用户个人特性的规则，会被证明对所有人都有利，从而被系统提升到共享基础层供所有人使用。反之，如果某条通用规则被证明对特定类型的用户有害，系统会用量身定制的替代方案来取代它。这种动态调整确保了记忆系统既保持高效，又具备深度个性化。

研究人员使用各种具有挑战性的基准测试对该方法进行了测试，这些测试模拟了涉及不同类型用户的长期、复杂的对话。在这些测试中，新框架始终优于其他系统，尤其是在涉及极长历史记录或存在嘈杂、干扰信息的情况下。在一次涉及 128,000 字对话历史的具体测试中，新系统的准确度得分达到了 62.01，显著高于排名第二的方法（得分为 55.37）。当系统需要处理具有截然不同性格的用户时，这种提升更为显著。例如，在针对一名金融爱好者的测试中，个性化层帮助智能体记住了特定的投资细节，而通用的系统则会将这些细节总结掉，从而使该用户的表现提升了 18.6 个百分点。同时，对于需求已被通用规则很好覆盖的用户，系统避免了增加不必要的复杂性，从而防止了性能下降。

研究还表明，该系统具有鲁棒性和适应性。它所学习的规则并不绑定于特定的计算机模型，而是可以迁移到不同的底层技术上，这表明它所发现的原则是关于记忆运作方式的基础原理。此外，随着对话变长，系统仍能将记忆规模控制在一定范围内，证明了它可以在不丢失信号的情况下有效地过滤噪声。研究人员发现，最显著的收益来自于区分“对所有用户都是普遍真理”与“对个人而言是特有属性”的能力。通过分离这两个关注点并允许它们共同进化，该系统避免了过于僵化或过于混乱的陷阱。

尽管结果令人鼓舞，但研究人员指出，他们的工作主要集中在英语对话和特定类型的任务上。他们承认，随着这些系统与用户进行长达数年而非仅数天的互动，人类性格的基本性质可能会发生变化，从而需要更复杂的更新。尽管如此，这项工作为构建能够真正记住“你是谁”的智能体提供了一条清晰的路径——让它们的记忆去适配你独特的经历，而不是强迫你的经历去适配一个预设的模板。研究结果表明，个性化人工智能的未来不在于记住一切，而在于学会究竟哪些该分享，哪些该留给自己。

技术摘要：HiPS (分层个性化策略)

1. 问题陈述

记忆增强型智能体旨在维护紧凑的用户画像，以便在长对话中实现个性化且一致的响应，而无需处理整个对话历史。其核心挑战在于记忆管理策略：即在每一步确定哪些信息应当保留、压缩或丢弃。

现有方法存在两个主要局限性：

静态、一刀切的策略： 大多数方法采用固定的、预定义的规则（通过人工设计或在训练前学习），这些规则对所有用户都完全相同。这无法考虑到最优的记忆决策本质上是用户特定的，并且会随着策略优化而动态演进。
缺乏适应性： 虽然近期的强化学习（RL）方法将记忆操作视为可学习的动作，但它们通常针对群体平均奖励进行优化。这导致利基用户行为（niche user behaviors）的信号被多数派模式所淹没，从而产生一种无法捕捉个体细微差别的折中方案。此外，使用显式策略的方法通常在训练期间冻结这些规则，导致随着策略的演进，预设策略与实际展开轨迹（rollout trajectories）之间出现失配。

本文认为，共享通用规则与用户特定适配之间的边界必须通过经验发现，而非预先定义，且策略必须与策略本身协同演进。

2. 方法论：HiPS 框架

作者提出了 HiPS (Hierarchical Personalized Strategy，分层个性化策略)，该框架将记忆管理解耦为全局共享基础 ( $S_u$ ) 和用户特定自适应层 ( $\Delta_p$ )。该框架通过一个连续的协同演进循环运行，其中策略发现与策略优化是交替进行的。

核心组件

1. 通用策略蒸馏 (USD)

目标： 演化适用于整个群体的共享规则 ( $S_u$ )。
机制： USD 在多样化的角色（personas）中采样 top-k 和 bottom-k 轨迹。LLM 元优化器对比这些对比集，生成结构化差异（验证、假设、修正），而非自由形式的摘要。
证据追踪： 为了防止噪声，规则被分配证据等级（初步、已证实、已确立）。规则根据验证信号和预测增益 (Predictive Gain, PG) 指标进行晋升或降级，该指标衡量了遵循规则的轨迹与不遵循规则的轨迹之间任务成功率的绝对差值。

2. 角色增量蒸馏 (PDD)

目标： 为行为偏离群体常模的用户生成自适应规则 ( $\Delta_p$ )。
分歧门控： 为避免计算浪费和过拟合，仅当用户的累积规则效能差异 ( $D_p$ ) 超过阈值 ( $\theta_{div}$ ) 时才会触发 PDD。低于此阈值的用户仅依赖于 $S_u$ 。
行为条件化蒸馏： 对于分歧用户，LLM 会制定管理行为，这些行为严格区别于 $S_u$ ，并约束为面向管理的（规定动作）而非事实断言，以确保对未见用户的泛化能力。

3. 跨层级规则流 (Cross-Level Rule Flow)

目标： 动态校准 $S_u$ 与 $\Delta_p$ 之间的边界。
泛化 ( $\Delta_p \to S_u$ )： 如果一个个性化规则在足够比例的角色 ( $\ge \theta_{flow}$ ) 中被证明是有益的，则将其晋升至通用层并从个体增量中移除。
特化 ( $S_u \to \Delta_p$ )： 如果一个通用规则被 USD 修订或降级，则为先前依赖该规则的用户提供角色特定的替代方案，以防止性能下降。

4. 策略注入与协同演进

次模选择 (Submodular Selection)： 活动策略 $S_p = S_u \cup \Delta_p$ 受限于 Token 预算 $B$ 。贪婪次模选择算法在最大化覆盖范围（基于 PG）的同时惩罚冗余。
奖励分离： 为了防止自我强化的确认偏差，框架对奖励进行了分离：
- $R_{ans}$ (任务正确性)： 专门用于更新蒸馏缓冲区并对用于策略精炼的轨迹进行排序。
- $R_{follow}$ (策略遵循度)： 仅用于 GRPO (Group Relative Policy Optimization) 策略更新，以使模型与活动策略保持一致。
- 这种分离确保了策略演进严格锚定于客观的任务结果，而非仅仅是对于潜在错误规则的顺从。

3. 主要贡献

问题形式化： 本文将策略个性化形式化为一个共享规则与用户特定规则之间的边界必须通过经验发现并协同演进的问题，而非静态预定义。
HiPS 框架： 引入了一个 RL 框架，通过基于证据的蒸馏 (USD/PDD) 和跨层级规则流，使通用策略与用户特定自适应规则协同演进。
实证发现： 实验表明存在“组件重要性翻转”：通用规则主导领域内性能，而自适应机制（PDD 和 Flow）对于领域外泛化至关重要。

4. 实验结果

该框架在四个基准测试上进行了评估：PersonaMem（偏好演进）、PrefEval（显式/隐式查询）、PersonaBench（个性化检索/问答）以及 PERMA（事件驱动偏好）。

整体性能： HiPS 在所有 12 个评估设置中一致优于基准模型（包括长上下文、RAG、基于检索的记忆库如 Mem0/A-Mem，以及基于 RL 的智能体如 MemAgent/MemSkill）。
- 在 PersonaMem (128K) 上，HiPS 达到了 62.01% 的准确率，显著超过了表现最好的基准模型（MemSkill 为 55.37%）和长上下文基准（20.74%）。
- 在 PrefEval 上，HiPS 在显式任务中达到 89.20%，在隐式任务中达到 69.40%，在所有领域类别中均处于领先地位。
消融实验：
- 移除 USD 导致领域内任务性能大幅下降，证实了通用规则的必要性。
- 移除 Cross-Level Flow 导致领域外设置中的性能下降最为严重，使 C-S 准确率从 66.95 降至 45.39，导致 PERMA 平均下降了 19.4 点，凸显了动态规则迁移的重要性。
- 移除 PDD 导致了中度但持续的下降，验证了选择性个性化的必要性。
扩展性与迁移：
- 扩展性： 随着对话长度增加到 128K token，HiPS 保持了有界的记忆增长（约 1,900 tokens）和线性时间扩展，展示了在超长上下文中的效率。
- 跨模型迁移： 使用一种骨干网络（如 Qwen2.5-7B）蒸馏的策略可以有效地迁移到其他模型（如 GPT-4o-mini, Gemini 2.5 flash, GPT-5），证实了所学策略的模型无关性。

5. 意义与主张

本文声称 HiPS 在多层级策略与主动策略之间建立了连续的协同演进循环。通过将记忆管理解耦为通用基线和用户特定增量，该框架解决了静态流水线的僵化问题以及“一刀切”的群体平均 RL 带来的妥协问题。

作者强调，该方法实现了真正的长期个性化记忆系统，其中：

基础规则是普遍有益且共享的。
利基行为会得到定制化处理，而不会为所有用户带来冗余计算。
系统随策略演进而动态调整，确保策略始终与实际的展开轨迹保持一致。

这项工作被视为迈向能够处理长程、个性化交互且无需直接保留完整历史记录（从而避免 token 膨胀或上下文限制）的鲁棒智能体的重要一步。作者也谦虚地指出了在多语言适用性和极长期（多年）人格漂移方面的局限性，并建议将其作为未来的研究方向。