💬 NLP

SPRInG: Continual LLM Personalization via Selective Parametric Adaptation and Retrieval-Interpolated Generation

本文介绍了 SPRInG，这是一个用于大语言模型持续个性化的半参数化框架，它通过将针对高新颖性交互以漂移驱动的选择性适配来更新用户特定适配器，与检索插值生成相结合，有效地解决了偏好演进问题，同时防止了灾难性遗忘。

原作者： Seoyeon Kim, Jaehyung Kim

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Seoyeon Kim, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明、博学多才的朋友聊天，他了解各方面的知识。你打电话给他寻求建议，比如如何烤酸种面包（sourdough bread）。如果你已经和他聊过一百次了，他可能会记得你讨厌酵母、喜欢酥脆的表皮，而且总是把吐司烤焦。他们会为你量身定制建议。这就是大语言模型（LLM）个性化的梦想：教导一个 AI 了解你，直到它能说你的语言，记住你的怪癖，并给出感觉像是来自你最好的朋友的答案。

然而，这里有一个问题。人不是静止不变的；我们会改变。也许你突然决定爱上了酸种面包但讨厌酵母，或者因为买了一个新烤箱，你不再把吐司烤焦了。如果你的 AI 朋友一直沿用一年前那个“你”的记忆，它的建议就会显得格格不入。这就是**偏好漂移（preference drift）**的问题：你的品味在进化，但 AI 的记忆却保持着冻结状态。

为了解决这个问题，科学家们尝试了两种主要技巧。一种是检索（retrieval），这就像 AI 在一本记录了你过去所有话语的巨型笔记本中疯狂翻找，试图找到关于你现在的需求线索。另一种是适配（adaptation），即 AI 重写自己的大脑（其内部参数），以永久性地学习你的新习惯。但两者都有缺陷。笔记本会变得太重、太乱而难以快速搜索；而重写大脑则可能会意外抹去旧的、重要的记忆（这被称为“灾难性遗忘”问题），或者被暂时的情绪所干扰。大问题在于：我们如何构建一个能够随着你的变化而学习，既不会忘记过去的你，又不会被你的糟糕日子所分心的 AI？

于是，出现了由研究员 Seoyeon Kim 和 Jaehyung Kim 提出的一种新方法——SPRING。不要把 SPRING 看作单一的工具，而要把它看作是一个聪明的两部分策略，旨在让 AI 成为你永远完美的挚友。这个名字代表了选择性参数适配与检索插值生成（Selective Parametric adaptation and Retrieval-Interpolated Generation）。虽然名字有点拗口，但其核心理念却出奇地简单且富有趣味。

问题所在：“糟糕的一天” vs. “全新的你”

想象一下，你告诉你的 AI 朋友：“我打算开始只吃绿色食物。”如果你是因为在一周的临时节食期间这么说，你不希望 AI 永久忘记你热爱披萨。但如果你是因为真正改变了生活方式才这么说，你确实希望 AI 记住这一点。

旧的方法就像一把大锤：每当你说了新话，它们就会更新 AI 的大脑，或者只是把你的整个历史记录丢进搜索框。这意味着 AI 要么会被你的暂时情绪（比如糟糕的一天）搞混，要么会忘记你根深蒂固的偏好。研究人员意识到，要处理现实生活，AI 需要成为一名侦探，而不只是一个记录员。它需要弄清楚：这是一个真实的自我改变，还是仅仅是噪音？

解决方案：SPRING 的两步舞步

SPRING 通过将**训练（学习）与推理（回答）**进行巧妙的分离来解决这个问题。

1. 训练阶段：“漂移侦探”（选择性适配）

当你与 AI 交谈时，SPRING 不会盲目地更新大脑。相反，它在玩一场“找不同”的游戏。

评分卡： AI 会比较它使用“旧大脑”（基础模型）与使用“当前大脑”（了解你的部分）来回答同一个问题时的差异。如果答案完全不同，这就是一次**高新颖度（high-novelty）**的交互。这表明你可能展示了新的偏好。
过滤器： 但是等等！万一你只是输入了一些乱码呢？AI 会检查质量（Quality）。它会确保你所说的新内容在语言逻辑上是通顺的。
筛选： 只有那些既是新的（与之前不同）又是高质量（符合语言逻辑）的交互，才有资格更新 AI 的大脑。这被称为漂移驱动的选择性适配（Drift-Driven Selective Adaptation）。这就像 AI 在说：“好吧，你说你今天喜欢吃辣，而且这是一个完整的句子，而不是打错字。我会更新我的记忆，记住你喜欢吃辣。”
安全网： 那么那些难以学习的内容呢？也许你只提到过一次某种特定品牌的辣酱，而 AI 的大脑并没有完全捕捉到它。SPRING 会将这些棘手的时刻保存在一个特殊的**回放缓冲区（Replay Buffer）**中。把这想象成一个“便利贴”盒子。对于这些情况，AI 不会重写整个大脑，而是把笔记放在手边，以备后用。这防止了 AI 忘记那些难以内化的小细节。

2. 推理阶段：“双路径”回答（检索插值生成）

现在，你向 AI 提问。它如何回答？它不只是依赖大脑，也不只是查看笔记。它同时做这两件事！

路径 A（大脑）： AI 使用其更新后的脑（参数化知识）来生成答案。这很快，而且感觉很自然。
路径 B（笔记）： AI 也会查看它的回放缓冲区（便利贴），看看是否有与你的问题相匹配的过去对话。
守门员： 这是神奇之处。在查看笔记之前，AI 会问：“这张笔记真的相关吗？”如果你问的是披萨，而笔记是关于数学题的，AI 就会忽略它。这就是相关性门控（Relevance Gating）。它能防止 AI 被无关的历史信息分散注意力。
融合： 如果笔记相关，AI 会将大脑生成的答案与笔记中的答案混合在一起。它不是简单地二选一，而是像混合两种颜色的油漆一样将它们融合。这就是逻辑插值（Logit Interpolation）。结果是一个既带有长期记忆感（大脑），又因为刚刚查阅了具体细节而显得极其准确（笔记）的答案。

研究发现

研究人员在两个现实任务上测试了 SPRING：为科学论文撰写摘要（Abstracts）以及撰写产品评论（Product Reviews）。他们将其与其他方法进行了对比，这些方法要么只是更新大脑，要么只是查看笔记，或者尝试以笨拙的方式兼顾两者。

结果显而易见：SPRING 赢了。

在撰写摘要方面，SPRING 在一项关键指标上比排名第二的方法高出了巨大的幅度（约 15.85%）。
在撰写评论方面，它比标准方法提升了 18.12%。

论文指出，其成功的秘诀在于选择性（selectivity）。通过仅在出现真正的“漂移”（真实的改变）时才更新大脑，并通过仅在笔记相关时才将其融入，SPRING 避免了忘记旧偏好或被暂时噪音干扰的陷阱。

为什么这很重要

这不仅仅关乎写出更好的文章或评论。这是关于构建能够与我们共同成长的 AI。如果你想要一个能记住你在 2020 年喜欢爵士乐、在 2022 年讨厌它、而在 2024 年又重新爱上它的 AI 助手，你需要一个能够处理这种流动的系统。SPRING 表明，个性化 AI 的未来不在于拥有更大的大脑或更大的笔记本，而在于拥有足够聪明的头脑，知道何时该学习以及何时该查阅资料。

研究人员承认存在权衡。进行这种“双路径”检查比盲目回答需要稍多的计算能力。但他们发现，通过使用“守门员”机制仅在必要时才检查笔记，可以节省大量的额外精力。

简而言之，SPRING 为教导 AI 成为一个更好的朋友提供了一种新方法：它会仔细倾听，在正确的时间学习正确的事，并且永远不会忘记那些让你成为“你”的细微之处。

技术摘要：SPRING

问题定义

本文探讨了大型语言模型（LLMs）在**持续个性化（continual personalization）**方面面临的挑战。虽然现有的个性化方法能有效使模型适应用户偏好，但它们通常假设这些偏好是静态的（时间不变的）。实际上，用户兴趣在不断演变，从而产生了“偏好漂移（preference drift）”。

现有方法难以应对这种动态特性：

非参数化方法（例如标准的检索增强生成/RAG）依赖于静态或不断扩大的交互历史。它们往往存在近期信号微弱、存储成本高以及无法区分真实的偏好转变与瞬时噪声或无关上下文的问题。
参数化方法（例如微调用户特定的 LoRA 适配器）在处理噪声流时面临灾难性遗忘的风险，并且往往无法区分真实的偏好演变与临时上下文。
**标准持续学习（CL）**方法旨在解决具有清晰边界的任务增量设置，在此处并不理想，因为用户交互流是连续且多噪的。对所有输入数据进行无差别更新会导致模型过拟合于瞬时上下文，而非学习持久的偏好模式。

核心问题在于开发一种能够选择性地适应真实的偏好漂移，同时过滤噪声并保留历史上下文而不产生灾难性遗忘的框架。

方法论：SPRING

作者提出了 SPRING（选择性参数化适配与检索插值生成），这是一个在训练和推理两个不同阶段运行的半参数化框架。

1. 训练：漂移驱动的选择性适配

SPRING 并没有在整个输入流上更新用户适配器，而是采用了一个三步流水线，旨在识别并仅从具有高新颖性的交互中学习：

漂移样本选择（Drift Sample Selection）： 使用评分函数 $S(q, a)$ $S (q, a)$ 来量化样本相对于当前适配器的新颖度。该分数结合了两个项：
- 新颖性项（Novelty Term）： $-\log(p_{adap} / p_{base})$ 。它优先考虑当前适配器表现与基础模型显著不同的样本，这表明存在潜在的偏好转变。
- 质量项（Quality Term）： $\alpha \log p_{base}$ 。这确保了语言的有效性，过滤掉可能仅仅因为难以预测而显得“新颖”的噪声样本或乱码。
- 仅选择得分最高的前 $p\%$ 样本（例如 30%）作为用于训练的“漂移集（drift set）”。
参数化适配器更新（Parametric Adapter Update）： 仅在选定的漂移集上对用户特定的 LoRA 适配器进行微调。这迫使适配器专注于获取新的偏好模式，同时避免过拟合于平稳且已被内化的数据。
残差重放缓冲区构建（Residual Replay Buffer Construction）： 为了防止丢失参数更新可能遗漏的稀疏但关键的历史细微差别，系统维护了一个非参数化的重放缓冲区。在适配器更新后，会对所有候选样本（新漂移样本 + 现有缓冲区样本）进行重新评估。那些在更新后的适配器下仍然表现为“困难”（预测效果差）的样本将被保留在缓冲区中，并受限于固定预算（ $N_{max}$ ）。这确保了缓冲区存储的是参数化模型尚无法内化的交互内容。

2. 推理：门控检索插值生成

在推理过程中，SPRING 动态地平衡内化的参数化知识与外部历史证据：

相关性门控（Relevance Gating）： 对于新查询，系统从重放缓冲区中检索前 $k$ 个交互。严格的相关性门控机制（基于相似度阈值 $\sigma$ ）会过滤掉无关的上下文。如果没有任何检索到的文档通过阈值，系统将退回到纯参数化生成。
逻辑值插值（Logit Interpolation）： 对于具有有效检索上下文的查询，模型通过两个并行路径使用相同的用户适配模型生成响应：
1. 参数化路径： 仅基于查询和适配器的内部权重生成逻辑值（logits）。
2. 检索增强路径： 基于经过检索上下文增强后的查询生成逻辑值。
- 最终输出分布是这两个路径的加权插值（ $p_{fin} = \lambda \cdot p_{ret} + (1-\lambda) \cdot p_{par}$ ），允许模型在学习到的偏好与特定的历史证据之间取得平衡。

核心贡献

漂移驱动的选择性适配： 一种利用基于似然度的评分函数来区分真实偏好转变与瞬时噪声的新机制，实现了高效且有针对性的适配器更新。
残差重放缓冲区： 一种保留参数更新未能内化的、难以学习的历史细微差别的策略，在不进行统一数据留存的情况下缓解了灾难性遗忘。
门控检索插值生成： 一种混合推理策略，动态融合参数化与非参数化知识，通过过滤无关检索来防止噪声注入，同时利用历史信息捕捉特定细微差别。
实证验证： 在 LongLaMP 基准测试（摘要生成与评论写作）上的全面评估表明，该方法较之最先进的基准方法有显著提升。

实验结果

作者在 LongLaMP 基准测试上使用 Gemma-3-4B-IT 作为骨干网络对 SPRING 进行了评估，并将其与非个性化基准、标准个性化方法（RAG, PAG, OPPU）以及持续学习基准（CAMA, SAR, O-LoRA, EWC-LoRA）进行了对比。

性能表现： SPRING 始终优于所有基准方法。
- 在摘要生成任务中，其 ROUGE-L 指标较最强的 CL 基准（CAMA）实现了 15.85% 的相对提升。
- 在评论写作任务中，其 ROUGE-L 比 CAMA 提升了 13.60%，且比标准 RAG 实现了 18.12% 的相对提升。
消融实验：
- 漂移驱动训练带来了比单源方法高出 12.35% 的增益。
- 插值参数化与非参数化知识带来了高达 22.58% 的提升。
- 相关性门控对于评论写作至关重要，它过滤掉了在标准 RAG 设置中会导致性能下降的离题检索内容。
鲁棒性： 该方法在不同的交互历史长度（小规模 vs 大规模组）和不同的 LLM 骨干网络（Qwen2.5-1.5B, Llama3.1-8B）下均表现出鲁棒性。此外，它在面对突发偏好转变时表现出韧性，且与仅使用适配器训练相比，没有表现出明显的记忆风险。

意义与主张

论文声称，SPRING 通过有效地协调塑性（适应新偏好）与稳定性（保留历史上下文）之间的权衡，为现实世界的持续个性化提供了一个稳健的框架。

区分信号与噪声： 该研究强调，标准的 CL 方法之所以失败，是因为它们平等对待所有数据。SPRING 区分真实偏好漂移与瞬时噪声的能力被视为一项关键进展。
混合效率： 通过采用半参数化方法，SPRING 避免了全量重训练的高昂计算成本以及纯非参数化方法的检索低效问题。它仅在必要时选择性更新参数，并仅在相关时使用检索。
可扩展性： 作者指出，该框架设计具有可扩展性，具有轻量级的每用户存储需求（仅需适配器快照和有限的缓冲区），并具备管理延迟的自适应推理潜力。

作者总结道，SPRING 验证了超越静态个性化的必要性，并为部署能够随时间适应不断演变的个人特质的长效个性化 LLM 提供了一条切实可行的路径。