🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

本文提出了多目标上下文内知识编辑（MO-IKE），这是一种多目标强化学习算法，它将提示词构建建模为一个约束马尔可夫决策过程，以同时优化可靠性、泛化性和特异性，从而在更新大语言模型知识方面实现比以往方法更优越的性能。

原作者： Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是新一代人工智能背后的引擎，它们能够创作故事、解决问题并回答问题，其流利程度往往能模拟人类的思维。然而，这些系统有一个根本性的局限：它们的知识在时间中是冻结的。一旦模型完成了初始训练，它所持有的事实就会变得静态。如果一个模型是在2026年冬奥会之前训练完成的，那么无论你问多少次，它都不会知道最终的奖牌统计情况。更新这些知识通常需要一个庞大且昂贵的重新训练过程，这对大多数用户来说是不切实际的。为了解决这个问题，研究人员开发了一种称为“上下文知识编辑”（in-context knowledge editing）的技术。这种方法不是改变模型的内部代码，而是在对话提示词中为模型提供一组示例，从而有效地在特定交互期间教给它一个新的事实。挑战在于构建完美的示例集：它必须足够强大，以迫使模型接受新事实；必须足够灵活，即使问题的措辞发生变化也能奏效；并且必须足够精确，以确保模型不会意外地忘记或改变它已经掌握的无关事实。

现在，一个研究小组推出了一种名为 MO-IKE 的新系统，显著改进了这些提示词的构建方式。以往自动化这一过程的尝试依赖于强化学习，这是一种计算机程序通过试错来学习的方法。虽然早期的系统可以成功地教给模型一个新事实，但它们往往以高昂的代价来实现。为了确保新事实被接受，这些系统会剥离掉那些保护模型现有知识所需的示例。这造成了一种脆弱的平衡，即修复一个错误会导致其他错误出现。新方法并不将提示词的构建视为简单的项目列表，而是将其视为一个序列决策过程。该系统学习逐一选择是添加一个陈述新事实的示例、一个重述问题的示例，还是一个强化应保持不变的事实之示例。只有当它判定提示词已完整时，才会停止添加示例。

研究人员使用多目标奖励结构来训练这个系统，这意味着计算机同时在三个领域获得奖励：正确获取新事实、处理不同的提问方式，以及保护无关事实的安全。通过平衡这些相互竞争的目标，新方法防止了系统变得过于激进。在标准事实集上的测试显示，该系统将编辑成功率从 87.1% 提高到了 91.1%。更重要的是，它显著提高了对无关知识的保留能力，将保留率从 41.0% 提升至 63.4%。这意味着模型在学习新事实的同时，更有可能不会“忘记”不需要更改的事实。该系统还证明了其高度的适应性；一个在特定语言模型上训练的版本，在无需任何额外训练的情况下，应用到完全不同的模型上也同样有效。

这项研究表明，示例的组织方式与示例本身同样重要。早期的研究方法通常使用固定的模板或仅关注单一类型的示例，这会导致提示词失去平衡。新系统动态地混合了不同类型的示例，创造了一个稳健且具有针对性的上下文。在针对五种不同的冻结语言模型和四个不同数据集（包括一个包含超过 30 万个示例的海量基准测试）进行的测试中，该方法始终优于以往的技术。研究人员发现，通过仔细管理教学新信息与保护旧信息之间的权衡，他们可以实现以前无法达到的可靠性和特异性水平。这项工作表明，更新人工智能的未来可能不在于大规模的重新训练，而在于通过对话更聪明、更平衡地引导模型。

技术摘要：通过多目标强化学习实现的 MO-IKE

问题陈述

大语言模型（LLMs）依赖于在预训练后即变得过时的静态参数化知识。虽然**知识编辑（Knowledge Editing, KE）旨在无需全量重训即可更新模型对特定事实的行为，但上下文知识编辑（In-Context Knowledge Editing, IKE）**已成为一种适用于黑盒模型的免训练替代方案。IKE 通过检索并拼接示例来构建提示词（prompt），从而诱导期望的更新。

然而，构建有效的 IKE 提示词涉及平衡三个往往相互矛盾的目标：

可靠性（Reliability）： 模型必须能够针对目标查询成功输出新事实。
泛化性（Generality）： 更新必须适用于语义等价的查询（改写后的查询）。
特异性（Specificity）： 模型必须保留不相关的相邻事实而不对其进行修改。

近期的强化学习（RL）方法，例如 DR-IKE，试图通过动态选择示例来优化可靠性。然而，本文指出这些最先进的方法存在两个关键缺陷：

忽视了序列顺序（Neglect of Sequential Ordering）： 它们通常将示例的组织视为次要问题，或者仅优化特定类型（如 RETAIN）的排序，忽略了示例顺序的全局相互依赖性。
目标优化的不平衡（Imbalance in Objective Optimization）： 通过主要优化编辑成功率（可靠性），这些方法会在无意中丢弃 RETAIN 示例（这些示例用于保护相邻知识）。这导致了“奖励黑客行为”（reward hacking）现象，即检索器会过滤掉保护特异性的示例，从而导致**保留率（Retention Rate，即特异性）**的崩溃。

方法论：MO-IKE

作者提出了 MO-IKE（多目标上下文知识编辑），该算法将提示词构建建模为一个约束马尔可夫决策过程（Constrained MDP），以共同优化可靠性、泛化性和特异性。

1. 建模为约束 MDP

检索过程被建模为一个序列决策问题 $(S, A, T, R, C)$ ：

状态 ( $S$ )： 当前构建的提示词上下文。
动作 ( $A$ )： 与 DR-IKE 不同（DR-IKE 将动作限制在对 RETAIN 候选进行排序），MO-IKE 扩展了动作空间，包括从 COPY（直接复述）、UPDATE（改写查询）和 RETAIN（无关事实）中进行选择，以及一个 STOP 动作。这使得智能体能够学习最优的全局顺序和不同演示类型的比例。
奖励 ( $R$ )： 主要奖励是编辑成功（Edit Success, ES），表示模型是否输出了新的事实。
成本约束 ( $C$ )： 为了强制执行特异性和泛化性，框架引入了针对**改写一致性（Paraphrase Consistency, PC）和保留率（Retention Rate, RR）**的成本约束。这些成本被定义为任务成功的逻辑反面（即，如果模型未能维持原始事实或未能泛化到改写查询，则会产生成本）。

2. 多目标奖励塑造

为了解决约束优化问题，MO-IKE 采用**拉格朗日松弛法（Lagrangian relaxation）**将多目标问题标量化。最终的奖励信号 $r(s, a)$ 计算如下：
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
这里， $\lambda_k$ 是固定的超参数（而非学习到的对偶变量），用于惩罚泛化性和特异性的下降。这种结构防止了检索器为了可靠性而牺牲特异性。

3. 策略优化

检索器实现为一个带有可训练投影矩阵的基于 BERT 的编码器，使用**组相对策略优化（Group Relative Policy Optimization, GRPO）**进行训练。

采样： 对于每个编辑实例，策略会采样一组 $G$ 个提示词轨迹。
评估： 冻结的目标 LLM 对这些轨迹进行评估，以计算复合奖励。
更新： 优势函数相对于组平均值进行估计，并通过最大化剪切代理目标（clipped surrogate objective）来更新策略，同时通过 KL 散度惩罚与参考策略的偏差。

核心贡献

识别缺陷： 本文强调了现有的基于 RL 的 IKE 方法（特别是 DR-IKE）无法平衡编辑成功与知识保留之间的权衡，并且忽视了多样化演示类型序列顺序的重要性。
MO-IKE 算法： 作者引入了一种多目标强化学习算法，将提示词构建视为一个约束 MDP。通过将动作空间扩展到包含所有演示类别，并利用奖励塑造应用成本约束，MO-IKE 确保了一个能够平衡可靠性、泛化性和特异性的稳定策略。
架构改进： 该方法引入了一个动态检索器，能够学习 COPY、UPDATE 和 RETAIN 演示类型的最优“全局”顺序，而不是将其视为静态模板或仅优化其中的一部分。

实验结果

作者在 Llama-3.2-3B、Mistral-7B 以及其他模型上，通过 COUNTERFACT、ZSRE、WIKI-COUNTERFACT 和大规模 UniEdit 基准测试（31.1万个样本）对 MO-IKE 进行了评估。

性能提升： 在 Llama-3.2-3B 上，相比于 DR-IKE 基线，MO-IKE 将**编辑成功率（可靠性）从 85.0% 提高到了 92.0%，并将保留率（特异性）**从 34.7% 提高到了 57.7%。整体调和平均分从 54.9 提升至 73.5。
特异性保护： 至关重要的是，MO-IKE 扭转了 DR-IKE 中出现的特异性下降现象。对于 Mistral-7B，它比基线提高了 +22.7% 的保留率，将保留指标从负值 -22.5 提升到了正值 +32.1。
零样本泛化： 在 Llama-3.2 上训练的检索器可以有效地泛化到 Mistral-7B 的零样本设置中，保持了与原生训练检索器相当的性能。
消融实验：
- 去除保留约束会导致特异性显著下降，证实了多目标公式的必要性。
- 将动作空间扩展到包含所有演示类型（而非仅 RETAIN）被证明对于实现所有指标的平衡性能至关重要。

重要性与主张

本文声称 MO-IKE 为上下文知识编辑中相互竞争的目标提供了一个原则性的解决方案。通过将问题建模为约束 MDP 并利用多目标奖励塑造，该方法实现了一个“稳定策略”，避免了以往 RL 方法中的“奖励黑客行为”。

作者强调，该方法对目标 LLM 是免训练的（LLM 保持冻结），并且适用于黑盒模型。他们指出，虽然 MO-IKE 显著优于现有的检索策略，但绝对保留率仍然是上下文学习方法固有的瓶颈（维持在 60% 左右），这表明基于梯度的免训练方法仍有改进空间。这项工作确立了平衡不同演示类型的比例和顺序对于实现可靠、泛化且具有特异性的知识编辑至关重要。