💬 NLP

Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing

本文介绍了混合策略自我编辑（Hybrid-Policy Self-Editing, HPSE），这是一种通过主动从模型的特权上下文状态中蒸馏知识，并策略性地将其缺失的事实注入其生成轨迹，从而增强非结构化知识编辑的可组合性的方法，旨在克服被动、在策略学习的局限性。

原作者： Tianci Liu, Zihan Dong, Tianchun Li, Yi-Chung Chen, Qiming Cao, Xingchen Wang, Shiyang Wang, Zichen Miao, Linjun Zhang, Haoyu Wang, Jing Gao

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianci Liu, Zihan Dong, Tianchun Li, Yi-Chung Chen, Qiming Cao, Xingchen Wang, Shiyang Wang, Zichen Miao, Linjun Zhang, Haoyu Wang, Jing Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它读过几乎所有被写出来的书。它非常擅长聊天、写故事和解谜题。但有一个问题：这个机器人就像一个时间胶囊。它所学到的一切都是从多年前印刷的书籍中习得的，所以如果昨天发生了什么大事——比如一位新的电影明星结婚了，或者一家公司更改了名称——你的机器人完全不知情。它被困在了过去。

为了解决这个问题，科学家们一直试图教机器人进行“知识编辑”。这就像是给机器人一个快速更新，一个心理补丁说明，让它能够学习新事实，而无需重新阅读它的整个图书馆（那将耗费漫长的时间并花费巨资）。通常情况下，这对于简单的实事效果很好，比如“法国的首都是巴黎”。但如果新信息很杂乱呢？如果给你的是一篇关于公司合并的新闻文章，其中同时提到了新任首席执行官、新总部和新股价呢？这被称为“非结构化知识编辑”。

科学家们发现了一个大问题：虽然机器人可以“记住”这篇文章，但它无法真正“使用”它。这就像是你背下了电话簿却不会拨号，或者你背下了食谱却不会做菜。当你问一个具体问题时，机器人会陷入重复整篇文章的怪圈；或者当你问一个需要结合文章中两个不同事实的问题时，它无法把这些点连接起来。这是一个拥有信息却缺乏灵活运用常识能力的机器人。

这篇论文介绍了一种巧妙的新方法，叫做 HPSE（混合策略自我编辑）。研究人员发现，机器人通常学习这些更新的方式过于被动。这就像一个学生只通过阅读教科书来学习，然后试图猜测老师会问什么。如果学生的猜测错了，他们就会卡住。作者建议一种更好的方法：让机器人通过模拟一段对话来进行“自我教学”，在对话中，一个更聪明的自己（刚刚读过那篇新文章的自己）会介入并实时纠正错误。

它是这样运作的：想象机器人正试图根据那篇新文章回答一个问题。它开始写答案，但接着它开始离题，或者忘记了新的事实。就在这时，“聪明版本”的机器人——它手里拿着那篇文章——轻轻拍了拍这个“学生”的肩膀说：“嘿，停在那儿！你快要说错话了。这是你需要用到的正确事实。” 于是，学生机器人就从这次纠正中学习了。

HPSE 的魔力在于，它并不只是让机器人盲目地猜测；它只在机器人真正迷失方向时才介入，并且介入时会提供完全正确的信息。这有助于机器人不仅学会背诵文章，还能将其分解为微小的、可用的事实（分解），并将这些事实组合起来解决复杂的谜题（组合）。

研究人员在几种不同的机器人大脑（大语言模型）上对该方法进行了测试，发现 HPSE 带来了巨大的变化。机器人变得更擅长回答关于新事实的具体问题，也更擅长将这些事实串联起来回答更难的问题。他们还发现，这种方法就像一个通用适配器——它可以插入不同的现有编辑工具中，使它们运行得更好，而无需改变这些工具本身的构建方式。简而言之，HPSE 将一个只会死记硬背新闻的机器人，变成了一个真正理解并能运用新闻的机器人。

技术摘要：用于可组合非结构化知识编辑的混合策略自我编辑 (Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing)

1. 问题陈述

大语言模型（LLMs）依赖于静态语料库，导致其知识在快速变化的环境中变得过时。虽然知识编辑（Knowledge Editing, KE）旨在不进行重新训练的情况下更新特定事实，但现有方法在从结构化三元组向**非结构化知识编辑（Unstructured Knowledge Editing, UKE）**过渡时面临挑战。在 UKE 中，新知识是以包含多个纠缠事实（例如，一项收购公告）的自由格式段落形式提供的。

本文确定了当前 UKE 方法的一个关键失效模式：缺乏可组合性（Composability）。即使模型成功记住了编辑后的段落，它们也无法实现以下目标：

分解（Decompose）： 从段落中提取并回答关于单个事实的原子问题，而不仅仅是机械地复述整个文本。
组合（Compose）： 结合多个注入的事实来进行多跳推理（multi-hop reasoning）。

作者将这种失败归因于现有编辑器对固定编辑段落作为唯一学习来源的被动依赖。这会导致严重的过拟合和上下文依赖，阻碍模型将新知识泛化到未见的查询结构中。此外，标准的在策略自我蒸馏（On-Policy Self-Distillation, OPSD）——即模型根据由特权上下文状态引导的自身生成轨迹进行学习——在 UKE 中会失效，因为模型的自身生成过程往往在特权模型提供纠正性监督之前，就已经偏离了新事实（即“覆盖失败”）。

2. 方法论：混合策略自我编辑 (HPSE)

为了解决覆盖失败并提高可组合性，作者提出了 HPSE，这是一种插件式、以数据为中心的方法，它修改了基于梯度的 KE 编辑器的训练信号，且无需假设特定的参数更新机制。

核心机制

HPSE 将编辑重新定义为从同一模型（基座模型 $\pi_0$ 阅读新段落 $c$ ）的特权在上下文状态 ( $\pi^\star$ ) 进行的主动自我蒸馏。与仅依赖学生模型 ( $\pi_\theta$ ) 自身生成轨迹的纯 OPSD 不同，HPSE 构建了一个混合生成轨迹 ( $\pi_\rho$ )，该轨迹在学生模型和特权教师之间进行动态切换。

混合生成过程：
在每个生成步骤 $t$ ，给定前缀 $y_{<t}$ ，下一个 token $y_t$ 从 $\pi_\rho$ 中采样：

学生 Token： 如果两个策略一致或学生模型足够自信，则从 $\pi_\theta$ （编辑后的模型）中采样。
特权介入（Privileged Step-in）： 如果触发了“介入”条件，则从 $\pi^\star$ 中采样。

介入条件：
当满足以下条件时，特权模型会进行干预：

差距条件（Gap Condition）： 特权模型的贪婪 token ( $y^\star_t$ ) 与学生模型之间的对数概率差距超过阈值 $\tau$ ： $\log \pi^\star(y^\star_t) - \log \pi_\theta(y^\star_t) > \tau$ 。
置信度条件（Confidence Condition）： 特权模型对其预测具有高置信度： $\pi^\star(y^\star_t) > \kappa$ 。

该机制确保了当学生的轨迹偏离新事实（脱离主题）时，特权模型能够“介入”，并在覆盖失败的精确位置将缺失的事实放置到学生的轨迹上。

目标函数

HPSE 损失函数结合了混合蒸馏项和标准的负对数似然（NLL）锚点：
$J_{HPSE}(\theta) = \mathbb{E}_{y \sim \pi_\rho} \left[ \sum_{t} D_{KL}(\pi^\star(\cdot|x, y_{<t}) \parallel \pi_\theta(\cdot|x, y_{<t})) \right] - \lambda \log \pi_\theta(c|x)$

混合项通过介入机制，沿着学生自身的轨迹对新事实进行监督。
NLL 锚点 ( $\lambda J_{NLL}$ ) 保留了标准的段落级似然，以在段落自身的各种前缀下锚定知识。

理论优势

作者通过理论分析表明，对于长度为 $\ell$ 的事实跨度，混合生成轨迹访问每个事实前缀的概率为 1，而纯 OPSD 的生成轨迹访问深层前前缀的概率呈指数级衰减 ( $e^{-\tau j}$ )。因此，HPSE 的监督信号随跨度长度呈线性比例增长 ( $\Omega(\ell)$ )，而 OPSD 的信号保持不变 ( $O(1)$ )。随着注入知识变得更加复杂和冗长，这一优势会愈发显著。

3. 主要贡献

问题形式化： 本文引入了 UKE 的无目标机制（untargeted regime），其中编辑提示是通用的（例如，“介绍 X”），而不是指定更新哪些事实。它将可组合性（分解与组合）定义为实际 UKE 的统一要求，并证明了现有方法无法满足这一要求。
方法提议 (HPSE)： HPSE 是首个通过使用混合生成策略来解决 UKE 中在策略蒸馏覆盖失败问题的方法。它是插件式的，不需要外部数据、辅助模型或特定的编辑参数化，因此可以兼容各种基于梯度的编辑器（如 LoRA, FT-M）。
理论证明： 论文提供了正式分析，证明了 HPSE 相比纯在策略蒸馏具有面向事实的监督优势，其信号强度随注入知识的长度线性增长。
实验验证： 在四个 LLM 基座（Qwen2.5, Qwen3, Llama-3.1, Gemma-2）和两种 KE 编辑器（FT-M, LoRA）上的广泛实验表明，在单次和持续编辑设置下，HPSE 在分解和组合指标上均取得了持续的提升。

4. 实验结果

作者在针对可组合性调整的两个基准测试上评估了 HPSE：UnKEBench（分解）和 MQuAKE-uns（组合）。

单次编辑： HPSE 显著提升了 FT-M 和 LoRA 的性能。例如，在 Qwen2.5 上，HPSE 将 LoRA 的组合得分（Cmp.）提升了 +21.2%，分解得分（Dmp.）提升了 +25.6%。它在处理多跳推理任务时始终优于 MEMIT、AlphaEdit、AnyEdit 和 UnKE 等基线方法，而这些基线方法在处理此类任务时经常出现幻觉或退回到先验知识。
持续编辑： 在顺序编辑（ $T=10$ 到 $100$）的设置下，HPSE 保持了鲁棒性。在 MQuAKE-uns 上，带有 HPSE 的 LoRA 在不同序列长度下的平均得分相对于基础版本提升了 +55% 至 +149%，通常能实现性能翻倍。
消融实验： 去除混合生成过程（"w/o HP"）会导致性能降至低于基础编辑器的水平，证实了介入机制的必要性。去除 NLL 锚点（"w/o NLL"）则会降低联合召回率，显示了锚点在落地（grounding）中的作用。
案例研究： 可视化示例表明，虽然基线方法经常逐字重复段落或产生幻觉，但 HPSE 能够成功直接回答原子问题，并将多个事实串联进行多跳推理。

5. 重要性与主张

本文主张，可组合性是实际非结构化知识编辑中一个关键且此前被忽视的要求。作者认为，被动注入知识会导致“只有记忆而无效用”的情况。

HPSE 的意义在于它能将编辑从一个被动的拟合数据任务转变为一个主动的自我修正过程。通过通过混合生成轨迹主动构建训练信号，HPSE 使 LLM 能够以一种既是可分解的（可灵活提取）又是可组合的（具备推理能力）的方式内化新知识。作者强调，HPSE 提供了一条“自给自足且经济高效的路径”来实现实用的 KE，因为它不需要外部数据集或强大的教师模型，使其成为在动态现实场景中更新 LLM 的通用解决方案。

论文最后指出，虽然 HPSE 目前专注于基于文本的编辑，但未来的工作旨在将其推广到终身学习和多模态编辑领域。