🤖 AI

RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection

本文介绍了 RoCo-ACE，这是一种基于展开（rollout）调控的在线蒸馏框架，通过将蒸馏权重动态重新分配给受参考支持的标记（tokens），并应用稀疏锚定修正，从而在增强预训练多模态大语言模型（MLLMs）知识注入能力的同时，有效保持模型的原始行为保留，实现了卓越的注入知识准确性。

原作者： Yan Hong, Wei Li, Kedong Xiu, Jun Lan, Shuheng Zhou, Zhongcai Lyu, Huijia Zhu, Weiqiang Wang, Jianfu Zhang

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yan Hong, Wei Li, Kedong Xiu, Jun Lan, Shuheng Zhou, Zhongcai Lyu, Huijia Zhu, Weiqiang Wang, Jianfu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它读过图书馆里几乎所有的书，也看过数以百万计的图片。这个机器人非常擅长聊天、解谜和描述它所看到的事物。但问题在于：世界每天都在变化。新的电影上映，新的科学发现诞生，名人也在做着新的事情。如果你想让你的机器人朋友了解这些新鲜的事实，你必须教它。但教导一个巨大的机器人是很棘手的。如果你只是强迫它死记硬背一个新的事实，它可能会忘记它以前的旧本领，比如画一只猫或者回答一个安全问题。这就像试图教一位国际象棋大师一个新的开局招式，却在这个过程中让他忘记了如何玩这局游戏。这篇论文解决的正是一个这样的问题：如何在不破坏机器人原有的、可靠的技能的情况下，将新的、特定的事实悄悄植入它的脑海。

这项研究背后的研究人员（与蚂蚁集团及多所大学合作）意识到，通常教导这些机器人的方法有点笨拙。一种方法就像是强迫机器人逐字逐句地抄写教科书；它学会了这个事实，但也开始听起来像个枯燥的机器人，并失去了它的个性。另一种方法试图非常小心，只微调大脑的一小部分，但它往往抓不住重点，导致新事实学得半吊子。由 Yan Hong 和 Jun Lan 领导的团队提出了一种巧妙的新策略，叫做 RoCo-ACE。把它想象成一个“智能荧光笔”系统。与其让机器人背诵整本教科书，不如让他们先尝试回答问题。然后，我们将机器人的答案与来自老师的“正确”答案进行对比。

这就是其中的魔术技巧：系统会观察机器人的答案，并问道：“老师的帮助是否让这个特定的词变得更有可能被说出来？”如果机器人猜中了一个正确的细节（比如一个特定的日期或名字），并且老师的存在让这个猜测变得更加笃定，系统就会给这个词一个“击掌”，并告诉机器人要牢记它。但如果机器人只是在使用一些通用的词汇（比如用“一座大建筑”而不是“埃菲尔铁塔”），系统就会忽略它们。这就是 RoCo 部分。接着是 ACE 部分。有时，机器人会完全错过那个新的事实。ACE 系统就像是一个温柔的提醒，说道：“嘿，你忘了那个博物馆的名字了！让我们只修正那一个缺失的部分吧。”通过结合这两者，机器人可以准确地学习新事实，而不会失去其自然聊天的能力或保持安全性。

团队在三种不同类型的知识更新上测试了它，从关于名人的新闻到科学事实。他们发现，RoCo-ACE 在教授新事实方面比其他方法表现得更好。在一项测试中，它将机器人的知识准确度提升到了 27.6（相比之下，标准的“抄写教科书”法为 20.1）。至关重要的是，当其他方法导致机器人的旧技能退化（其通用性能得分降至低至 31.8）时，RoCo-ACE 却让机器人的通用技能几乎保持在初始水平，约为 56.5。该论文表明，这种方法提供了一个更好的平衡点：你既得到了新信息，又不会让机器人失去自我。这是迈向让机器人每天都能学习新事物而不忘初心的重要一步。

技术摘要：RoCo-ACE

问题陈述

多模态大语言模型（MLLMs）在部署后需要通过更新来吸收新的事实性或领域特定知识。然而，标准的知识注入策略面临着一个根本性的注入-保留权衡（injection-retention trade-off）：

直接拟合（SFT/LoRA）： 直接针对权威答案进行优化可以提高注入知识的准确性，但由于全量答案模仿和风格过拟合，往往会导致非更新行为（如视觉定位、安全性、通用推理）出现显著漂移。
受限更新： 限制更新空间的方法（如 LoRA 变体、零空间约束）虽然限制了漂移，但往往无法将监督定位到特定的事实单元，导致目标事实的注入不足。
在线蒸馏： 在模型生成的展开（rollouts）而非固定目标上进行训练，使更新保持接近当前策略。然而，统一的参考条件蒸馏（uniform reference-conditioned distillation） 提供了粗粒度的监督。它将梯度质量不加区别地分配给通用措辞、非目标视觉细节和回答风格，而对受参考内容支持的 token 强调不足，且仅对当前展开中缺失的事实提供间接监督。

核心挑战在于实现细粒度监督，即在不强迫模型克隆整个参考答案或降低其通用能力的前提下，更新特定的事实锚点。

方法论：RoCo-ACE

作者提出了 RoCo-ACE，一种展开条件下的在线蒸馏目标，旨在注入稀疏的事实内容并保持保留能力。该方法作用于包含提示词 ( $x_i$ )、图像 ( $I_i$ ) 和权威参考答案 ( $a_i$ ) 的数据集。对于每个样本，学生模型 $p_\theta$ 生成一个在策略（on-policy）展开 $y_i$ 。

该目标结合了两个互补的部分：

1. RoCo：展开条件对比在线蒸馏

RoCo 解决了学生展开中已存在 token 的监督粒度问题。它利用教师模型 $q_\phi$ （学生模型的指数移动平均）在两种条件下对同一展开前缀进行评分：

基础视图 ( $q_{base}$ )： 仅以用户输入和图像作为提示。
参考视图 ( $q_{ref}$ )： 以用户输入、图像以及权威参考答案作为提示。

该方法计算每个 token $t$ 在展开中的似然对比度 ( $\Delta_{i,t}$ )：
$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$
具有正向对比度（即当参考内容可用时，其似然度显著增加）的 token 被识别为参考支持型（reference-supported）。RoCo 为这些 token 分配额外的蒸馏权重，而通用或不受支持的 token 仅接收“底线”级别的蒸馏信号。这确保了模型学习将特定的事实片段与参考内容对齐，而不必强制模仿整个响应的风格。

2. ACE：锚定交叉熵

RoCo 无法监督学生展开中缺失的事实。ACE 通过对从参考答案中提取的权威锚点（如实体、日期、数字）应用稀疏监督修正来解决这一覆盖差距。

覆盖度评分： 系统计算参考答案中每个事实片段 $s$ 相对于学生展开的覆盖得分 $\rho_i(s, y_i)$ 。
加权修正： 缺失或覆盖较弱的片段会获得更高的权重。损失函数是在仅针对锚点 token 的参考内容上计算的加权交叉熵：
$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$
其中 $u_{i,k}$ 是锚点权重。这为缺失的事实提供了直接监督，而不会将完整的参考答案视为逐 token 模仿的目标。

总体目标

最终损失结合了加权展开蒸馏和稀疏锚点修正：
$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$

主要贡献

识别监督粒度问题： 本文指出，统一的在线蒸馏无法区分参考支持的事实 token 与通用措辞，从而导致注入效果不佳且保留能力下降。
RoCo-ACE 框架： 引入了一个双重目标系统：
- RoCo： 使用相同的展开似然对比来重新分配参考支持 token 的权重，从而在在策略（on-policy）状态下强化事实对齐。
- ACE： 为缺失的权威事实添加稀疏锚点修正，确保覆盖度而不进行全量答案克隆。
实验验证： 通过在三个知识注入设置（EVOKE, VP, Sci）和六个保留基准测试上的广泛实验证明，RoCo-ACE 在实现卓越的注入准确性的同时，保持了接近基座模型和在线蒸馏基准的保留水平。

实验结果

作者使用 Qwen3-VL-8B（附录中还包括 Qwen3-VL-30B）评估了 RoCo-ACE，对比基线包括 SFT、LoRA、KORE、SDFT 以及各种受限更新方法。

注入准确性： RoCo-ACE 在所有设置中均实现了最高的注入知识准确性。在 EVOKE 基准测试上，它达到了 27.6% 的准确率，超过了强大的受限基线 KORE (25.2%) 和直接拟合的 SFT (20.1%)。
保留能力： 至关重要的是，RoCo-ACE 维持了 56.5% 的 Ret. Avg.（六个基准测试的平均保留度），这显著高于 SFT (31.8%) 和 KORE (47.0%)，且与基座模型 (57.2%) 及在线蒸馏基线 SDFT (55.1%) 相当。
消融实验：
- 去除对比权重（RoCo）并使用统一权重会降低注入准确性。
- 去除锚点修正（ACE）会导致注入准确性降低，尤其是在处理缺失事实时。
- 将全参考交叉熵（SFT）与蒸馏结合使用，其提升注入的效果不如 ACE，且对保留能力的损害更严重，证实了稀疏锚点修正优于全量答案模仿。
定性分析： 案例研究显示，RoCo 强调有用的在策略内容（例如“街头艺术”、“阿姆斯特丹”），而 ACE 则修正了最初展开中缺失的具体锚点（例如“STRAAT 博物馆”、具体日期）。

意义与主张

本文声称 RoCo-ACE 通过将重点从行为克隆（behavior cloning）转向事实对齐（factual alignment），有效地解决了注入-保留权衡问题。通过将参考支持的展开 token 的监督与缺失锚点的修正解耦，该方法在注入稀疏事实内容的同时，避免了将整个参考答案变为行为克隆的目标。

作者将 RoCo-ACE 定位为参数空间约束的补充方法；它不是限制模型在哪里可以改变，而是改进了模型在更新过程中如何接受监督。该方法专门设计用于更新伴随有权威自然语言参考的情景，适用于 MLLM 中的实体、事件和领域特定知识的注入。论文也谦虚地指出，保留能力是在留出集基准测试上进行经验评估的，并未为所有非更新能力提供形式化保证。