想象一下，你正试图培养一名超级聪明的学生，使其成为数学、艺术和视频分析这三个截然不同领域的专家。
过去，研究人员尝试过两种主要方法，但两者都存在重大缺陷。本文介绍了一种名为“协同进化策略蒸馏（CoPD）”的新方法，它通过让学生以一种独特的、类似“舞蹈”的伙伴关系进行学习，从而解决了这些缺陷。
以下是论文如何用简单的类比来解释问题与解决方案：
问题：“拔河”与“差距过大”
1. “拔河”（混合 RLVR）
想象一下，你试图在同一个教室、由同一位老师，在同一时间教你的学生数学和艺术。
- 问题所在： 数学需要严格的逻辑和规则，而艺术则需要创造力和打破规则。当你将它们混合时，学生会感到困惑。论文将这种现象称为“能力分歧”。这就像一场拔河比赛：数学课把学生往一个方向拉，而艺术课则把他们往另一个方向拉。最终，学生两样都学得一塌糊涂，因为这两种教学相互抵消了。
2. “差距过大”（静态 OPD）
于是，研究人员尝试了另一种方法：“先培养一名数学专家，再单独培养一名艺术专家，然后让他们去教一名新学生。”
- 问题所在： 等到数学专家完成训练时，他们已经发生了如此巨大的变化，以至于不再与新学生说同一种“语言”。学生是初学者，而专家是大师。
- 类比： 想象一位国际象棋大师试图教一个幼儿。大师的招法对幼儿来说过于复杂，无法理解。幼儿（学生）看着大师（老师）的招法，心想：“我完全不知道你在做什么。”由于思维模式差距太大，知识因此流失。论文将这种现象称为“行为模式差距”。
解决方案：“协同进化之舞”（CoPD）
作者提出了 CoPD，彻底改变了训练流程。他们不再先训练一名专家然后再进行教学，而是同时训练两名学生，让他们不断地互相教学和学习。
以下是这场“舞蹈”的运作方式：
第一步：独奏练习（RLVR 阶段）
- “数学学生”只练习数学问题。
- “艺术学生”只练习艺术问题。
- 为什么？ 这使他们能够在特定技能上变得非常精通，并发现新的、高级的技巧。他们的思维开始产生分歧，这是好事，因为这意味着他们有了新的东西可以互相传授。
第二步：舞伴互换（相互 OPD 阶段）
- 在他们分歧过大之前，他们停下来互换角色。
- 数学学生尝试解决艺术问题，艺术学生则观察并提供反馈。
- 艺术学生尝试解决数学问题，数学学生则观察并提供反馈。
- 为什么？ 因为他们刚刚一起练习过，他们的思维模式仍然足够接近，能够互相理解。数学学生可以说：“我看到你想做 X，但这里有更好的方法”，而艺术学生确实能理解，因为他们仍在同一频道上。
第三步：重复
- 他们回到第一步，学习更高级的技巧，然后在第二步再次互换。
- 这个循环不断重复。
为什么这种方法效果更好
论文声称，该方法在以下三个方面更优越：
- 没有“拔河”： 因为他们会先分开练习各自的技能，所以不会因混合数学和艺术规则而感到困惑。
- 没有“差距过大”： 因为他们在训练过程中（而非之后）互换角色，所以他们永远不会分歧到无法互相理解的地步。他们始终保持在“甜蜜点”：老师足够先进以进行教学，但又足够接近以便被理解。
- 共同成长： 他们不仅仅是老师和学生，而是协同进化的。他们共同成长。论文发现，最终生成的单一模型在数学和艺术方面的表现，实际上优于那些单独的“专家”模型。
结果
研究人员在一个需要处理文本（数学）、图像（艺术）和视频的模型上测试了这种方法。
- 旧方法： 模型要么感到困惑（混合训练），要么丢失知识（静态教学）。
- CoPD： 模型精通了所有三项。事实上，最终生成的“全能”模型的表现优于构建它的各个专业专家模型。
总结
不要把 CoPD 想象成那种必须先修完一门课才能开始下一门的学校，而要把它想象成两名运动员共同训练健身房。他们各自进行专项训练以增强实力，然后立即互相辅助（spot），在身体尚热、节奏同步时分享技巧。等到训练结束时，他们两人都比单独训练或隔离训练时更加强大。
以下是论文《协同进化策略蒸馏》（CoPD）的详细技术总结。
1. 问题陈述
本文旨在解决将多种专门能力（例如文本推理、图像推理、视频理解）整合到单一统一模型中的挑战。当前的后训练范式面临两个主要局限：
- 混合数据 RLVR（可验证奖励强化学习）： 在来自不同领域的混合数据上训练单一模型，往往会导致能力分歧。由于不同能力倾向于相互冲突的优化方向，联合训练会导致梯度冲突，引发“跷跷板效应”，即在一个领域的收益是以牺牲另一个领域为代价的。
- 静态同策略蒸馏（OPD/MOPD）： 标准的替代方案是两阶段流程：首先，在特定领域上分别训练独立的“专家”模型直至收敛；其次，将这些专家蒸馏到一个单一的学生模型中。作者指出了该方法的一个关键缺陷：当蒸馏开始时，专家的行为模式（token 分布）与学生模型已经发生了显著偏离。这种巨大的行为距离使得教师提供的监督难以被学生吸收，导致知识转移次优，无法完全保留专家的能力。
2. 方法论：协同进化策略蒸馏（CoPD）
CoPD 提出了一个统一框架，将特定能力的探索与跨领域整合交错进行，允许专家同时作为教师和学生协同进化。
核心机制
CoPD 并非在蒸馏前将专家训练至收敛，而是维护并行的训练分支（每个能力对应一个分支），在每个训练周期中交替进行两个阶段：
分支特定 RLVR 阶段：
- 每个分支独立地在其特定领域数据上执行组相对策略优化（GRPO）。
- 目标： 深化特定领域的专业知识，并有意增加分支之间的“行为差距”（知识分歧）。这确保了随后的蒸馏拥有新的、信息丰富的知识可供转移。
相互 OPD 阶段：
- 各分支在彼此的数据上生成轨迹（rollouts）。
- 每个分支充当其他分支的教师，通过最小化 KL 散度，在学生自身的轨迹上提供 token 级别的监督。
- 目标： 在知识尚新且模型行为对齐时缩小行为差距。这确保了高吸收效率。
关键设计特征
- 双向协同进化： 与教师固定的静态流程不同，CoPD 采用动态拓扑结构，其中每个分支同时充当教师和学生。
- 行为一致性： 该方法基于一个假设，即蒸馏效率（η）与教师和学生之间的前 k 个 token 重叠度呈正相关。CoPD 通过交替阶段主动将这种重叠度维持在临界阈值以上（例如 >0.90），防止模型偏离过远。
- 可扩展性： 该框架支持 K 个分支。当 K>2 时，它采用“中心 - 辐射”拓扑结构以避免全对全的复杂性（例如，在 3 分支设置中，文本推理作为图像和视频分支的中心枢纽）。
- 最终整合： 由于所有分支均从共享的基础模型开始并保持紧密耦合，最终统一模型通过简单的参数合并获得。
3. 主要贡献
- 理论洞察： 作者指出，OPD 的有效性与教师和学生之间的行为距离成反比。他们通过初步研究证明，静态流程处于“低吸收”状态，因为在蒸馏开始之前，专家已经偏离过远。
- CoPD 框架： 他们提出了一种新颖的训练范式，将 RLVR 与相互 OPD 交错进行。这解决了需要知识分歧（为了信息丰富的蒸馏）与行为邻近性（为了可吸收的蒸馏）之间的权衡问题。
- 突破“专家天花板”： CoPD 证明，统一模型可以超越各个特定领域专家的性能，有效地将跨领域的权衡转化为互利共赢。
- 可扩展性验证： 该方法在 2 分支（文本 + 图像）和 3 分支（文本 + 图像 + 视频）设置中均得到了验证，证明了其在复杂多模态场景中的有效性。
4. 实验结果
论文在 Qwen3-VL-4B-Instruct 模型上评估了 CoPD，涵盖了文本、图像和视频推理基准。
- 文本与图像推理（2 分支）：
- CoPD 取得了最高的总体平均准确率（57.71%），优于混合 RLVR、静态 OPD（两个方向）以及单独的文本专家模型和图像专家模型。
- 值得注意的是，CoPD 将文本推理提升至 58.76%（文本专家为 57.89%），将图像推理提升至 56.97%（图像专家为 55.76%），证明了“互利共赢”效应。
- 文本、图像与视频推理（3 分支）：
- CoPD 取得了 58.12% 的总体平均成绩，超越了多教师 OPD（MOPD）基线（56.99%），并在视频推理方面超越了视频专家（58.75），同时在文本和图像任务中保持了高性能。
- 混合 RLVR 在基线中显示出最高的视频平均成绩，但在文本推理方面遭受了显著退化，证实了能力分歧问题。
- 消融研究：
- 移除任一方向的相互蒸馏都会导致性能下降，证实了双向协同进化的必要性。
- 即使不进行参数合并，CoPD 中的各个分支也优于静态 OPD 基线，表明协同进化过程本身就能创造出稳健且全面的能力。
- 发现 RLVR 步骤与 OPD 步骤的最佳比例为 1.5:1，以平衡探索与整合。
5. 意义
- 新训练范式： CoPD 挑战了传统的“先训练后蒸馏”工作流程，表明并行训练结合持续相互蒸馏是扩展多能力模型更有效的策略。
- 解决“全合一”问题： 它为在不牺牲任何单一领域性能的情况下整合多样化模态这一长期存在的问题提供了解决方案。
- 自研 RLVR 系列： 本文是作者“自研 RLVR"系列的第三篇，探讨了“平行自我”（相互教学）的概念，是对之前关于“知情自我”和“时序自我”工作的补充。
- 实际影响： 该方法为构建能够同时处理文本、图像和视频推理的通用 AI 智能体提供了一条可扩展的路径，有望减少维护多个专门模型的需求。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。