💬 NLP

Contrastive Weak-to-strong Generalization

本文介绍了对比式弱到强泛化（ConG）框架，该框架利用隐式奖励与对比解码之间的结构等价性，从对齐的弱模型中生成更高质量的训练样本，从而在无需人类反馈的情况下增强大规模语言模型的鲁棒性与有效性。

原作者： Houcheng Jiang, Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Houcheng Jiang, Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一位才华横溢但有点脾气古怪的天才学生（“强模型”）如何写出更好的文章。通常情况下，你需要一名人类教师来为每一篇草稿评分，并指出哪些好、哪些坏。但这既昂贵又缓慢。因此，研究人员尝试了一个捷径：让一个规模较小、经验较少的学生（“弱模型”）先写文章，然后让天才学生向他们学习。

问题在于，这个小个子学生很“吵闹”。他们会犯错，有奇怪的偏见，有时甚至会写出胡言乱语。如果天才学生只是单纯地模仿小学生的作业，他们也会学到这些错误。这就像是通过观察一个总是按错琴键的人来学习弹钢琴；你可能会变得更快，但听起来依然很糟糕。

核心理念：“对比性”过滤器
Houcheng Jiang 及其团队发现，有一种方法可以在不需要人类教师的情况下清理掉这些噪声。他们发现了一个巧妙的技巧，称为对比式弱到强泛化（Contrastive Weak-to-Strong Generalization，简称 ConG）。

你可以把弱模型想象成拥有两种声音：

声音 A（“之前”的声音）： 这是学生在开始学习任何东西之前的样子。这是他们原始的、未经训练的自我。
声音 B（“之后”的声音）： 这是学生在接受了稍微好一点的训练后呈现出的样子。

论文指出，“好”的答案是那些“声音 B”以特定方式与“声音 A”产生显著差异的答案。这就像是一个降噪耳机。如果你播放“之后”的声音并减去“之前”的声音，静态噪声和坏习惯就会抵消，留下清晰、高质量的信号。

研究人员称之为对比解码（Contrastive Decoding）。他们不仅仅是问弱模型：“答案是什么？”，而是问：“什么样的答案听起来与你过去的、未经训练的自我最不一样？” 这个过程就像是一个过滤器，剥离了弱模型的偏见和噪声，从而揭示出那些“隐藏”的高质量答案。

他们的发现
当他们在两个著名的 AI 模型家族（Qwen2.5 和 Llama3）上测试时，结果令人印象深刻。

提升幅度： 与从零开始相比，强模型的性能平均提升了约 16.5%。
正面交锋： 在像 AlpacaEval2 和 Arena-Hard 这样高难度的测试中，通过正面交锋，他们的新方法（ConG）击败了几乎所有其他利用小模型教授大模型的方法。例如，在 Qwen2.5-7B 模型上，他们的方法平均得分 52.7，而排名第二的传统方法仅得到 43.5。
甜点区（最佳平衡点）： 他们发现，当他们将一个特定的设置参数（称为 $\alpha$ ）调整到适中水平（大约 0.3 到 0.5）时，这个“过滤器”效果最好。如果将过滤器开得太大（超过 0.5），性能就会开始下降，这表明你需要在“新声音”和“旧声音”之间取得平衡。

他们明确排除的内容
论文非常明确地指出了哪些方法行不通。他们反对仅仅直接采用训练后的弱模型原始输出进行教学的观点。他们证明了传统方法往往会失败，因为它们会继承弱模型的“噪声”和偏见。事实上，一些旧方法甚至会让强模型变得比之前更差！他们也排除了需要人类来评分或使用特殊的“奖励模型”来告诉 AI 什么好的想法，他们的方法完全是通过比较 AI 自身的过去与现在来实现的。

他们有多确定？
作者对他们的发现非常有信心，但也措辞谨慎。他们表示，其结果在不同模型家族中“证明”并“证实”了 ConG 的有效性。他们在真实的模型而非模拟环境中进行了广泛实验。然而，他们也指出了一项局限性：由于需要进行额外的数学运算来对比两种声音，目前该方法比标准的文本生成方式要慢一些。他们建议未来可能会加速这一过程，但目前，这是在速度与质量之间的一种权衡。

总结
这篇论文表明，我们不需要人类来教 AI 如何精进一切。相反，我们可以使用一种“对比性”技巧，通过过滤掉小 AI 的错误，帮助大 AI 向小 AI 学习。这是构建更聪明、更可靠的 AI 系统迈出的重要一步，可能为实现更宏大的目标（如通用人工智能 AGI）铺平道路。但就目前而言，它是一个强大的工具，可以在不需要人类参与评分每一份家庭作业的情况下，让 AI 变得更加聪明。

技术摘要：对比式弱到强泛化 (ConG)

问题陈述

弱到强泛化 (W2SG) 已成为通过在由对齐后的弱模型生成的样本上训练更强模型来扩展大语言模型 (LLM) 的一种极具前景的范式，这种方法绕过了对人类反馈或显式奖励模型的依赖。然而，W2SG 的实际应用目前受到弱模型输出中固有的噪声、偏差和低质量问题的阻碍。这些缺陷限制了所得强模型的鲁棒性和泛化能力，往往导致可靠的能力迁移无法实现。这项工作所解决的核心挑战是：如何在不依赖显式奖励（如人类反馈或单独的奖励模型）的情况下，从弱模型中提取更高质量、去噪后的样本，以实现更有效的弱到强泛化。

方法论：对比式弱到强泛化 (ConG)

作者提出了 ConG 框架，该框架利用隐式奖励 (implicit rewards) 与 对比解码 (Contrastive Decoding, CD) 之间的结构等价性来生成高质量的训练数据。

1. 理论基础：CD–隐式奖励相关性

本文的核心见解是形式化了 CD–隐式奖励相关性。

隐式奖励： 在偏好对齐（如 DPO）中，隐式奖励被参数化为对齐后策略 ( $\pi_r$ ) 与对齐前参考策略 ( $\pi_{ref}$ ) 之间的对数似然比。
对比解码 (CD)： CD 是一种解码策略，通过对比强模型与弱模型（或参考模型）的概率分布来生成 token。
联系： 作者证明了 token 级的隐式奖励在数学上等同于 CD 中的对比项。具体而言，CD 生成的 token 近似于最大化隐式奖励。通过调整对比系数 $\alpha$ ，可以控制隐式奖励信号的权重，从而有效地过滤掉从标准弱模型采样时存在的噪声和偏差。

2. ConG 框架

ConG 通过两个阶段运行，利用一对弱模型对 ( $\pi_{ref}^w$ 和 $\pi_r^w$ ) 来训练强模型 ( $\pi_s$ )：

阶段 I：ConG-S (用于 SFT 的对比解码)
- 使用对齐后的弱模型 ( $\pi_r^w$ ) 和对齐前的弱模型 ( $\pi_{ref}^w$ ) 进行对比解码。
- 该过程针对一组提示词 (prompts) 生成高质量的“选中”响应 ( $y_w$ )。
- 强模型通过在这些 CD 生成的样本上进行监督微调 (SFT) 进行初始化，使其策略向高奖励偏好分布移动。
阶段 II：ConG (使用 DPO 进行泛化)
- 强模型 ( $\pi_{SFT}^s$ ) 通过直接偏好优化 (DPO) 进行进一步精炼。
- 对于每个提示词，从 CD 生成中检索一个“选中”响应 ( $y_w$ )，并使用标准解码从强模型本身采样一个“拒绝”响应 ( $y_l$ )。
- 理论分析证实，CD 响应的隐式奖励严格高于标准采样响应的隐式奖励 ( $\hat{r}_w > \hat{r}_l$ )。
- 强模型被优化以最大化 $y_w$ 与 $y_l$ 之间的偏好差距，在利用来自弱模型的去噪信号的同时，保持分布的一致性。

核心贡献

理论统一： 本文建立了隐式奖励与对比解码之间的正式联系，证明了 CD 是最大化隐式奖励的一种机制。这为使用 CD 对弱模型输出进行去噪提供了理论依据。
ConG 框架： 一个新颖的两阶段训练流水线 (ConG-S + ConG)，它利用对齐前与对齐后弱模型之间的对比解码，为强模型生成更优的监督信号。
自我对齐能力： 当弱模型和强模型被实例化为同一个模型时，该框架自然地退化为自我对齐，从而扩大了其在弱到强场景之外的适用性。
实验验证： 在不同模型家族（Qwen2.5 和 Llama3）和规模上的广泛实验表明，ConG 一致地优于传统的 W2SG 基线方法。

实验结果

作者在 AlpacaEval2 和 Arena-Hard 基准测试上使用 Qwen2.5 和 Llama3 模型家族对 ConG 进行了评估。

性能提升： ConG 显著优于传统的弱到强方法（如 Weak SFT, WeakTeacher, WSPO）以及基座模型。
- 在不同设置下，ConG 平均比基座模型带来了 ~16.5% 的增益。
- 在弱到强对齐中，ConG (w→s) 比基座模型提高了约 16.3% 的平均得分，而其他基线方法通常会导致性能相对于基座模型下降。
- 在自我对齐设置中，ConG (self) 比参考模型实现了 ~17.8% 的平均提升。
鲁棒性与泛化性：
- 模型能力差距： 当弱模型与强模型之间的能力差距较小时（例如 7B→7B），以及当强模型更大时，该方法表现出更大的提升，这表明强模型可以更好地利用来自有能力的弱教师的偏好信号。
- 对比系数 ( $\alpha$ )： 中等数值的 $\alpha$ (0.3–0.5) 表现最佳，在奖励最大化与生成稳定性之间取得了平衡。
- 下游任务： 在通用能力基准测试（MMLU, ARC, GSM8K 等）上的评估显示，性能下降微乎其微（平均变化在 1.0 分以内），表明 ConG 在提升对齐能力的同时保留了通用能力。
跨家族泛化： 即使当弱模型和强模型属于不同的家族时（例如 Llama3 弱 $\to$ Qwen 强），该方法仍然有效，尽管绝对增益略低于同家族设置。

重要性与主张

本文声称 ConG 提供了一条 通往通用人工智能 (AGI) 的极具前景的路径，因为它能够使 LLM 实现自我增强，并将能力迁移到更强的模型，而无需承担高昂的人类反馈或显式奖励建模成本。

关于该工作重要性的关键主张包括：

缓解局限性： ConG 实质性地缓解了传统 W2SG 方法的局限性，特别是此前限制其适用性的弱模型输出中的噪声和偏差问题。
可靠迁移： 通过利用 CD–隐式奖励相关性，该框架实现了更可靠的能力迁移、有效的去噪以及更高的鲁棒性。
可扩展性： 该方法为当前高度依赖人类监督的对齐流程提供了一种可扩展的替代方案，因为一旦模型超越专家水平，人类监督将变得不足。
通用性： 该框架被证明在不同的模型架构、规模和对齐场景（包括弱到强和自我对齐）中具有通用性。

作者强调，虽然 ConG 推动了技术进步，但需要负责任地部署，以确保不会无意中传播来自弱模型的偏差，这突显了对数据集精心策划和安全机制的需求。