💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

本文提出了 CoAct 框架，通过协同结合自奖励机制与主动学习，利用人类与 AI 的协作策略高效解决偏好数据稀缺问题，并在多个推理基准测试中显著提升了模型性能。

原作者： Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 COACT 的新框架，它的核心目标是解决大语言模型（LLM）在“学习人类喜好”时面临的一个大难题：既想要数据多（为了学得快），又想要数据准（为了学得好），但高质量的人工标注数据太贵、太少了。

为了让你更容易理解，我们可以把训练 AI 想象成教一个天才学生（AI）做数学题。

1. 之前的困境：两个极端的“老师”

在 COACT 出现之前，教 AI 主要有两种方法，但它们都有明显的缺点：

方法一：AI 自己教自己（Self-Rewarding）
- 比喻：就像让学生自己出题、自己做题、自己批改。
- 优点：速度极快，不用花钱请老师，可以无限刷题。
- 缺点：学生如果一开始做错了，自己批改时可能会觉得“我做得对”，然后越错越离谱，陷入“死胡同”。这就像一个人对着镜子练拳，如果姿势错了，他可能永远发现不了。
方法二：请人类专家教（Active Learning）
- 比喻：请一位严格的数学老师（Oracle/Oracle）来批改作业。
- 优点：老师批改得绝对准确，学生能学到真东西。
- 缺点：老师太贵了，而且时间有限。老师只能批改几道题，剩下的几千道题学生只能自己瞎猜，或者干脆不做。这就像请了个金牌教练，但他一天只能指导 10 分钟，剩下的时间学生只能自己瞎练。

COACT 的灵感：为什么不能既让学生自己练，又让老师关键时刻指点迷津呢？而且，还要让老师教得“聪明”一点，只教那些学生最需要教的地方。

2. COACT 是怎么做的？（三个核心步骤）

COACT 就像是一个**“智能学习小组”**，它通过以下三个步骤，把“学生自学”和“老师指点”完美结合：

第一步：自我一致性检查（“大家意见一致吗？”）

场景：面对一道题，AI 不急着给答案，而是像头脑风暴一样，自己生成 8 种不同的解题思路（Response）。
逻辑：
- 如果 8 种思路里，有 7 种都算出了同一个答案，那这个答案大概率是对的（高一致性）。
- 如果 8 种思路五花八门，答案都不一样，那说明这道题很难，或者 AI 还没学会（低一致性）。
作用：AI 先自己给自己打个分。那些“大家意见一致”的题目，AI 就自信地标记为“我会了”，直接拿来练习；那些“意见分歧大”的题目，标记为“我不确定”。

第二步：聪明的“老师”只挑重点（战略性的专家标注）

场景：现在老师（人类或更强的 AI 模型）时间有限，只能批改 300 道题。老师该挑哪些呢？
COACT 的策略：
1. 挑“不懂”的：把那些“低一致性”（大家意见分歧大）的题目给老师。这些是学生的知识盲区，必须老师教。
2. 挑“装懂”的：这是 COACT 最精彩的地方！有些题目，AI 虽然 8 种思路都算出了同一个答案（高一致性），但答案可能是错的（比如大家都算错了）。COACT 用一种叫 k-NN（k 近邻） 的数学方法，像找“异类”一样，在这些“高一致性”的题目里，找出那些虽然答案一致、但解题逻辑跟以前做对的题目长得不一样的题目。
- 比喻：就像一群学生都喊“答案是 5"，老师发现其中几个学生的解题过程跟以前做对题的学生完全不同，虽然答案碰巧对了（或者错了），但逻辑是歪的。老师就把这些“看似一致实则错误”的题目挑出来纠正。
结果：老师只批改那些真正需要纠正的题目，极大地提高了效率。

第三步：举一反三（题目生成）

场景：老师批改完那些“高一致性且正确”的题目后，COACT 并没有止步。
逻辑：它把这些老师确认过是正确的题目，当作“范例”，让 AI 模仿着生成新的、类似的题目。
作用：这就像老师教完一道经典题后，让学生自己出几道类似的题来巩固。这样，AI 不仅学会了做题，还学会了在它能掌握的范围内，自己创造更多练习题，越练越熟。

3. 最终效果：1+1 > 2

经过几轮这样的“自学 + 名师点拨 + 举一反三”的循环：

数据量大了：AI 自己生成了大量高质量的练习题（自学部分）。
质量高了：老师只纠正了最关键的错误，保证了方向正确（专家部分）。
结果：在 GSM8K（小学数学）、MATH（竞赛数学）和 WebInstruct（物理推理）这三个很难的测试中，COACT 的表现远远超过了其他方法。
- 比如在 GSM8K 上，准确率提升了 13.25%。
- 它甚至能把自己在数学上学到的能力，迁移到完全没见过的科学问题（如 GPQA）上，表现依然最好。

总结

COACT 就像是一个超级高效的学习系统：
它不再盲目地让学生自己瞎练，也不浪费宝贵的老师资源去批改简单的题。它利用**“大家意见一致”来判断学生是否真的懂了，利用“找异类”来发现那些看似正确实则错误的陷阱，最后让老师精准打击**，并引导学生自己出题。

这就解决了 AI 训练中的“既要马儿跑（数据多），又要马儿不吃草（成本低）”的难题，让 AI 在资源有限的情况下，也能学得又快又好。

COACT：基于人机协同的共主动大模型偏好学习技术总结

1. 研究背景与问题 (Problem)

在大语言模型（LLM）的偏好对齐（Preference Alignment）任务中，基于人类反馈的学习（如 RLHF、DPO）已被证明非常有效。然而，该方法面临两个核心挑战：

高质量数据稀缺且昂贵：获取大量高质量的人工标注偏好数据成本极高，限制了模型的扩展性。
现有方法的局限性：
- 自奖励（Self-Rewarding）：完全依赖 AI 生成标签，虽然可扩展，但容易放大模型自身的偏见和错误（Self-bias），导致模型性能退化。
- 主动学习（Active Learning）：通过人工（Oracle）标注来保证数据质量，但受限于标注预算，无法充分利用海量的未标注数据，导致数据效率低下。

核心问题：如何在有限的标注预算下，通过人机协同（Human-AI Synergy）平衡数据的可扩展性与高质量，从而高效地提升 LLM 的对齐效果？

2. 方法论 (Methodology)

论文提出了 COACT (Co-Active LLM Preference Learning) 框架，这是一种将自奖励与主动学习战略性结合的迭代框架。其核心流程包含以下四个关键步骤：

2.1 基于自一致性（Self-Consistency）的偏好构建

对于每个未标注的指令 $x$ ，模型生成 $k$ 个不同的响应。利用自一致性原理（即模型多次独立采样中，正确答案往往具有更高的一致性频率）：

计算每个响应的一致性得分 $C(y)$ 。
将一致性最高的响应视为“优选（Chosen）”，一致性最低的视为“拒绝（Rejected）”，构建初始的自标注偏好对。

2.2 战略性 Oracle 标注选择 (Strategic Oracle Selection)

为了最大化标注预算 $M$ 的信息增益，COACT 将自标注数据分为两类，并针对性地分配人工（或强模型）标注：

低一致性子集 ( $D_{low}$ )：直接选择一致性得分最低的样本。这些样本代表模型最不确定、最容易出错的区域，必须通过 Oracle 验证。
高一致性子集 ( $D_{high}$ )：虽然一致性高，但模型仍可能产生“自洽的错误”（Self-consistent errors）。COACT 利用 k-NN 距离（基于特征空间的距离）来检测这些样本。如果高一致性样本在特征空间中远离已验证的正确分布（OOD 检测），则将其标记为潜在错误并送入 Oracle 验证。
- 创新点：不仅标注不确定的样本，还主动挖掘“看似正确实则错误”的高置信度样本。

2.3 基于 Oracle 反馈的问题增强 (Question Augmentation)

Oracle 反馈不仅用于修正标签，还用于生成新数据：

从 Oracle 验证正确的样本中提取指令。
利用这些样本作为上下文示例（In-Context Learning），引导模型生成新的、多样化的指令。
这些新指令被限制在模型当前可解决的能力范围内，从而扩展训练分布，避免生成过难或无意义的数据。

2.4 模型更新

将 Oracle 标注的数据（ $D_{oracle}$ ）与筛选后的高质量自标注数据（ $D_{AI}$ ）合并，使用改进的 DPO 目标函数进行微调。该目标函数包含偏好损失项和 NLL 正则化项，以平衡偏好学习与语言建模能力。

3. 关键贡献 (Key Contributions)

提出 COACT 框架：首次系统性地通过“人机协同”将自奖励的可扩展性与主动学习的质量保障相结合，解决了单一方法的缺陷。
双重筛选机制：
- 利用自一致性区分高/低置信度数据。
- 利用k-NN 距离在高置信度数据中识别“自洽错误”，显著提高了数据筛选的精准度。
闭环数据增强：利用 Oracle 验证的正确样本指导新指令的生成，实现了在模型能力边界内的数据多样性扩展，而非盲目生成。
理论保证：提供了混合监督（混合干净 Oracle 数据与带噪 AI 数据）在理论上优于纯 Oracle 训练的条件证明，表明在噪声可控（ $\epsilon < 0.5$ ）的情况下，混合数据能显著降低策略次优性（Policy Gap）。

4. 实验结果 (Results)

实验在两个模型家族（Llama3-8B, Qwen3-4B）和三个推理基准（GSM8K, MATH, WebInstruct）上进行，并与多种主动学习基线（Random, Entropy, Pref Certainty 等）对比。

性能提升显著：
- 在 GSM8K 上平均提升 +13.25%。
- 在 MATH 上平均提升 +8.19%。
- 在 WebInstruct 上平均提升 +13.16%。
- 在最终迭代中，COACT 比最强的基线方法高出 4-8 个百分点。
泛化能力强：在域外基准（GPQA, MMLU-Pro, AIME）上，COACT 表现 consistently 优于所有基线，证明了其生成的训练数据具有更好的分布覆盖和泛化性。
自一致性与准确性的相关性：实验观察到自一致性得分与模型准确率之间存在强正相关（Pearson 相关系数高达 0.97），验证了利用自一致性构建偏好对的可靠性。
消融实验：证明了 k-NN 筛选机制能有效识别自洽错误，且“问题增强”模块在模型能力受限时（如 MATH 数据集初期）比单纯自标注更有效。

5. 意义与影响 (Significance)

资源效率：COACT 为在标注预算受限的场景下（如科研、特定垂直领域）进行 LLM 对齐提供了一条高性价比路径。它证明了只需少量高质量的人工/强模型标注，配合智能的自标注策略，即可达到甚至超越纯人工标注的效果。
解决自训练悖论：通过引入 Oracle 对“高置信度错误”的干预，有效缓解了自奖励训练中常见的模型幻觉和错误累积问题。
人机协同新范式：展示了 AI 不仅是数据的消费者，也是数据生成的参与者；人类（或强模型）不再是全量标注者，而是作为“质检员”和“引导者”，专注于处理 AI 难以判断的边界案例。

总结：COACT 通过巧妙的算法设计，将自奖励的规模优势与主动学习的质量控制完美融合，为大模型在资源受限环境下的持续进化提供了强有力的技术支撑。