🤖 AI

Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback

该论文提出了COSE，这是一种利用大语言模型内在置信度、通过置信度加权PPO更新和优先回放来调节学习的自进化框架，有效缓解了错误自我判断的风险，并在推理和数学基准测试中实现了卓越性能。

原作者： Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一名学生正在学习数学，但没有老师，他们只能自学。他们自己编写练习题，尝试解答，然后给自己打分。这就是**自进化大语言模型（LLMs）**的核心概念。

论文指出，虽然这种“自学”理念非常强大，但它存在一个重大缺陷：**学生并不总是能准确评判自己的作业。**有时，学生可能会出一道糟糕的题目，或者误以为错误的答案是正确的，从而在不知不觉中因错误而给自己奖励。久而久之，这会让学生感到困惑，并使其表现变得更差。

作者提出了一种名为COSE（Confidence-Orchestrated Self-Evolution，置信度协调的自进化）的新方法来解决这一问题。以下是其工作原理，辅以简单的类比：

问题所在：“过度自信的学生”

在传统的自学模式中，如果学生说“我做对了！”并给自己颁发一枚金星星，计算机就会将这枚金星星视为绝对真理，并更新其“大脑”以更多地重复此类行为。

风险：如果学生实际上是在猜测，并且碰巧答错了，但感觉非常自信，他们仍然会给自己颁发金星星。于是，计算机就会学会“自信地犯错”。

解决方案：COSE（“置信度计”）

COSE 增加了一条简单的规则：“不要只听学生说什么，要听他们听起来有多确定。”

COSE 不再同等对待每一个自评分的答案，而是检查学生的“置信度计”（该指标通过观察计算机在生成分数时内部数学运算的不确定性程度来计算得出）。

1. “音量旋钮”（置信度加权更新）

想象学生在大喊：“我做对了！”

高置信度：如果学生以十足的确定性大喊，COSE 会将音量调大。计算机仔细聆听并从这些反馈中学习。
低置信度：如果学生含糊其辞或听起来不确定（即使他们声称“我做对了”），COSE 会将音量调小。它将反馈视为耳语。计算机仍然会听到，但不会因此剧烈地改变其“大脑”。
结果：如果学生自信地答错了，音量很低，因此错误不会破坏学习过程。如果学生不确定但答对了，音量也很低，因此计算机不会忽略一个潜在的好教训。

2. “练习歌单”（置信度优先回放）

想象学生有一个待复习的练习题歌单。

旧方法：学生随机挑选题目。
COSE 方法：学生挑选恰到好处的题目。
- 他们跳过太简单的题目（学生已经掌握了）。
- 他们跳过太难或评分置信度低的题目（学生只是在猜测）。
- 他们专注于“金发姑娘”区域：那些经过高置信度验证且略带挑战性的题目。这确保了学生在最有用的材料上进行练习。

论文发现

研究人员在四个不同的 AI 模型上，针对 19 项不同的测试（涵盖通用推理、数学和编程）测试了这种方法。

重大突破：与其他自学方法相比，COSE consistently 使 AI 在推理和数学方面变得更聪明。它特别擅长帮助较弱的模型提升能力，而不会因自身的错误而感到困惑。
安全网：对于编程任务，计算机实际上可以运行代码以查看其是否有效（这是一个完美的外部评判者），COSE 并未损害性能。这表明该方法是安全的；它仅改变了 AI 在必须依赖自身判断时的学习方式。
局限性：论文承认 COSE 并非万能。如果 AI 对某些复杂问题（如棘手的数学证明）自信地犯错，COSE 可能仍会允许少量此类错误进入，只是音量较低。它减少了噪音，但并未完全消除噪音。

一句话总结

可以将 COSE 视为一位智能的自学教练。它不会阻止 AI 自学，但增加了一个过滤器：“如果你对自己的评分不确定，就不要让该评分过多地改变你的大脑。” 这防止了 AI 仅仅因为对某些错误感到自信而意外地养成坏习惯。

技术摘要：置信度编排的自进化（COSE）

问题陈述

自进化大语言模型（LLM）旨在通过生成自身的训练任务、解决这些问题，并从自生成的反馈中学习，从而提升推理能力，而无需完全依赖人工策划的监督。然而，在那些无法通过执行（如代码）或精确匹配（如数学）来验证解决方案的领域中，存在一个关键瓶颈。在这些“开放域”设置中，模型必须同时充当验证器（判断任务有效性）和评判器（评估答案正确性）。

核心挑战在于噪声自生成反馈。一个能够生成高难度任务的模型，可能缺乏正确验证这些任务或判断所提出解决方案正确性的能力。当模型错误地认可有缺陷的任务，或将错误答案误判为正确时，这些错误会被转化为奖励信号。在标准的自进化循环中，这些错误信号会驱动梯度更新，从而强化错误的推理模式，导致优化不稳定或性能下降。现有方法要么依赖外部验证器（限制了通用性），要么将所有自生成反馈视为同等可信的监督，未能考虑反馈生成过程中固有的不确定性。

方法论：COSE

作者提出了COSE（置信度编排的自进化），这是一个利用 LLM 内在置信度作为轻量级不确定性信号来调节学习过程的框架。COSE 使用单个骨干模型 $\pi_\theta$ ，通过提示使其扮演四个角色：提议者（生成问题）、验证器（评分问题质量）、求解者（生成答案）和评判器（评分答案正确性）。

核心创新在于直接从验证器和评判器在反馈生成过程中的 token 级输出分布中估计置信度，而不是将反馈视为真实标签。

1. 置信度估计

COSE 基于模型 token 级输出分布的归一化熵计算置信度（ $c$ ）。对于生成的 token $t$ ，其在词汇表 $\mathcal{V}$ 上的概率分布为 $P_t$ ：
$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$
序列级置信度（ $c_{seq}$ ）是 token 级置信度的平均值。该指标作为不确定性的启发式指标：低熵（高置信度）意味着模型对其判断是确定的，而高熵（低置信度）则表明存在不确定性。

2. 置信度加权 PPO

COSE 将这些置信度分数集成到近端策略优化（PPO）目标中，以缩放每个样本的梯度贡献。

提议者权重（ $w_P$ ）： 基于问题质量（ $v$ ）和验证器置信度（ $c_V$ ）缩放更新：
$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$
求解者权重（ $w_S$ ）： 基于问题质量、验证器置信度和评判器置信度（ $c_J$ ）缩放更新：
$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$
通过将权重下限定为 0.1 而不是完全丢弃不确定的样本，COSE 在保留探索性的同时，防止高方差、低置信度的反馈主导优化过程。

3. 置信度优先回放

回放缓冲区优先采样那些不仅有效，而且位于模型当前能力边界附近的问题。优先级定义为：
$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$
其中， $p(q)$ 是平均求解率。项 $4p(q)(1-p(q))$ 在 $p(q) \approx 0.5$ 时达到最大值，将训练集中在模型大约一半时间能解决的问题上（即“学习前沿”）。置信度项确保具有不确定验证的问题不会被过度采样。

主要贡献

识别优化瓶颈： 本文指出，噪声自生成反馈（包括验证和评判）是自进化 LLM 中的核心优化瓶颈，这与单纯的数据稀缺不同。
训练控制的构建： 作者将问题构建为每个样本的训练控制任务，其中反馈信号对学习的影响由其内在置信度进行调节。
实证验证： 通过在 19 个保留基准测试和四个模型骨干（Qwen 和 Llama 系列，0.6B–4B 参数）上的广泛实验，作者证明 COSE 始终优于基线模型，并优于或保持与先前自进化基线（AZR、MAE、R-Zero）的竞争力。

实验结果

评估涵盖了通用推理、数学和代码生成。

通用推理： COSE 在所有四个骨干模型上实现了最高的平均性能。值得注意的是，在较弱的Qwen3-0.6B和Llama-3.2-3B模型上，COSE 带来了显著提升（例如，Qwen3-0.6B 提升了 28.5 分），显著优于基线。作者将此归因于较弱模型产生的反馈噪声更大；COSE 的置信度加权有效地抑制了这些错误的影响，而基线方法则强化了它们。
数学： COSE 在困难的数学基准测试（如 Olympiad-Bench、Minerva）上显示出最大的改进。结果表明，当评判器必须区分看似合理但错误的推导时，置信度控制尤为关键，而在这种场景下，朴素的自评判往往会失败。
代码生成： 在具有可执行验证的领域（代码）中，COSE 保持竞争力。虽然依赖外部验证器的方法（如 AZR）在某些骨干模型上表现略好，但 COSE 并未出现显著的性能回退。这表明在反馈本身已可靠的领域，置信度加权不会损害性能。
消融研究： 移除置信度加权的 PPO 会导致最显著的性能下降，特别是在数学领域，这证实了控制梯度强度是成功的主要驱动力。移除回放优先级的影响较小但一致为负面。

意义与主张

本文主张，当模型不仅从自身反馈中学习，而且控制不确定反馈对训练的影响强度时，自进化会变得更加有效。

鲁棒性： COSE 提供了一种机制，防止自进化循环中的错误被放大。只要模型能够识别自身的不确定性，即使验证器/评判器不完美，它也能从自生成数据中受益。
通用性： 与局限于可执行领域的方法不同，COSE 使得在没有外部验证器的开放域推理任务中也能实现自进化。
谦逊性： 作者明确指出，置信度是一种启发式的不确定性信号，而非正确性的保证。他们承认，高置信度的输出仍然可能是错误的，特别是在对抗性或分布外问题上。此外，该方法依赖于访问 token 级概率（logits），限制了其在没有额外采样策略的情况下直接应用于黑盒 API。实验是在相对较小的开放权重模型（0.6B–4B）上进行的，该方法在更大模型上的扩展行为仍是未来工作的开放性问题。

总之，COSE 代表了一种转变：不再将自生成反馈视为统一的监督，而是将其视为加权信号，其中权重由模型在生成该信号时的自身置信度决定。这种方法稳定了自进化过程，特别是在模型正在改进但其自我评估能力仍然充满噪声的具有挑战性的中间阶段。