🤖 machine learning

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

本文提出了“计算即教师”（CaT）框架，该框架通过伪参考聚合与自拟评分标准，将推理阶段的并行 rollout 转化为无需参考的监督信号，使模型在不依赖人工标注的情况下，在可验证与不可验证领域均能实现显著的性能提升。

原作者： Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一名学生（人工智能）如何撰写一封完美的医疗建议信，或解决一道棘手的数学难题。通常，你需要一位手握“标准答案”的老师来评分。但如果你身处一种无人知晓正确答案的情境中呢？也许这是一个复杂的医疗案例，连真正的医生都意见不一；或者是一项创意写作任务，根本不存在唯一的“正确”结局。

本文介绍了一种名为**计算即教师（Compute as Teacher, CaT）**的新方法。这是一种巧妙的方式，让 AI 在没有人类教师或标准答案的情况下自我教学。

以下是其工作原理，使用一个简单的类比来说明：

问题：“沉默的课堂”

通常，为了进步，学生需要反馈。

在数学/编程中：老师可以运行程序来检查答案是对是错。这很容易。
在医疗/创意写作中：没有程序可以检查答案。如果你问 AI：“我该如何治疗这种罕见症状？”，可能会有五种不同的有效回答方式。你怎么知道哪一种最好？通常，你需要人类专家来评分，但这既缓慢又昂贵。

解决方案：“小组学习会”

作者们意识到，如果你向 AI 提出同一个问题八次（生成八个不同的“推演”或尝试），AI 会在不同的地方出错。

尝试 #1 可能有正确的诊断，但剂量错误。
尝试 #2 可能有正确的剂量，但遗漏了关于过敏的警告。
尝试 #3 可能在语气上完美，但遗漏了关键症状。

individually（单独来看），它们都有缺陷。但合在一起，它们包含了拼图的所有碎片。

两步魔法

CaT 框架通过两个步骤，将这次小组学习会转化为教学计划：

1. “综合”（智能编辑）

与其仅仅从八次尝试中挑选“最好”的一次（那可能仍有缺陷），不如让 AI 充当智能编辑。它审视所有八次尝试，并撰写一个新的、完美的“伪参考”答案。

类比：想象八名学生正在写文章。一位超级聪明的编辑阅读了所有八篇文章，从第一篇中选取最好的段落，从第二篇中选取最好的数据，从第三篇中选取最好的结论，并将它们拼接成一篇“大师级文章”。
这篇“大师级文章”成为了 AI 试图从中学习的目标。

2. “评分标准”（检查清单）

现在，我们如何根据这篇新的“大师级文章”来给原始的八次尝试评分呢？

对于数学：这很容易。数字匹配了吗？是/否。
对于医疗（困难部分）：你不能简单地用“是/否”来评价整篇文章。因此，AI 会根据“大师级文章”生成一个检查清单（评分标准）。
- 示例：与其问“这条建议好吗？”，AI 会创建一个检查清单："1. 是否提到了看医生？2. 是否建议了饮食改变？3. 是否避免了给出具体的诊断？”
- 然后，一个独立的 AI“裁判”会根据这个检查清单，逐一检查原始的八次尝试。如果某次尝试正确完成了 5 项清单中的 4 项，它就获得 0.8 的分数。

结果：无需教师的自学

AI 利用这些分数来更新其自身的大脑（强化学习）。它学会了：“啊，下次我应该确保包含我遗漏的那些清单项目。”

为什么这很重要？

无需人类：它在医疗等没有“标准答案”且人类专家太忙而无法为每个答案评分的领域中发挥作用。
长期成本更低：通常，为了获得一个好的答案，你每次提问时都必须运行 AI 八次并挑选最好的那一次。这既慢又贵。
- 有了 CaT，AI 在训练期间只需从这 8 次尝试中学习一次。
- 训练之后，AI 变得如此出色，以至于它只需一次尝试就能给出极好的答案。
- 论文声称：他们发现，经过训练的 AI 在回答问题时，表现与"8 次尝试”方法一样好，但使用的计算资源减少了 9 倍。

总结

计算即教师就像召集一群困惑的学生，让他们争论和辩论，然后让一位聪明的编辑从他们的辩论中创作出一篇“完美”的总结，再根据学生与总结的匹配程度来给他们评分。学生们从他们集体的错误中学习，最终变得如此出色，以至于不再需要这个小组。

该论文在HealthBench（医疗建议）和MATH-500（数学问题）上测试了这种方法。

在数学方面，其效果与现有方法相当。
在医疗建议方面（那里没有标准答案），与起点相比，它将 AI 的性能提高了高达30%，达到了专家医生撰写答案的质量，且整个过程无需任何人工标注。

技术摘要：计算即教师（CaT）

问题陈述

针对特定技能对大型语言模型（LLM）进行后训练，通常依赖于带有标注参考答案的监督微调（SFT），或依赖程序化检查器提供的可验证奖励的强化学习（RL）。虽然这些方法在数学和代码等领域行之有效，但在不可验证领域（如医疗指导、创意写作、自由对话）中却难以奏效，原因如下：

存在多个有效答案，且专家之间可能存在分歧。
确定性规则检查不切实际。
人工标注成本高昂、难以扩展或不可用。

现有的替代方案，例如使用大语言模型作为裁判来评分自由形式的输出，存在不一致性、冗长偏见和奖励黑客攻击等问题。本文提出：推理时的计算能否替代缺失的监督信号？

方法论：计算即教师（CaT）

作者提出了计算即教师（CaT），这是一个将推理时的计算转化为强化学习训练监督信号的框架，无需真实标签。该框架利用当前策略 $\pi_t$ 生成的并行 rollout，在两个主要阶段运行。

1. 参考估计

CaT 不依赖人工提供的参考，而是将为提示 $q$ 生成的 $G$ 个并行 rollout（ $o_{1:G}$ ）聚合成一个伪参考（ $s$ ）。这种聚合捕捉了模型的不确定性，因为 rollout 往往在模型不确定的地方出现差异。

聚合策略：该框架对具体方法无关。它探索了合成（Synthesis），即一个冻结的锚定策略（ $\pi_0$ ）以 rollout 集合为条件，生成新的、经过调和的响应。这使得系统能够结合不同 rollout 中的正确片段（例如，来自一个 rollout 的正确中间步骤和来自另一个 rollout 的有效结论）。
替代方案：多数投票或 Best-of-N 等选择策略也兼容，但合成因其能够构建原始 rollout 分布之外的响应而受到强调。

2. 奖励推导

伪参考 $s$ 用于为各个 rollout 推导奖励，以通过组相对策略优化（GRPO）更新策略。该机制根据领域的可验证性而有所不同：

可验证领域（如数学、代码）：奖励是二元的，基于 rollout 的最终答案是否与伪参考的答案匹配。
不可验证领域（如医疗）：本文引入了自拟评分标准（Self-Proposed Rubrics）。
- 锚定策略 $\pi_0$ 生成一组源自伪参考 $s$ 的二元、可验证标准（ $R = \{r_1, \dots, r_n\}$ ）（例如，“建议咨询医疗专业人员”）。
- 一个独立的裁判模型（ $\pi_J$ ）根据这些标准对每个 rollout 进行评分。
- 奖励为满足标准的比例。这将模糊的定性判断分解为具体、可审计的二元检查，缓解了直接使用“模型即裁判”评分的不稳定性。

训练循环

该过程迭代进行：策略生成 rollout $\to$ 参考估计生成 $s$ $\to$ 奖励推导根据 $s$ 对 rollout 评分 $\to$ GRPO 更新策略。关键在于，该框架在训练期间摊销了生成多个 rollout 并对其进行聚合的计算成本，使得最终训练好的策略在推理时能够生成高质量的单一输出。

主要贡献

自拟评分标准：一种针对不可验证 RL 的新型奖励机制，将判断分解为源自伪参考的二元标准，消除了对人工标注评分标准或参考答案的需求。
计算即教师（CaT）框架：一个通用范式，通过参考估计和奖励推导将推理计算转化为监督信号。它证明了合成（生成式聚合）可以通过调和 rollout 之间的分布式信息，从而优于基于选择的基线。
实证验证：在三个模型系列（Gemma 3 4B、Qwen 3 4B、Llama 3.1 8B）上进行了全面实验，涵盖不可验证（HealthBench）和可验证（MATH-500）领域。

结果

性能提升：与初始未训练策略相比，CaT 训练后的模型在 HealthBench 上实现了高达**+30% 的相对提升**，在 MATH-500 上实现了**+33%**的提升。
效率：训练后的模型在质量上达到或超过了推理时聚合（如合成）的水平，同时使用了9 倍更少的测试时计算。模型学会了内化聚合能力，在推理时仅需一次前向传播。
不可验证领域：自拟评分标准在 HealthBench 上的表现与专家医生标注的评分标准相当，并显著优于直接的“模型即裁判”评分。
合成与选择：在不可验证领域，基于合成的参考估计优于基于选择的基线（多数投票、Best-of-N）。在合成结果与共识不一致的情况下，其正确率高达 70–86%，通常能纠正所有单个 rollout 中存在的错误。
RL 与 SFT：基于评分标准奖励的 RL 在合成参考上始终优于监督微调（SFT），表明 RL 从有限的合成数据中泛化得更好。

意义与主张

本文主张，CaT 为在参考答案稀缺、昂贵或不存在领域的 LLM 后训练提供了一种实用的“即插即用”解决方案。通过利用推理计算来生成自身的监督信号，该框架：

弥合了可验证与不可验证 RL 之间的差距，作为一种统一的方法发挥作用。
减少了对人工标注的依赖，为专家标注成为瓶颈的特定领域提供了一条前进路径。
摊销了计算成本，将聚合的重负从推理时（重复进行）转移到训练时（一次性完成），从而实现更高效的部署。

作者指出了局限性，包括对基础模型生成多样化 rollout 能力的依赖，以及随着 rollout 收敛（熵崩溃）可能出现的性能平台期。然而，他们将 CaT 定位为迈向在复杂定性领域实现无参考学习的重要一步。