💬 NLP

CATPO: Critique-Augmented Tree Policy Optimization

CATPO（批判增强型树策略优化）通过引入树级信息量评分以过滤无信息样本、应用批判引导的修复来从失败的树中恢复信号，并使用信息量加权损失，通过引入可验证奖励来增强强化学习，从而实现比现有基于树的方法（如 TreeRPO）更优越的数学推理性能。

原作者： Ayush Singh, Umang Goyal, Ankur Dahiya

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ayush Singh, Umang Goyal, Ankur Dahiya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有时有点固执的学生如何解决复杂的数学问题。你不会在每一个步骤都给他们一个老师来评分，而是让他们尝试，直到最后才告诉他们最终答案是对是错。这就是现代 AI 模型学习推理的方式。

这篇论文介绍了一种名为 CATPO（批判增强型树策略优化，Critique-Augmented Tree Policy Optimization）的新方法。为了理解它为什么特别，我们先来看看目前的方法是如何运作的，以及它们在哪里浪费了时间。

问题：在“死掉的”树上浪费时间

目前的方法（如 TREERPO）使用一种称为**“树状展开”（Tree Rollouts）**的策略。想象一下要求学生解决一个问题，但他们不是写出一个长长的答案，而是像树一样分支：

分支 A： 尝试方法 1。
分支 B： 尝试方法 2。
分支 C： 尝试方法 3。

在一天结束时，你会检查树的叶子。如果任何一个分支得到了正确答案，那么整棵树就是成功的。如果所有分支都失败了，那么这棵树就是失败的。

浪费之处：
论文指出，计算机在那些无法提供任何教益的树上浪费了大量的能量：

“死掉的正确”树（The "Dead-Correct" Tree）： 每一个分支都得到了正确答案。学生已经掌握了。这里没有什么可以学习的；这就像是在练习一首你已经完美掌握的钢琴曲。
“死掉的错误”树（The "Dead-Wrong" Tree）： 每一个分支都失败了。学生完全迷失了。如果没有老师指出他们在哪里出了错，计算机只会看到“0% 成功率”并感到困惑。这就像试图通过在没有任何指令的情况下沉入泳池来学习游泳一样。
“陈旧的”树（The "Stale" Tree）： 学生在随机猜测，且结果与其信心度不匹配。这是一个混乱且毫无帮助的局面。

当前的方法将所有这些树视为同等对待，从而在那些不需要它的树上浪费了计算能力。

解决方案：CATPO

CATPO 就像一位聪明的教练，观察学生的“尝试树”并决定如何做出反应，从而节省时间和精力。它通过以下三个步骤实现：

1. “信息量得分”（教练的眼睛）

在教练开始教学之前，他们会先观察这棵树并给它打分。

如何做？ 他们检查两件事：
- 多样性（Diversity）： 学生尝试了不同的方法吗？（如果所有分支都一样，那就很枯燥）。
- 惊喜度（Surprise）： 学生的信心是否与结果相符？（如果他们 100% 确定却错了，这是一个极佳的学习时刻；如果他们不确定却对了，那只是运气）。
结果： 如果一棵树是“死掉的正确”或“死掉的错误”，教练会给它低分。如果是一棵“恰到好处”的树（有些对，有些错，有很多学习潜力），它会获得高分。计算机随后会将精力集中在高分树上。

2. “批判引导修复”（救援任务）

这是最具有创意性的部分。当教练看到一棵**“死掉的错误”树**（即所有分支都失败了）时，他们不会直接丢弃它，而是尝试修复它。

第 1 步： 教练找到学生偏离轨道的地方——即第一个出错的步骤（“最浅层的失败”）。
第 2 步： 教练询问学生（AI 模型本身）：“嘿，看看这个特定的步骤。你觉得你为什么在这里犯了错？”学生生成一段批判（对错误的自我解释）。
第 3 步： 带着这段批判，教练要求学生仅从那个出错的点开始重新尝试，生成新的、修正后的分支。
神奇之处： 突然间，一棵原本 100% 失败的树现在拥有了一些成功的分支。这棵“死掉的”树被修复了，变成了一个有用的训练案例。

3. 加权学习（聪明的评分）

最后，当计算机更新其大脑（策略）时，它不会平等对待每一棵树。

高分树： 获得“重权重”。计算机能从中学习很多。
低分树： 获得“轻权重”。计算机几乎不关注它们。
修复后的树： 因为它们将失败转化为了成功案例，所以会受到特别关注。

结果：它有效吗？

作者在名为 Qwen2.5-Math-1.5B 的数学模型上使用了一个标准的数学数据集进行了测试。

目标： 正确解决数学问题。
竞争对手： 他们将 CATPO 与标准的扁平化方法（GRPO）和标准的树状方法（TREERPO）进行了对比。
结果： CATPO 赢了。相比于标准的树状方法，它将模型的准确率提高了 4.8%；相比于扁平化方法，提高了 1.9%。
最重要的意义： 在处理最难的问题时，这种提升最为显著。这很合理，因为难题会产生更多的“死掉的错误”树。CATPO “修复”这些树的能力让它在其他方法选择放弃的地方获得了巨大的优势。

总结类比

想象一个学生正在参加一场选择题考试。

旧方法： 学生参加考试。如果他们全对，他们学不到任何东西。如果他们全错，他们会感到困惑，也学不到任何东西。
CATPO 方法： 老师查看试卷。
- “你全都答对了？很好，跳过这一题。”
- “你全都答错了？让我们找到你出错的第一道题。让我们谈谈为什么你会答错，然后让我们尝试只修复那一部分。”
- “现在，让我们把学习时间集中在那些你虽然不确定但学到了新知识的问题上。”

通过仅专注于那些真正能教会学生知识的时刻，CATPO 使训练过程更快，并使最终生成的 AI 更聪明。

技术摘要：CATPO (基于批判增强的树策略优化)

问题陈述

具有可验证奖励的强化学习 (RLVR) 已成为增强大语言模型 (LLM) 推理能力的支配范式。虽然像 TREERPO 这样的基于树的方法通过生成树状展开（tree-structured rollouts）来提供密集的步级奖励信号，从而改进了扁平轨迹采样，但它们面临一个关键的效率问题：由于无信息树导致的计算浪费。

目前的树形方法在训练期间对所有采样的树一视同仁。然而，许多树几乎无法提供有用的梯度信号：

死正确树 (Dead-correct trees)： 所有叶子节点都成功了。模型已经掌握了该问题，无法提供用于改进的对比信号。
死错误树 (Dead-wrong trees)： 所有叶子节点都失败了。由于缺乏正向分支，组相对优势（group-relative advantages）塌陷为零，导致展开过程对梯度更新毫无用处。
陈旧树 (Stale trees)： 策略的置信度已完美追踪奖励分布，收益递减。

DAPO 和 GRESO 等现有方法通过过滤提示词（prompts）解决了类似的问题，但它们是在提示词层面进行的。它们无法诊断或修复树展开的内部结构，即某些分支可能具有启发性或存在错误，而其他分支则不然。

方法论

CATPO (Critique-Augmented Tree Policy Optimization) 通过一个四阶段流水线来解决这种浪费，该流水线在树级别对树展开进行诊断、修复和重新加权。

1. 树信息量得分 ( $F(T)$ )

CATPO 引入了一个指标来量化树 $T$ 对策略更新的效用。该得分通过使用采样过程中已生成的数据进行计算，无需额外成本。它结合了两个信号：

叶子结果多样性： 通过叶子通过率 ( $\hat{p}$ ) 的伯努利方差 $\hat{p}(1-\hat{p})$ 来衡量。当结果混合（既有正确也有错误）时，该项达到最大值；当所有叶子达成一致时，该项为零。
策略-奖励去相关性： 通过节点对数概率与传播奖励之间的皮尔逊相关系数 $1 - \rho^2_{\pi,r}$ 来衡量。这捕捉了策略置信度无法线性解释奖励结构的残余不确定性。

最终得分 $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$ 。根据阈值，树被分为四种状态：

死正确/死错误： 低多样性（近乎一致的结果）。
陈旧： 中等信号。
有信息量： 高多样性和高去相关性。

2. 批判引导的修复 (Critique-Guided Healing)

对于死错误树（所有分支均失败），CATPO 并不丢弃该展开。相反，它尝试“修复”这棵树：

失败识别： 通过广度优先搜索定位所有子节点均失败（奖励 < $\epsilon$ ）的最浅层节点 $v^*$ 。
批判生成： 提示策略模型本身针对节点 $v^*$ 的错误生成自然语言形式的批判，识别具体的逻辑或数学错误。
嫁接： 再次提示模型，输入问题、直到 $v^*$ 为止的部分解以及生成的批判，以产生 $k$ 个改进后的延续路径。
重新传播： 将这些新分支嫁接到 $v^*$ 处的树上，重新评分，并自底向上传播奖励。这使得“死”树转化为具有正向奖励多样性的树。

3. 信息量加权损失

最终的训练目标通过归一化的信息量得分 $w(T) = F(T) / \bar{F}$ 来缩放每棵树对策略梯度的贡献。

有信息量的树 获得全额权重，驱动参数更新。
死正确和陈旧的树 被降低权重。
修复后的树 如果修复过程成功，则被视为有信息量的树。

该目标函数使用裁剪后的代理损失（类似于 PPO/TREERPO），其中优势函数受 $w(T)$ 调节，从而将更新集中在最有用的数据上，同时保持整体梯度量级。

核心贡献

树级诊断： CATPO 是首个明确诊断树信息量并在 RL 训练循环内对无信息树进行干预的方法，超越了提示词层面的过滤。
零成本评分： 信息量得分 $F(T)$ 利用现有的树采样统计数据（叶子结果和对数概率），无需辅助模型或额外的向前传递。
批判引导的修复： 一种新机制，通过利用策略模型自我批判并嫁接修正分支，从“死错误”树中回收训练信号，有效地将浪费的计算转化为有用的训练数据。
加权优化： 一种信息量加权的损失函数，动态地优先处理高价值的树，提高了采样效率。

实验结果

实验在 Qwen2.5-Math-1.5B 上进行，该模型在 MATH 数据集上进行训练，并在四个基准测试上进行了评估：AIME24, MATH-500, OlympiadBench, 和 MinervaMath。

性能： CATPO 达到了 37.5% 的宏准确率 (Macro Accuracy)，优于基线 TREERPO (35.6%) 1.9%，以及扁平轨迹 GRPO (32.7%) 4.8%。
更难的任务： 在困难基准测试（AIME24 和 OlympiadBench）上，提升最为显著，因为在这些测试中，基线会产生更高比例的“死错误”树，从而给了 CATPO 更多恢复信号的机会。
泛化能力： 在 MinervaMath（训练分布之外）上也观察到了显著增益，表明该方法有助于学习可迁移的推理策略，而非仅仅是过拟合。
假设验证：
- H1： 信息量得分 $F(T)$ 与单树梯度范数呈现强正相关（Spearman $\rho = 0.62$ ），验证了其作为可靠训练效用代理指标的有效性。
- H2： 批判引导的修复成功使 88.1% 的“死错误”树通过引入至少一个正确分支而提升了信息量。

重要性与主张

论文声称，CATPO 通过直接解决树形采样中固有的“浪费”问题，为 LLM 推理提供了更高效、更有效的 RLVR 方法。通过区分有信息量和无信息量的树，并积极修复后者，CATPO 将计算资源集中在驱动学习的数据上。作者强调，这种方法不需要单独的奖励模型或价值网络，在保持 GRPO/TREERPO 简单性的同时，显著提升了在复杂推理任务上的表现。该方法被视为现有基于树的 RL 的一种互补性进步，专门针对以往方法忽略的展开内部结构。