技术摘要：ECHO——面向测试时强化学习的熵 - 置信度混合优化

1. 问题陈述

测试时强化学习（TTRL）旨在通过优化推理过程中生成的自反馈信号来提升大语言模型（LLMs）的推理能力，而无需外部人工标注。一种常见的 TTRL 范式涉及生成多个候选解，通过多数投票构建伪标签，并执行在线策略更新。

尽管近期进展引入了树状展开（如 ETMR），通过共享推理前缀并在关键节点分支以提高采样效率，但本文指出了现有方法中存在的两个关键失效模式：

1. 高熵分支导致的展开崩溃：在熵驱动的树搜索中，分支预算往往被少数包含连续高熵段的轨迹不成比例地消耗。这导致“展开崩溃”，即搜索树退化为链式结构，有效分支有限，从而降低探索覆盖率并使学习信号同质化。
2. 早期伪标签偏差引发的自我强化过拟合：在训练早期，由多数投票得出的伪奖励具有噪声和偏差。这可能导致策略过早收敛到局部“高分”但错误的解。由此产生的反馈回路会锐化输出分布（熵降低），抑制探索，并导致过拟合，最终限制泛化能力和后期性能。

2. 方法：ECHO

作者提出了熵 - 置信度混合组相对策略优化（ECHO），这是一个旨在联合调节展开和策略更新阶段的不确定性与置信度的框架。

2.1 熵 - 置信度引导的树状展开

ECHO 用混合调度机制取代了纯熵驱动的分支，该机制根据两个信号自适应地控制分支宽度（$B_t$）：

• 局部 Token 熵（$H_t$）：衡量当前 Token 分布的不确定性。
• 组级置信度（$C^G_t$）：聚合同一提示下多条展开的置信度分数。

分支宽度计算为归一化熵和置信度的函数：
$$B_t = \text{clip}\left(\text{round}\left(B_{\min} + \alpha_B \frac{H_t - H_{\text{low}}}{H_{\text{high}} - H_{\text{low}}} - \beta_B \frac{C^G_t - s_{\text{branch}}}{|s_{\text{branch}}|}\right), B_{\min}, B_{\max}\right)$$

• 自适应平衡：高熵结合低置信度会触发更宽的分支以鼓励探索。反之，高熵伴随高置信度则会抑制过度分支，以避免陷入“高熵陷阱”。
• 在线剪枝：为防止搜索陷入持续不确定的区域，ECHO 采用基于置信度和熵增滑动窗口的三个剪枝标准：
  1. 低置信度剪枝：终止最小组置信度低于自适应阈值的分支。
  2. 尾部下降剪枝：截断显示尾部置信度持续下降的分支。
  3. 熵激增剪枝：移除表现出连续熵增激增的分支。

2.2 置信度自适应截断

为了减轻策略更新过程中噪声伪标签的影响，ECHO 引入了置信度自适应的信任区域。不同于固定的截断半径（$\epsilon$），该半径根据轨迹级尾部置信度（$C^{\text{tail}}(o_i)$）动态调整：
$$\epsilon(o_i) = \epsilon_{\min} + (\epsilon_{\max} - \epsilon_{\min}) \sigma(\kappa(1 - C^{\text{tail}}(o_i)))$$

• 机制：高置信度轨迹获得更紧的信任区域（$\epsilon \approx \epsilon_{\min}$），防止虚假的高奖励更新占据主导。低置信度轨迹获得更宽松的区域（$\epsilon \approx \epsilon_{\max}$），允许更具探索性的更新并防止过早的熵崩溃。

2.3 熵 - 置信度混合优势塑形

ECHO 通过 Token 级塑形修改标准的组相对策略优化（GRPO）优势，以强调在不确定的但决策关键的步骤上进行学习。

• 混合优势（$A^{\text{hyb}}_{i,t}$）：组归一化的轨迹优势（$A^{\text{grp}}_{g,i}$）通过塑形信号（$S_{i,t}$）进行缩放，该信号结合了 Token 熵和逆置信度：
  $$A^{\text{hyb}}_{i,t} = A^{\text{grp}}_{g,i} (1 + a S_{i,t}), \quad \text{其中 } S_{i,t} = \alpha H_{i,t} + \beta (1 - C_{i,t})$$
• 效果：这将梯度质量重新分配给那些信息丰富但不确定的 Token，鼓励模型解决歧义，而不是过拟合到自信但可能错误的路径上。

3. 主要贡献

1. ECHO 框架：提出一个统一框架，通过自适应加权在展开过程中联合调节局部熵和组级置信度，并结合基于滑动窗口置信度和预热分位数阈值的在线剪枝。
2. 新颖的更新机制：引入置信度自适应截断和熵 - 置信度联合优势塑形。该设计减少了噪声伪标签的影响，加强了从有效但低置信度轨迹上的 Token 的学习，并缓解了早期偏差诱导的过拟合。
3. 实证验证：广泛的实验表明，在数学和视觉推理基准测试中取得了持续的提升，展示了在有限的展开预算和变化的训练分布下的鲁棒性。

4. 实验结果

该论文在一系列自然语言和 multimodal 推理基准测试上评估了 ECHO，包括 AIME2024/2025、AMC、MATH-500、GPQA，以及多模态数据集如 MathVision、MathVerse 和 LogicVista。

• 性能提升：ECHO 在不同模型骨干（Qwen2.5-7B、Qwen3-8B、LLaMA-3-8B）上始终优于强基线（TTRL、ETMR、EVOL-RL、INTUITOR、MM-UPT）。
  • 在自然语言基准测试上，ECHO 在 pass@16 准确率上实现了 0.63%–12.36% 的平均提升。
  • 在多模态基准测试上，其 pass@1 准确率平均提高了 2.6%–4.1%，在 LogicVista 等挑战性任务上相对提升高达 12.8%。
• 鲁棒性：即使在严格的 IID 设置下（在同一数据集上进行训练和测试），该方法也表现出有效性，平均准确率提高了 4.01%–8.88%。
• 消融研究：移除三个核心组件（EC-Tree、CA-Clip、E-SC Adv）中的任何一个都会导致性能下降。值得注意的是，移除置信度自适应截断（CA-Clip）会导致在困难基准测试上出现显著下降（例如，AIME2025 的 pass@16 从 54.3 降至 30.1），突显了其在抑制早期偏差方面的作用。
• 多样性分析：展开轨迹的可视化显示，ECHO 缓解了仅基于熵的方法中出现的“高熵崩溃”，导致分支预算在多样化路径上得到更平衡的分配。

5. 意义与主张

本文主张，ECHO 解决了在无外部监督的测试时强化学习中探索与利用之间的根本权衡。通过联合建模熵和置信度，该方法：

• 防止搜索退化：通过动态剪枝无生产力的高熵分支，避免树搜索退化为链式展开。
• 稳定学习：通过自适应信任区域和优势塑形，缓解由早期噪声伪标签引起的自我强化过拟合。
• 有效泛化：该方法在纯文本和多模态推理任务中均产生了稳健的改进，表明平衡不确定性和置信度是自改进推理模型的关键因素。

作者得出结论，ECHO 提供了一个稳健的框架来平衡探索与稳定性，使模型即使在训练数据分布发生偏移或外部标签不可用的情况下，也能有效提升其推理能力。