技术摘要：STRIDE

问题陈述

具有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的强大后训练范式。然而，现有的 RLVR 方法（如 GRPO）通常仅依赖于最终答案的正确性来为整个推理轨迹分配奖励。这种方法导致了稀疏监督，即无论 token 对推理过程的实际贡献如何，都对其进行统一对待。因此，模型无法区分有益的策略模式与有害或冗余的模式。

近期尝试引入中间监督信号（如过程奖励模型 PRM、高熵 token 或语义不确定性）的研究显示出其局限性。正如论文分析（图 1 和图 2）所示，这些信号通常不具备内在的可验证性。例如，高熵 token 和特定的策略词汇（如“因此”、“然而”）在正确和错误的轨迹中出现的频率相似。虽然它们可能指示决策点，但无法可靠地判断特定的推理步骤是对结果产生了积极还是消极的影响。这导致了不准确的信用分配（credit assignment），即模型可能会强化那些偶然导致正确答案的伪造推理模式，或者未能惩罚那些在错误轨迹中导致失败的有害模式。

方法论：STRIDE

为了解决这些局限性，作者提出了 STRIDE（基于判别性估计的策略轨迹推理），这是一个直接从可验证结果中获取监督信号的细粒度 RLVR 框架。STRIDE 的核心是**判别性策略推理强化学习（DSR-RL）**框架，它通过以下步骤运行：

1. 判别性推理估计

STRIDE 通过对比给定问题在采样响应组中的成功（$D^+$）和失败（$D^-$）推理轨迹，评估 $n$-gram 策略模式以估计其对结果的判别性偏好。

• 基于频率的判别性 ($S_{freq}$)：该框架计算一个得分，该得分基于模式 $g$ 在成功轨迹与失败轨迹中出现频率的对数比：
  $$S_{freq}(g) = \text{clip}\left(\log \frac{P(g|D^+) + \delta}{P(g|D^-) + \delta}, -\epsilon, \epsilon\right)$$
  高正值表示该模式与成功强相关，而负值则表明其与失败相关。

• 策略显著性熵 ($H_{sal}$)：为了确保识别出的模式不仅仅是常规的延续，而是具有决策相关性的，STRIDE 引入了生成熵。$n$-gram 的显著性熵是其组成 token 的平均熵。高熵意味着活跃、不确定且具有决策关键性的推理步骤。

• 显著性得分 ($S_A$)：最终的显著性得分结合了这两种信号。只有当其显著性熵超过阈值 $\tau$ 时，一个模式才被视为有意义的策略模式：
  $$S_A(g) = \mathbb{I}(H_{sal}(g) \geq \tau) \cdot S_{freq}(g)$$
  这确保了只有那些既具有决策相关性（高熵）又具有结果判别性（频率差异）的模式才会接收优化信号。

2. 策略优势重加权

在标准的 RLVR 中，优势值（advantage value）是在响应层面根据最终答案的正确性计算的。STRIDE 通过在 $n$-gram 层面分配差异化优势值来修改这一过程。属于策略模式 $g$ 的 token 的最终优势（$A_{final}$）计算如下：
$$A_{final} = A_{base} + S_A(g)$$
其中 $A_{base}$ 是标准的响应级优势。该机制为有益的策略模式分配额外的奖励，并对有害模式施加更强的惩罚，从而在保持 RLVR 范式可验证性的同时，实现精确的信用分配。

核心贡献

1. 识别信号局限性：论文提供了实证证据，证明现有的中间信号（熵、预定义 token）不足以区分有益或有害的推理，因为它们缺乏内在的可验证性。
2. DSR-RL 框架：引入了一个通过对比成功和失败轨迹来估计 $n$-gram 模式判别性偏好的新颖框架。
3. 混合信号集成：将基于频率的判别性估计与推理显著性熵独特地结合在一起，以过滤掉非关键模式并专注于决策相关的策略。
4. 细粒度信用分配：一种为特定策略模式分配差异化优势值的机制，超越了统一的 token 优化。

实验结果

作者在多种模型（Qwen2.5-7B, Llama-3.1-8B, Qwen3-4B）、任务（数学推理、多模态推理、智能体任务）和基准测试中评估了 STRIDE。

• 数学推理：STRIDE 在所有测试模型中均一致优于强基线模型（GRPO, DAPO, HICRA-GRPO, HET-DAPO）。例如，在 Qwen2.5-7B-Instruct 上，STRIDE 达到了 44.71 的平均分，超过了表现最好的基线（HET-DAPO）2.53 分。在 Llama-3.1-8B 和 Qwen3-4B 上也观察到了类似的提升。
• 多模态与科学推理：使用 Qwen2.5-VL-7B 作为基础模型，STRIDE 提升了在通用领域基准（MMMU-Pro, MMMU, EMMA）和科学基准（MMK-12）上的表现。值得注意的是，它将 Bio 分数从 54.0 提升至 72.3，超越了专门的基线如 MM-Eureka 和 SRPO。
• 智能体任务：在交互式决策场景（WebShop, ALFWorld, BabyAI）中，STRIDE 取得了最高的平均分（84.3），优于离线 RL 基线 AgentSTaR 和 token 级 RL 方法 HET-DAPO。
• 消融实验：移除任何组件（频率估计、熵过滤或 $n$-gram 建模）都会导致性能显著下降，证实了完整框架的必要性。
• 敏感性分析：STRIDE 在不同采样展开次数（4 到 10 次）下均表现出鲁棒性，即使在适度的采样预算下也能持续优于 GRPO。

重要性与主张

论文声称 STRIDE 通过解决当前方法中固有的“稀疏监督”和“统一优化”问题，代表了可验证强化学习领域的重大进展。其重要性在于：

• 可验证性：不同于依赖未经验证的中间信号的方法，STRIDE 的所有监督都源自可验证的最终结果，确保了训练信号植根于事实。
• 精准性：通过区分有益和有害的策略模式，它实现了更精确的信用分配，使模型能够学习“如何”正确推理，而不仅仅是学习“什么”是答案。
• 泛化性：该框架被证明不仅在纯文本数学推理中有效，而且可以扩展到视觉语言模型（VLM）和复杂的智能体系统，表明其在特定领域之外具有广泛的应用前景。

作者总结道，STRIDE 提供了一种增强 LLM 推理能力的稳健且通用的方法，尽管他们也承认在自动验证困难的开放式生成场景以及大规模展开预算下的模式估计效率方面存在局限性。