技术摘要：用于免训练 RLVR 数据选择的单轮次隐藏状态动力学

问题表述

本文解决了可验证奖励强化学习（RLVR）中的一个关键瓶颈：如何从大量未标记的候选池中筛选出高影响力的训练样本。尽管 RLVR 以极高的数据效率著称——可能仅需极少量样本即可带来显著的推理能力提升——但其性能对选择哪些样本极为敏感。

现有的数据选择流程通常依赖以下两种信号：

1. 训练时信号：在候选池上运行部分微调或强化学习，以观察优化动态（例如奖励轨迹、梯度方差）。
2. 真实标签依赖：获取整个候选池的可验证奖励或正确答案，以便对样本进行排序。

在专业且资源匮乏的领域（如医疗问答）中，这些要求往往难以实现，因为标注成本高昂，且对数千个候选样本进行试错式训练会造成巨大的计算浪费。作者形式化定义了一个**RLVR 前阶段（pre-RL）**场景，即在选择过程中，必须在没有任何真实标签、可验证奖励或训练时优化信号的情况下，从大规模未标记池中进行筛选。

方法论：SHIFT

作者提出了SHIFT，一种单次、免训练且无需标签的选择器。SHIFT 利用推理时的隐藏状态动力学来估计样本对下游 RLVR 的效用，而无需执行任何训练。

核心机制：推理诱导的表征偏移（RIRS）

核心假设是：模型在推理轨迹期间的内部动力学编码了其学习潜力。

1. 单次确定性推演：对于每个候选样本 $x$，SHIFT 使用贪婪解码（$T=0$）运行单次确定性推理轨迹。
2. 锚点提取：识别推理轨迹开始处（$s(x)$）和结束处（$e(x)$）的隐藏状态（具体指思维链段落的起始和结束位置）。
3. RIRS 计算：推理诱导的表征偏移计算为这些状态之间的差值：
   $$\Delta(x) = e(x) - s(x)$$
   其模长 $\|\Delta(x)\|_2$ 作为样本效用（信息量）的轻量级代理指标，假设较大的偏移量表明模型内部计算被更强烈地激活。

选择算法：质量加权的最远优先核心集

为确保所选子集兼具高质量和多样性，SHIFT 在增强的特征空间中采用贪婪选择策略：

1. 特征构建：每个样本由拼接向量 $\phi(x) = [s(x); \Delta(x)]$ 表示，并归一化至单位球面。这同时捕捉了初始上下文（$s(x)$）和推理变换（$\Delta(x)$）。
2. 效用评分：效用分数 $\tilde{q}(x)$ 源自 RIRS 模长（经对数变换以提高稳定性）。
3. 贪婪选择：
   • 初始化集合 $S$，包含效用最高的样本。
   • 迭代选择下一个样本 $x^*$，使其效用与当前集合距离的乘积最大化：
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     这平衡了信息量（高 RIRS）与覆盖度（RIRS 增强空间中的多样性）。

主要贡献

1. 问题形式化：在严格的 RLVR 前阶段设定下定义了数据选择问题，即在选择过程中不提供任何标签、奖励或训练信号。
2. SHIFT 框架：引入了一种基于推理时隐藏状态动力学（特别是 RIRS 指标）的免训练选择器。
3. 算法创新：开发了一种单轮次、质量加权的“最远优先”核心集算法，可扩展至大规模未标记池。
4. 实证验证：在数学推理和医疗问答基准测试中，展示了在超低预算（0.1%–4% 的数据量）下，SHIFT 相比免训练基线（多样性采样、难度启发式、基于不确定性的方法）具有一致的性能提升。

实验结果

作者在Qwen模型（1.5B 和 1.7B）上评估了 SHIFT，涵盖两个领域：

• 数学推理（MATH-500 & AMC）：在 2% 的预算下，SHIFT 在 MATH-500 上达到62.67%的准确率，在 AMC（分布外）上达到38.55%，显著优于随机采样（分别高出 +8.94 和 +12.77）及其他基线。值得注意的是，它在分布外 AMC 基准测试上超越了全数据 RLVR 参考结果。
• 医疗问答（MEDQA & Transfer）：在 0.1% 的预算下，SHIFT 在 MEDQA 上达到50.35%，优于随机采样（45.28%）及其他启发式方法。它在向临床挑战性子集（MedXpertQA）的迁移中表现尤为强劲，仅用 0.1% 的数据就几乎达到了全数据的性能。

消融实验与分析

• RIRS 有效性：相关性分析证实，RIRS 不仅仅是输入/输出长度的代理指标（与响应长度的斯皮尔曼相关系数 $\rho \approx 0$）。
• 效用相关性：一项试点研究显示，RLVR 前的 RIRS 排序与实际下游 RLVR 增益之间存在强正相关（斯皮尔曼 $\rho = 0.818$）。
• 消融实验：移除基于 RIRS 的覆盖度（$\phi_{s+\Delta}$）或质量加权（$\tilde{q}(x)$）均会导致性能下降，证实了多样性信号和效用信号具有互补性。
• 计算效率：SHIFT 每个候选样本仅需一次确定性推演，使其在选择阶段的成本显著低于自一致性基线（后者需要约 32 次随机推演）。

意义与主张

本文主张，SHIFT使得在以往因标注成本和计算限制而被认为不可行的场景中，实现有效的 RLVR 适应成为可能。通过推理诱导的隐藏状态动力学而非训练信号来识别“高影响力”样本，SHIFT 实现了：

• 大幅降低标注和训练开销：使用少于 1% 的数据即可实现强劲性能。
• 可及性：使 RL 适应在真实标签稀缺的专业领域（如医学）中变得可行。
• 泛化能力：相比标准的多样性或基于难度的选择方法，提升了向更难、分布外评估场景的迁移能力。

作者保持了适度的立场，承认 RIRS 是基于理论块级动力学启发的经验性代理指标，而非严格的形式化推导，并且其在更广泛模型家族中的鲁棒性及安全敏感的错误分层仍是未来工作的开放领域。