🤖 machine learning

AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning

本文介绍了 AIRL-S，这是一个将对抗逆强化学习（Adversarial Inverse Reinforcement Learning）与组相对策略优化（Group Relative Policy Optimization）相结合的统一框架，旨在从参考轨迹中推断出稠密的、逐步的奖励，从而在无需标注过程数据的情况下，实现稳健且具成本效益的测试时扩展，并在数学、科学和代码生成基准测试中达到了 GPT-4o 级别的性能。

原作者： Can Jin, Yang Zhou, Qixin Zhang, Hongwu Peng, Di Zhang, Zihan Dong, Marco Pavone, Ligong Han, Zhang-Wei Hong, Tong Che, Dimitris N. Metaxas

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Can Jin, Yang Zhou, Qixin Zhang, Hongwu Peng, Di Zhang, Zihan Dong, Marco Pavone, Ligong Han, Zhang-Wei Hong, Tong Che, Dimitris N. Metaxas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是许多现代人工智能系统背后的强大引擎，能够生成文本、解决问题并编写代码。多年来，研究人员一直试图通过教它们进行“思维链”（chain of thought）式逐步思考的方法，使这些系统变得更加聪明。然而，教导模型进行良好的推理非常困难，因为计算机通常只知道最终答案是正确还是错误，而不知道通往该答案的步骤是否符合逻辑。为了解决这个问题，科学家们尝试了两种主要方法。一种涉及仅在任务结束时给予模型奖励，但这可能导致不稳定和低效；另一种则是使用一个独立的引导器来检查推理过程中的每一个步骤，但创建这种引导器通常需要昂贵的专家来为数千个示例进行标注，且当模型开始以新的方式思考时，该引导器往往会失效。

一组研究人员推出了一种名为 AIRL-S 的新系统，它将这两种方法统一成了一个单一的、自我改进的循环。该系统不再依赖人类对每一步进行标注，而是通过观察高质量的推理示例，学习创建自己的内部引导器。随后，它利用这个引导器来进行模型训练，并在实际应用中帮助其寻找最佳答案。在涉及数学、科学和编程的八个不同基准测试中，研究人员发现，这种方法使模型的性能比初始版本平均提高了 9%。由此产生的系统表现出了与 GPT-4o 等最先进的商业模型相当的水平，且无需以往方法那样依赖昂贵的人类监督。

其核心创新在于系统如何学习判断自己的工作。传统上，为了教导模型进行逐步推理，研究人员需要一个“过程奖励模型”——这是一个在人类标记了每一个正确和错误步骤的数据集上训练的独立程序。这种方式既缓慢又昂贵。新方法通过使用一种称为“对抗学习”的技术绕过了这一限制。想象一下，系统正在玩一场游戏：其中一部分试图生成推理步骤，而另一部分则试图区分这些生成的步骤与一组高质量的参考示例。通过这种竞争，系统学会了识别什么是良好的推理步骤，而无需人类明确告知。这个学到的引导器（或称奖励模型）变得密集且细致，能够针对推理过程中的每一个步骤提供反馈，而非仅仅针对最终结果。

一旦系统学会了这个内部引导器，它就会同时以两种方式使用它。首先，它利用该引导器来训练主模型，鼓励模型在学习阶段采取更好的步骤。其次，它保留同一个引导器，在实际解决问题的阶段充当验证器。当模型被要求解决难题时，它可以生成许多种可能的解决方案。学到的引导器会对这些潜在解决方案的每一步进行评分，从而帮助系统选择最符合逻辑的路径。这创造了一个统一的流水线，即用于教导模型的工具与在测试期间辅助其思考的工具是同一个。研究人员证明，该引导器具有鲁棒性；即使应用于不同的模型或不同的搜索策略，它也能有效工作，这表明它所学到的知识是通用且可迁移的。

该方法的成果是在广泛的挑战性任务中衡量的。研究人员在包括复杂数学竞赛、科学推理问题和编程挑战在内的八个标准基准测试中测试了该模型。该模型最初是一个标准的开源语言模型，在使用这种新方法训练后，其平均准确率提高了 9%。在特定的数学和科学任务中，这种提升甚至更高，达到了 13%。与那些使用昂贵的人类标注数据或其他先进强化学习技术训练的模型相比，这个新系统表现得更为出色。它甚至匹配了 GPT-4o 这一顶尖商业模型的性能，尽管其参数量显著较少。这表明，由这种自学奖励系统引导的推理过程质量，比单纯拥有更大的模型规模更为重要。

该研究的一个关键发现是两种不同类型的学习信号是如何协同工作的。系统将来自自学引导器的详细逐步反馈与来自传统方法的最终结果奖励相结合。研究人员发现，仅依赖其中一种类型的信号效果较差。逐步引导器有助于模型探索更好的推理路径，而最终结果信号则确保模型专注于获得正确答案。当两者得到正确平衡时，这些信号会相互增强，从而带来更稳定的训练和更好的结果。此外，该系统显示出它可以利用这个学到的引导器来改进各种搜索方法，例如那些尝试多种不同解决方案的方法，或构建可能性树的方法。在复杂的搜索场景中，当模型必须评估中间步骤的价值以做出最佳选择时，该引导器表现得尤为有效。

这项工作的意义不仅在于获得更高的测试分数。通过消除对昂贵的人类逐步推理标注的依赖，该方法为提高人工智能提供了一种更具扩展性且更具成本效益的方式。它表明，模型可以通过观察高质量的示例并与自身竞争，来实现自我教学，并不断精炼其推理能力。研究人员指出，他们的方法特别适用于那些最终答案可以被自动验证的任务，例如数学和编程。虽然该方法很强大，但作者承认它目前依赖于这些可验证的结果，并且可能需要进一步发展，以处理不存在单一正确答案的开放式任务。尽管如此，将训练与推理时搜索统一为一个高效系统的能力，标志着向使大语言模型成为更可靠、更强大的推理者迈出了重要的一步。

技术摘要：AIRL-S

问题陈述

本文探讨了当前大语言模型（LLMs）在复杂推理任务中测试时缩放（Test-Time Scaling, TTS）策略的局限性。现有方法大致分为两类，两者都存在特定的缺陷：

基于结果奖励（Outcome Rewards）的强化学习（RL）： 依赖于稀疏结果奖励（例如最终答案的正确性）的方法往往会经历训练不稳定和样本效率低下的问题。
基于静态过程奖励模型（PRMs）的搜索方法： 虽然诸如蒙特卡洛树搜索（MCTS）之类的搜索策略受益于密集的逐步引导，但训练有效的静态 PRM 需要昂贵的细粒度人类标注或伪标签。此外，由于固定验证器与演进中的策略之间存在分布偏移，静态 PRM 容易出现“奖励作弊”（reward hacking）现象，从而削弱了其作为搜索验证器的可靠性。

核心挑战在于如何在不依赖高成本步骤级监督的情况下，将基于 RL 的训练与基于搜索的推理统一起来，同时确保奖励模型保持鲁棒性和可迁移性。

方法论：AIRL-S

作者提出了 AIRL-S，这是一个将**对抗逆强化学习（Adversarial Inverse Reinforcement Learning, AIRL）与群体相对策略优化（Group Relative Policy Optimization, GRPO）**相结合的统一框架。该框架通过一个单一的流水线运行，其中奖励学习、策略优化和推理时搜索被共同进行训练和评估。

1. 通过 AIRL 学习逐步式 PRM

AIRL-S 不使用标注的过程数据，而是直接从参考轨迹中学习密集的逐步式奖励模型。

数据生成： 系统从当前策略中采样多个思维链（CoT）。产生正确最终答案（二元结果奖励）的轨迹被存储在经验回放池中，作为参考展开轨迹。
对抗训练： 训练一个判别器 $D_\phi$ ，用于区分参考展开轨迹（来自回放池）与当前策略的展开轨迹。判别器作用于状态-动作对（问题 + 前序步骤，当前步骤）。
奖励推导： 使用判别器的输出通过对数几率比（log-odds ratio）导出内在的逐步奖励 $r_\phi$ 。这个学习到的 $r_\phi$ 即作为过程奖励模型（PRM）。

2. 使用复合目标进行策略优化

策略模型 $\pi_\theta$ 使用平衡密集过程奖励和稀疏结果奖励的复合目标进行更新：

AIRL 目标： 策略最大化由学习到的判别器分配的奖励，使其生成分布与参考分布对齐。这通过基于由 $r_\phi$ 导出的优势函数（advantages）的 PPO 式目标来实现。
GRPO 目标： 为了确保最终答案的正确性，该框架引入了 GRPO 目标（用于 DeepSeek-R1），它利用二元结果奖励和群体相对优势。
组合损失： 最终目标是加权和： $J(\theta) = \lambda J_{AIRL}(\theta) + (1-\lambda) J_{GRPO}(\theta)$ ，其中 $\lambda$ 平衡了过程奖励和结果奖励的影响。

3. PRM 引导的测试时搜索

学习到的 PRM ( $r_\phi$ ) 在推理期间被复用为验证器，以引导搜索算法。

搜索策略： 该框架支持 Best-of-N 采样、束搜索（Beam Search）和 MCTS。
评分： 在搜索过程中，中间步骤或完整的解法使用 $r_\phi$ 进行评分。
聚合： 对于 Best-of-N 及类似方法，论文采用了 PRM-Min-Sum 聚合策略：一条链的得分是其路径上的最小奖励，而最终答案的选择是通过对所有通向该答案的链的得分进行求和来完成的。

核心贡献

统一框架： 引入了 AIRL-S，它结合了基于 AIRL 的过程奖励学习、基于 GRPO 的结果优化以及基于 PRM 引导的测试时搜索，且无需昂贵的步骤级监督。
对目标的实证分析： 通过分析证明，与仅使用单一信号相比，平衡的目标（结合密集过程奖励和稀疏结果奖励）能同时改善策略训练和下游搜索性能。
可迁移性与性能： 广泛的评估表明，在不同的生成器和搜索算法下，学习到的 PRM 始终优于监督基准模型，建立了一种稳健的扩展测试时计算的方法论。

实验结果

作者在涵盖数学（AIME2024, AMC, MATH500, GPQA）、科学和代码生成（HumanEval, LeetCode, LiveCodeBench, MBPP）的八个基准测试上评估了策略模型和 PRM。

策略性能： AIRL-S 策略模型（初始化自 Qwen2.5-7B-Instruct）实现了比基础模型平均 9% 的性能提升。它在这些任务上达到了 GPT-4o 的水平，并超越了其他经过局部 RL 训练的基准模型（如 Math-Shepherd, DeepSeek-Math-RL）以及通过直接模仿学习训练的模型（如 s1.1-7B）。
PRM 有效性： 当应用于多种生成式 LLM 的 Best-of-N 搜索时，由 AIRL 推导出的 PRM 优于在标注数据上训练的静态 PRM（如 Math-Shepherd-PRM, Llama3.1-PRM）。
搜索兼容性： 学习到的 PRM 在 MCTS、束搜索和 Best-of-N 中显著提高了性能。增益在 MCTS 中最为明显，因为在 MCTS 中，步值估计至关重要。
消融研究： 实验证实 $\lambda=0.5$ （平衡 AIRL 和 GRPO）效果最佳。纯 GRPO 缺乏密集的逐步反馈，而纯 AIRL 缺乏明确的结果信号。该 PRM 也展示了对较弱生成器（如 Math-Shepherd-Mistral-7B-RL）和不同搜索算法的可迁移性。

意义与主张

论文声称 AIRL-S 为扩展 LLM 的测试时计算提供了一种稳健且具有成本效益的方法。通过消除对标注过程数据的依赖，该框架缓解了训练静态 PRM 的高昂成本。此外，通过统一奖励学习和策略优化，该系统避免了导致静态验证器发生奖励作弊的分布偏移。

作者强调，主要贡献不仅在于复用现有的组件（AIRL, GRPO, 搜索），而在于系统级的集成，即在训练期间学习到的奖励模型直接被用作推理时的验证器。这创造了一个凝聚的闭环，其中奖励学习的改进既有助于策略的训练，也有助于搜索过程的效率，使得较小的模型能够实现与许多大型专有模型相当的高级推理性能。