💻 computer science

Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning

该论文提出了一种基于专家演示的对抗逆强化学习（AIRL）框架，通过在不同奖励粒度下学习可复用的推理奖励模型，有效弥补了监督微调的模仿局限与基于结果奖励的强化学习对验证器的依赖，从而在训练、推理重排序及跨任务迁移中显著提升了大语言模型的推理能力。

原作者： Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大语言模型（LLM）变得更会“思考”的新方法。为了让你轻松理解，我们可以把大语言模型想象成一个正在学习解题的学生，而这篇论文的核心就是如何给这个学生制定一套更聪明的“评分标准”。

1. 现有的问题：学生只会“死记硬背”或“只看结果”

目前，教学生（模型）解题主要有两种老办法，但都有缺点：

方法一：照猫画虎（监督微调 SFT）
- 比喻：老师把标准答案和解题步骤直接抄给学生看，让学生背诵。
- 缺点：学生只是机械地模仿。一旦遇到老师没教过的新题型（偏离了演示轨迹），学生就懵了，因为他只记住了“怎么抄”，没学会“怎么想”。
方法二：只看分数（基于结果的强化学习）
- 比喻：老师不管学生解题过程对不对，只看最后的答案。答案对了给糖，错了打屁股。
- 缺点：这就像考试只改卷不改过程。如果学生蒙对了，或者走了歪路但最后碰巧蒙对，老师也发现不了。而且，如果老师没有现成的“标准答案生成器”（验证器），这招就用不了。

2. 这篇论文的妙招：逆向工程“学霸思维” (AIRL)

作者提出了一种叫**“对抗性逆强化学习” (AIRL)** 的新方法。

核心思想：既然我们有很多“学霸”（专家）的解题过程，我们为什么不逆向推导出学霸脑子里的“评分标准”呢？
比喻：
- 以前是老师直接告诉学生“这样做对”。
- 现在是让一个**“挑剔的评委”（判别器模型）** 去观察学霸的解题过程。
- 评委的任务是：“找出学霸每一步为什么走得对，而普通学生（当前模型）哪里走偏了。”
- 一旦评委学会了这套“评分标准”（奖励模型），它就可以反过来指导普通学生，告诉它：“你刚才那步逻辑虽然答案还没错，但思路已经歪了，赶紧改！”

3. 这个“评分标准”的三个超能力

这篇论文证明，学会这套“评分标准”后，有三个巨大的好处：

① 训练时的“私教” (Training Signal)

比喻：以前学生只能靠背题（SFT）或盲目试错。现在，这个“评分标准”就像一个24 小时在线的私教。
效果：学生在做题时，私教能实时指出：“你这一步虽然还没算错，但逻辑链条已经松动了。”这让模型能学到真正的推理能力，而不仅仅是模仿。实验显示，在很多数学和科学题上，用这个方法训练的学生，成绩比单纯背题的要好。

② 考试时的“排雷兵” (Inference-time Reranking)

比喻：考试时，学生可以试着写 16 种不同的解题思路（采样）。以前我们只能随机挑一个，或者瞎蒙。
效果：现在，有了这个“评分标准”，我们可以把这 16 种思路都过一遍，让评委给它们打分，只挑分数最高的那个作为最终答案。
数据：在固定尝试次数的情况下，这种方法能让正确率提升高达 17.4%！就像在 16 个候选人里，用慧眼识珠挑出了最靠谱的那个。

③ 诊断“病灶” (Error Localisation)

比喻：这是最精彩的部分。以前的方法只知道“这题做错了”，但不知道哪一步错的。
效果：这个“评分标准”能像X 光一样，精准定位到学生在哪一句话、哪一个逻辑步骤开始变歪的。
- 比如，前 5 步逻辑都很完美，奖励分很高；第 6 步突然算错了，奖励分瞬间变负。
- 这意味着我们不仅能知道结果，还能诊断出学生是哪里“脑子短路”了，甚至能跨学科使用（比如在数学题上学到的逻辑，能辅助解决医学推理题）。

4. 奖励的“颗粒度”：粗调 vs 细调

论文还讨论了一个有趣的细节：评分应该多细？

稀疏奖励（粗调）：只在最后给分。
- 比喻：像期末考试，只有总分。
- 优点：稳定，不容易出错。
- 缺点：不知道中间哪里错了。
密集奖励（细调）：每一步都给分。
- 比喻：像每走一步都有教练喊“停，这里不对”。
- 优点：能精准定位错误，指导性强。
- 缺点：很难训练，容易让模型“钻空子”（为了拿每一步的分而胡编乱造）。
结论：论文发现，“中等粒度”（比如每隔几步给一次分）往往是最平衡的，既稳定又能提供足够的指导。

总结

简单来说，这篇论文做了一件很酷的事：
它不再让 AI 死记硬背，也不让它盲目试错，而是从专家的优秀解题过程中，提炼出一套“内在的推理逻辑评分表”。

这套评分表不仅能教AI 怎么思考（训练），还能在考试时帮AI 挑出最好的答案（推理），甚至能诊断AI 哪里想错了（诊断）。这就好比给 AI 装上了一个“逻辑导航仪”，让它从“只会背地图”变成了“真正会认路”。

这是一篇关于利用**对抗逆强化学习（Adversarial Inverse Reinforcement Learning, AIRL）**从专家演示中直接学习大语言模型（LLM）推理奖励模型的论文。该论文已被 ICLR 2026 逻辑推理研讨会录用。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

当前提升 LLM 推理能力的方法主要依赖两种路径，但均存在局限性：

监督微调 (SFT)：基于专家推理轨迹进行微调。虽然有效，但本质上是模仿学习，仅优化对观察到的轨迹的复现。一旦模型进入“演示之外”的状态（off-demonstration states），缺乏明确的步骤级目标来指导替代推理路径。
基于结果的强化学习 (Outcome-based RL)：依赖外部验证器提供最终答案的正确性奖励。这种方法假设存在一个定义良好的验证器，但在许多复杂领域（如医疗、科学问答）难以构建，且无法提供中间步骤的反馈。

核心挑战：如何在不依赖外部验证器的情况下，从专家演示中自动学习出能够指导策略优化、辅助推理时重排序（Reranking）以及定位推理错误的过程级（Process-level）奖励函数？

2. 方法论 (Methodology)

作者提出了一种基于对抗逆强化学习 (AIRL) 的框架，旨在从专家演示中直接推断出稠密的推理奖励。

2.1 核心框架

问题形式化：将推理建模为自回归生成过程。目标是学习一个参数化的奖励模型 $r_\phi(y_t | x, y_{<t})$ ，该模型能区分专家轨迹和策略生成的轨迹。
对抗博弈：
- 判别器 (Discriminator, $D_\phi$ )：作为一个 Token 级分类器，区分“专家轨迹”和“策略轨迹”。
- 策略 (Policy, $\pi_\theta$ )：LLM 生成器，试图生成能欺骗判别器的轨迹（即获得高奖励的轨迹）。
- 目标函数：通过极小极大博弈（Minimax Game）优化，最大化专家轨迹的得分，同时最小化策略轨迹的得分（即让策略学习专家的行为模式，但基于奖励而非直接模仿 Token）。

2.2 关键创新点

基于答案一致性的正负样本构建：
- 传统的对抗学习可能仅区分来源（专家 vs 模型），导致模型学习“风格”而非“推理质量”。
- 本文提出：如果策略生成的轨迹最终答案与专家一致，则视为正样本（ $D_{pos}$ ）；如果不一致，或经过人工/合成扰动（如数学题数字翻转、医疗推理逻辑错误）的专家轨迹，视为负样本（ $D_{neg}$ ）。
- 这使得判别器专注于推理质量而非来源或表面形式。
奖励粒度控制 (Reward Granularity)：
论文探索了三种奖励粒度，以平衡训练稳定性与错误定位能力：
- 稀疏 (Sparse)：仅在序列末尾（ $t=T$ ）给予奖励。训练稳定，但缺乏中间指导。
- 区间 (Interval)：每隔 $k$ 个 Token 给予一次奖励。
- 稠密 (Dense)：每个 Token 都给予奖励。能提供细粒度的错误定位，但训练难度大，易出现模式崩溃（Mode Collapse）。
- 技术处理：对于稀疏和区间奖励，通过回填 (Backfilling) 机制将其转化为稠密信号用于策略更新，并引入奖励裁剪（Clipping）和组标准化（Group Standardisation）来防止数值不稳定。
训练策略：
- 使用 GRPO (Group Relative Policy Optimization) 更新策略。
- 引入回放缓冲区 (Replay Buffers) 和多步判别器更新（每次策略更新前更新 $N_{disc}$ 次判别器），以解决对抗训练中的非平稳性和判别器欠训练问题。

3. 主要贡献 (Key Contributions)

方法创新：首次将对抗 IRL 适配到 LLM 推理任务，直接从专家演示中学习多粒度的推理奖励，无需外部验证器。
双重用途：证明了单一学习到的奖励模型既可作为训练信号（优化策略），也可作为推理时的重排序器（Inference-time Reranker）。
可解释性与泛化性：
- 稠密奖励能够定位推理错误发生的具体步骤（即轨迹首次偏离正确路径的位置）。
- 学习到的奖励在跨任务（如从数学迁移到医疗）和跨模型架构（不同大小的 LLM）上表现出良好的迁移性。

4. 实验结果 (Results)

实验在 GSM8K（数学）、MEDREASON（医疗推理）和 MMLU-PRO（科学问答）三个基准上进行，基座模型包括 Qwen2.5, Llama3 系列等。

作为训练信号 (D1)：
- 在大多数设置下，AIRL 学习到的奖励优于 SFT。
- 最佳表现：在 GSM8K 上，稀疏奖励变体表现最稳健；在 MEDREASON 和 MMLU-PRO 上，区间（Interval）奖励往往表现最佳。
- 稠密奖励虽然能提供细粒度反馈，但在某些模型（如 Qwen2.5-7B 在 MEDREASON）上训练不稳定，甚至导致性能下降，表明存在稳定性与粒度的权衡。
推理时重排序 (D2)：
- 在固定采样预算（Best-of-16）下，使用学习到的奖励进行重排序，性能提升显著。
- 最大提升：在 GSM8K 上，Qwen2.5-7B 使用稠密奖励重排序，Pass@1 提升了 17.4 个百分点（从 38.4% 到 55.7%）。
- 奖励引导的重排序在大多数设置下优于随机采样和基于 Log-prob 的排序。
错误定位与迁移 (D3)：
- 错误定位：可视化显示，奖励模型能在推理轨迹中保持正分，直到第一个错误步骤出现时分数急剧下降，成功定位了错误源头（例如数学计算错误或医疗逻辑谬误）。
- 跨域迁移：在一个任务（如 GSM8K）上训练的奖励模型，在另一个任务（如 MMLU-PRO）上重排序时，通常仍能带来正收益，证明了奖励信号的部分通用性。

5. 意义与结论 (Significance & Conclusion)

填补空白：该方法填补了纯模仿学习（SFT）与依赖外部验证器的奖励驱动优化之间的空白。它证明了仅凭专家演示即可恢复出可复用的中间推理步骤信号。
诊断与改进：学习到的稠密奖励不仅提升了模型性能，还提供了过程级诊断工具，能够识别推理失败的具体时刻，这对于改进测试时的选择策略（Test-time Selection）至关重要。
局限性：稠密奖励的训练稳定性仍是一个挑战，存在模式崩溃风险；且计算成本高于传统的 SFT。

总结：这篇论文提出了一种强大的框架，利用对抗 IRL 从专家演示中“蒸馏”出推理奖励。该奖励模型不仅能训练出超越 SFT 的推理模型，还能在推理阶段通过重排序显著提升准确率，并具备定位推理错误的能力，为构建更可靠、可解释的推理型 LLM 提供了新的方向。