Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

这是一篇发表于 ICLR 2026 的论文，题为 《将策略转化为语言：流匹配生成的奖励用于 LLM 解释》 (Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations)。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着强化学习（RL）智能体和大语言模型（LLM）日益融入人类生活，可解释性变得至关重要。人类需要理解智能体做出决策背后的逻辑，以便建立信任、提供反馈或在必要时进行干预。

• 核心挑战：现有的自然语言解释方法通常针对特定任务定制，缺乏通用性。
• 人类反馈的局限性：在强化学习人类反馈（RLHF）中，人类对解释的评判具有多元性（Pluralistic）和概率性（Probabilistic），即不同的人对同一解释可能有不同的看法。收集大量多样化的人类反馈成本高昂。
• 现有 AI 反馈（RLAIF）的不足：虽然使用辅助 LLM 生成代理奖励（Proxy Rewards）可以降低成本，但现有的 RLAIF 方法通常生成确定性的标量奖励，未能显式地处理代理 LLM 与真实人类奖励分布之间的偏差（Proxy Errors），导致优化效果不佳。

2. 方法论 (Methodology)

作者提出了一种通用框架，通过基于 AI 反馈的强化学习（RLAIF）训练解释生成 LLM，但核心创新在于使用生成式连续归一化流（Generative Continuous Normalizing Flows, CNFs），特别是**整流流（Rectified Flow, RF）**来生成分布式的奖励。

2.1 核心架构

• 解释 LLM (EXPLANATION LLM)：
  • 输入：仅包含决策上下文（Context），不包含实际的决策结果（Decision）。
  • 任务：根据上下文推理并生成自然语言解释，旨在让第三方（人类或模型）能从中推断出智能体的真实决策。
  • 训练：使用 PPO 算法，基于流模型生成的奖励进行优化。
• 整流流奖励模型 (Rectified Flow Reward Model)：
  • 目标：学习从“代理 LLM 生成的有噪声奖励分布”到“真实人类奖励分布”的映射，从而去噪并恢复出更准确的奖励分布。
  • 机制：
    1. 代理 LLM (PROXY LLM)：作为前向过程，接收“上下文 + 解释”，输出对真实决策的预测分布（Logits）。这被视为带有噪声的人类反馈。
    2. 整流流 (Rectified Flow)：作为一个生成模型，学习将基础噪声分布（如高斯分布）映射到代理 LLM 的 Logits 分布。
    3. 交叉注意力机制 (Cross-Attention)：流模型被嵌入到 LLM 架构中。它接收决策上下文和解释的潜在嵌入，通过交叉注意力机制选择性关注语言线索，从而在生成奖励分布时融合语境信息。
  • 奖励计算：流模型生成的 Logits 分布中，对应真实决策的 Logit 值被用作奖励。由于流模型生成的是概率分布，因此奖励本身也是分布式的，反映了人类判断的多元性。

2.2 训练流程

1. 数据构建：利用 o1-mini 生成“首选”（能推断出正确决策）和“拒绝”（推断出错误决策）的解释样本。
2. 交替训练：
   • 训练解释 LLM 生成解释。
   • 利用解释 LLM 生成的解释和代理 LLM 的反馈训练整流流模型。
   • 整流流模型生成奖励，指导解释 LLM 进行 PPO 优化。
3. 去噪理论：假设代理 LLM 的噪声与流模型的基础噪声具有相同的函数形式（如高斯分布），整流流理论上可以证明其生成的分布与真实人类奖励分布的偏差是有界的。

3. 关键贡献 (Key Contributions)

1. 通用解释框架：提出了一种任务无关的方法，通过隐藏决策结果，迫使 LLM 仅基于上下文推理，从而实现对不同智能体（RL 或 LLM）策略的通用解释。
2. 基于流匹配的分布式奖励：首次将整流流（Rectified Flow）引入奖励建模，用于捕捉人类判断的多元性和概率性。
3. 理论保证：证明了在 mild 假设下（噪声形式匹配），整流流模型可以显式地界定并减少代理 LLM 奖励与真实人类奖励分布之间的偏差（Wasserstein 距离），优于传统的确定性奖励模型。
4. 架构创新：设计了结合交叉注意力的流模型架构，使其能够理解复杂的决策语境和解释文本，从而生成更精准的奖励信号。

4. 实验结果 (Results)

作者在多个基准测试中进行了评估，包括 RL 任务（SMAC, AI2-THOR）和 LLM 任务（MMLU, MathQA）。

• 性能提升：
  • 与直接使用代理 LLM 奖励相比，该方法在 SMAC、MMLU 和 MathQA 上的准确率（ACC）分别提升了 12.4%、6.9% 和 11.0%。
  • 相比 SFT、RLHF (PPO, DPO, KTO)、RLAIF (Skywork) 以及推理基线 (ReFT)，该方法在所有任务和骨干模型上均取得了 1.9% - 18.2% 的性能提升。
  • 在极具挑战性的 AI2-THOR 任务中，成功率比 KTO、ReFT 和 o3-mini 分别高出 7.4%、6.0% 和 2.5%。
• 人类评估：
  • 人类评估者（45 人）在准确性、逻辑性、可操作性和认知负荷四个维度上均给予该方法最高评分。
  • 特别是在逻辑性和降低认知负荷方面，该方法显著优于 DPO 和 ReFT。
• 消融实验：
  • 移除整流流（直接使用 Proxy LLM）导致性能大幅下降，证明了流模型去噪的有效性。
  • 移除交叉注意力机制导致模型无法泛化到负样本，证明了语境理解的重要性。
  • 使用句子级奖励（Sentence-level rewards）比稀疏奖励效果更好。

5. 意义与影响 (Significance)

• 理论突破：为 RLAIF 提供了新的理论视角，证明了生成式流模型可以有效处理代理反馈中的噪声，将不可控的偏差转化为可控的偏差。
• 实际应用：提供了一种高效、低成本且高质量的智能体解释生成方案，无需昂贵的人类反馈即可训练出逻辑严密、可信赖的解释模型。
• 通用性：该方法不仅适用于 RL 智能体，也适用于 LLM 自身的决策解释，为构建透明、可信赖的 AI 生态系统提供了强有力的工具。
• 未来方向：为未来构建通用的 LLM 训练框架奠定了基础，即利用流匹配自动生成高质量的奖励信号，减少对人工标注的依赖。

总结：这篇论文通过引入整流流技术，成功解决了 RLAIF 中代理奖励噪声大、无法反映人类判断多元性的问题，显著提升了智能体解释的质量，使得生成的解释不仅能被人类理解，还能准确反映智能体的底层策略。