技术摘要：SEVA —— 具有过程奖励的自我演进验证智能体

1. 问题陈述

大语言模型（LLM）智能体面临着一个关键的可靠性瓶颈：幻觉。虽然事实归因验证器可以作为一种安全层，用于确定智能体的说法是否得到源文档的支持，但现有的解决方案（如 MiniCheck、ClearCheck）存在一个根本性的局限：它们仅输出不透明的二元标签（真/假）。

这种不透明性在高度敏感的任务部署中造成了两种截然不同的失败：

1. 缺乏自我修正能力： 当验证器标记一个说法错误时，智能体无法确定其为何错误（例如，是数字被夸大、实体被替换，还是修饰词被伪造），从而阻碍了自主修正。
2. 可审计性差距： 人类操作员无法进行有意义的审计，因为标签背后的推理逻辑是不可见的。

此外，通过强化学习（RL）使用标准二元奖励来训练此类结构化验证器也会失败。当应用于多组件输出（例如包含对齐、推理和标签的 JSON）时，二元奖励会导致组相对策略优化（GRPO）中的优势坍缩（advantage collapse）。因为在一个训练组中，大多数响应都会因为解析错误或单个组件错误而获得 0 奖励，导致组内方差消失，进而使策略梯度消失并导致训练停滞。

2. 方法论

2.1. 结构化验证模式 (SEVA)

SEVA 旨在生成结构化、可审计的输出 $v = (A, C, y, \gamma, e, s)$，而非单一标签：

• 证据对齐 ($A$)： 将说法跨度映射到源跨度的三元组，并带有状态（匹配、不匹配、未找到）。
• 推理链 ($C$)： 针对源证据进行逐步验证的逻辑追踪。
• 标签与置信度 ($y, \gamma$)： 二元归因标签及经过校准的置信度。
• 错误诊断 ($e, s$)： 如果说法无法归因，模型将识别六种错误类型之一（数值夸大、否定翻转、范围扩张、时间偏移、实体替换、伪造），并建议修复方案。

2.2. 过程奖励机制

为了克服二元奖励带来的优势坍缩问题，作者引入了一个过程奖励函数 $R$，该函数将验证质量分解为五个独立的组件和一个校准项：
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{过程 (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{结果 (30\%)}} + R_{cal}$$

• 组件：
  • $R_f$：格式有效性（JSON 解析）。
  • $R_a$：对齐质量（落地情况）。
  • $R_c$：推理链质量（逐步逻辑）。
  • $R_l$：标签正确性。
  • $R_d$：错误诊断准确性。
  • $R_{cal}$：非对称校准项（奖励自信的正确性，惩罚过度自信的错误）。
• 权重分配： 过程组件（格式、对齐、推理）权重为 70%，而结果组件（标签、诊断）权重为 30%。这迫使智能体在优化“结果”之前，先掌握验证的“行为”。
• 理论依据： 作者证明（命题 1 和 2）在多组件生成任务中，二元奖励会导致 GRPO 组内的零方差（即优势坍缩），而过程奖励通过解耦各组件得分，维持了非零方差，从而确保了梯度不会消失。

2.3. 训练流水线

1. 监督微调 (SFT)： 使用由 GPT-4o-mini 标注的 4,992 个结构化样本对 3B 模型（Qwen2.5）进行微调。
2. 带过程奖励的 GRPO： SFT 模型经历 350 步的 GRPO 训练。过程奖励恢复了梯度，使模型能够同时提升结构质量和准确性。
3. 自我演进循环： 实现了一个 “验证 $\rightarrow$ 反思 $\rightarrow$ 探测 $\rightarrow$ 精炼” 的循环。
   • 反思 (Reflect)： 汇总错误诊断以识别薄弱类别。
   • 探测 (Probe)： 针对这些薄弱类别生成针对性的对抗性数据。
   • 精炼 (Refine)： 在新数据上微调模型。
   • 该循环在 7B 模型变体上进行了四轮迭代。

3. 关键结果

3.1. 性能与结构质量

• 准确率： 使用过程奖励训练的 SEVA-3B 在 ClearFacts 基准测试中达到了 69.0 F1，匹配了 GPT-4o-mini (69.8 F1)，并显著优于 SFT 基线 (64.9 F1)。
• 结构可靠性： 过程奖励驱动格式合规性从 72% (SFT) 提升至 100%，并将对齐质量从 0.917 提升至 0.997。
• 对比： 虽然像 MiniCheck-7B 这样的二元验证器实现了更高的原始准确率 (81.2 F1)，但它们是以二元输出为代价的。SEVA 在提供安全关键型部署所需的审计基质（对齐、推理、修复）的同时，达到了大型模型的性能水平。

3.2. 训练动态：隐式课程学习

过程奖励诱导了一种隐式课程：

• 阶段 1 (第 0–150 步)： 智能体掌握验证行为（格式、对齐、推理链）。
• 阶段 2 (第 150–350 步)： 智能体精炼验证结果（F1 分数）。
  由于 70/30 的奖励权重设计，这一过程无需显式调度即可自动发生。

3.3. 自我演进与专业化

通过自我演进循环进行的迭代精炼揭示了一个结构性发现：是专业化，而非泛化。

• 每一轮精炼都产生了一个基准测试专家 (benchmark-specialist)，而非更强的通用模型。
• 权衡： 第 2–4 轮提高了在 HaluEval 上的表现 (+14.9 pp)，但降低了在 TruthfulQA 上的表现 (−12.4 pp)。
• 即使使用 4 倍多的训练数据（第 4 轮），这种现象依然存在，表明这是由数据分布引起的现象，而非过拟合。结构化输出对于揭示这种逐类别动态至关重要，而聚合准确率会掩盖这一点。

3.4. 消融实验

• 二元奖励失效： 在 GRPO 中用二元奖励替换过程奖励会导致 F1 低于 65 且没有结构性改善，证实了二元奖励会导致训练因优势坍缩而停滞。
• 奖励敏感性： 70/30 的拆分（过程/结果）效果最佳；过度偏向结果会降低结构质量，而过度偏向过程则会降低标签准确性。

4. 重要性与主张

本文提出了三个主要贡献：

1. SEVA 智能体： 一种结构化验证器，在达到 GPT-4o-mini 准确度的同时，提供了人类在环信任所需的审计诊断输出（对齐、推理、错误修复）。
2. 过程奖励解决方案： 为多组件生成的强化学习中的“优势坍缩”问题提供了正式的解决方案。作者认为，对于任何具有多组件生成的 RL 任务，奖励的粒度必须与输出的粒度相匹配。
3. 关于自我改进的结构性洞察： 研究发现，由针对性对抗探测驱动的迭代自我精炼循环，往往会产生专家模型而非通用模型。这挑战了 Self-Refine 和 STaR 文献中常见的单调改进假设。

作者总结道，五组件分解是一种“双用途资产”：它能从每个响应中提取多个梯度（实现学习），并暴露每类动态（实现发现专业化）。他们建议，未来的可信智能体流水线应优先考虑架构响应（例如，按领域路由），而非仅仅通过增加更多的训练轮次来追求泛化。