💬 NLP

BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation

本文介绍了 BALTO，一种平衡的词元级策略优化框架，它通过将经过验证的声明级判断投影到词元级奖励中，以确保在不牺牲信息丰富度的前提下，实现稳定、高效的训练和卓越的忠实度，从而缓解大语言模型的幻觉问题。

原作者： Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation（BALTO：用于缓解幻觉的平衡化标记级策略优化） 的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：“一刀切”式的惩罚

想象一下，你正在教一名学生（AI）根据一本特定的教科书来写一篇历史论文。学生写了一篇 500 字的论文。论文大部分内容都是准确的，但在中间部分，他们编造了一个虚假的战斗日期。

旧方法（响应级奖励）：
在过去，老师（AI 训练师）会阅读整篇论文并给出一个总分。如果论文中出现了那个虚假的日期，老师可能会将整篇论文都判定为“差”。

结果： 学生会因为这一个错误而被惩罚整篇论文，即使他们在列举将军姓名或天气情况时表现得非常正确。为了避免拿差分，学生学会了只写非常短、非常枯燥的论文以求稳妥，或者他们会对自己的行为感到困惑。他们不再敢于尝试，导致论文变得不再有用。

新的解决方案：BALTO（一位“平衡型”老师）

论文的作者提出了一种名为 BALTO 的新方法。BALTO 不再是用一个分数来给整篇论文打分，而是像一位超级精准的编辑，能够精确地标出哪些词是对的，哪些词是错的。

以下是它的工作原理，分步骤进行：

1. 寻找“坏苹果”（细粒度检测）

BALTO 不仅仅看整篇论文。它将论文分解成一个个小的陈述（例如“战斗发生在 1863 年”）。它会将每个陈述与教科书进行核对。

如果一个陈述是虚假的，它会标记出负责该错误的特定词汇（例如“1863”）。
如果一个陈述是真的，它会将这些词标记为“好”。
如果一个词只是连接词（如“和”或“的”），它则会忽略。

2. “平衡”记分卡（平衡信用分配）

这是最神奇的部分。在旧方法中，如果你发现了一个虚假的日期，你可能会直接减去整篇论文的分数。BALTO 则做得更聪明：它平衡了分数。

坏词： 虚假的日期会得到一个负分（惩罚）。
好词： 正确的事实会得到一个正分（奖励）。
平衡： 系统确保总的“坏分”等于总的“好分”。

类比： 想象一个跷б（平衡木）。

如果学生写了一个假事实，跷б会在那一侧向下倾斜。
为了修复它，BALTO 不仅仅是把整个跷б压下去（惩罚整篇论文）。相反，它会在另一侧把正确的事实向上推。
目标是移动重量：将概率从虚假的事实转移到真实的事实上。

为什么这更好（理论依据）

论文通过数学证明了两点：

减少噪声（稳定性）： 当你因为一个错误而惩罚整篇论文时，你会让 AI 感到困惑。它会想：“我是日期搞错了？还是语法错了？或者是拼写错了？”BALTO 明确告诉 AI 错误发生在哪里。这使得学习过程更加平滑且不易混乱。
避免“僵化”（效率）： 如果 AI 在开始阶段表现很差，旧方法可能会给予它巨大的惩罚，导致它停止学习（即“梯度饥饿”）。如果 AI 几乎完美了，旧方法可能会因为一个微小的失误而严厉惩罚它，从而破坏模型。BALTO 保持奖励和惩罚的小规模且平衡，使 AI 从始至终都能稳定学习。

结果：发生了什么？

研究人员在三个不同的“考试”（数据集）上测试了该方法，涉及金融数据、通用知识和阅读理解。他们使用了两种不同的 AI 模型（Qwen3-8B 和 Qwen3-4B）。

忠实度（Faithfulness）： BALTO 产生的谎言比任何其他方法都少。
信息量（Informativeness）： 与那些让 AI 写出短小、保守答案的旧方法不同，BALTO 让 AI 能够继续写出长篇、详细且有用的回答。
权衡（The Trade-off）： 论文表明，BALTO 实现了最佳平衡：它在阻止 AI 撒谎的同时，并没有让 AI 停止表达。

总结

可以将 BALTO 想象成一位不再使用单一“及格/不及格”印章来评分的老师。相反，它使用红笔圈出谎言，用绿笔高亮真相，确保学生明确知道需要修正什么，同时不会对剩余的工作失去信心。这造就了既诚实又有用的 AI。

技术摘要：BALTO —— 用于缓解幻觉的平衡标记级策略优化

1. 问题陈述

大语言模型（LLMs）在知识密集型场景中面临着显著的挑战，即忠实度幻觉（faithfulness hallucinations）——生成缺乏事实依据或与所提供证据相矛盾的内容。虽然强化学习（RL）为缓解这一问题提供了有前景的途径，但现有方法存在粒度不匹配的问题。

大多数现有的 RL 方法采用响应级奖励（response-level rewards），即为整个输出分配一个标量分数。这种粗粒度的监督无法区分同一响应中的幻觉片段与忠实内容。因此，局部错误（例如，错误的日期或实体）会触发对所有标记的统一负面惩罚，从而错误地抑制正确信息，并诱发“奖励黑客（reward hacking）”行为，使模型为了规避惩罚而生成更短、过于保守的响应。

近期的细粒度方法（如声明级或标记级奖励）虽然解决了检测问题，但往往无法解决**信用分配（credit assignment）**问题。不平衡的标记级奖励可能会引入对冗余度或长度的偏差，而绑定于全局响应级优势的方法仍会继承来自全局信号的噪声。核心问题在于缺乏一种能够精确惩罚幻觉标记，同时补偿同一响应内忠实标记的机制，从而确保模型是将概率质量重新分配到真实性上，而非仅仅是抑制生成。

2. 方法论：BALTO 框架

作者提出了 BALTO（平衡标记级策略优化），这是一个旨在定位幻觉并在标记层面分配平衡信用的强化学习框架。该框架分为两个主要阶段运行：

A. 细粒度幻觉标记检测

BALTO 利用基于 LLM 的忠实度评估器来处理采样的响应：

声明提取（Claim Extraction）： 系统从响应中提取可核查的事实声明（例如，实体、数字、日期、关系）。
验证（Verification）： 每个声明都根据参考上下文（检索到的文档）进行验证。声明被划分为忠实集合（ $C^+$ ）和幻觉集合（ $C^-$ ）。
标记投影（Token Projection）：
- 忠实声明中的标记被标记为忠实（ $F$ ）。
- 对于幻觉声明，系统尝试定位导致错误的最小错误标记子集（ $e_{i,m}$ ）（例如，仅针对错误的数字“11.4%”，而非整个句子）。如果无法实现隔离，则惩罚整个声明跨度。这些标记被标记为幻觉（ $H$ ）。
- 不在可核查声明之外或在幻觉声明中的忠实标记（当无法隔离错误时）被标记为中性（ $N$ ）。

B. 平衡标记级信用分配

与将单一优势广播给所有标记的标准 GRPO 不同，BALTO 根据标记标签分配特定的优势（ $A^{bal}_{i,t}$ ）：

幻觉标记（ $H$ ）： 接收负向优势 -1。
忠实标记（ $F$ ）： 接收正向补偿优势 $N^-_i / N^+_i$ ，其中 $N^-$ 和 $N^+$ 分别是幻觉标记和忠实标记的数量。
中性标记（ $N$ ）： 接收 0 优势。

核心机制： 这种设计确保了响应内零和属性： $\sum A^{bal}_{i,t} = 0$ 。来自幻觉的总负向信号被来自忠实内容的正向信号精确抵消。这鼓励策略将概率质量从幻觉内容重新分配到忠实内容，而不是简单地抑制整个响应。

C. 优化目标

BALTO 使用类似于 GRPO 但仅限于事实标记（ $H \cup F$ ）的裁剪目标进行优化。该目标函数最大化期望平衡优势，并通过事实标记数量进行归一化（ $Z_i = \max(1, |H| + |F|)$ ）。

3. 理论分析

论文通过理论证明展示了 BALTO 优于响应级 GRPO 的特性：

方差缩减（定理 1）： 响应级 GRPO 诱发的梯度方差随总响应长度呈线性缩放（ $O(T)$ ）。相比之下，BALTO 将方差限制为仅随幻觉标记数量缩放（ $O(N^-)$ ）。由于幻觉具有稀疏性，这显著降低了梯度噪声并稳定了训练。
优化效率（定理 2）：
- 冷启动阶段（ $p \to 0$ ）： 当忠实响应较少时，响应级 GRPO 会遭遇“梯度饥饿”，因为归一化系数会趋于消失。BALTO 保持了强大的、有界的局部信号（ $O(1)$ ），确保了高效的早期探索。
- 收敛阶段（ $p \to 1$ ）： 对于罕见错误，响应级 GRPO 会触发无界的发散惩罚（ $A^- \to -\infty$ ），导致后期收敛不稳定。BALTO 保持严格的有界优势（ $[-1, 1]$ ），确保了稳定且平滑的收敛。

4. 实验结果

实验在三个基准测试上进行：ConFiQA（反事实问答）、RAGTruth（RAG 幻觉语料库）和 FinLLM-Eval（金融领域问答）。使用的模型包括 Qwen3-8B 和 Qwen3-4B。

主要发现：

忠实度： 在所有六个模型-基准设置中，BALTO 均实现了最高的忠实度得分，优于响应级基线（GRPOB, GRPOD）和标记级基线（FSPO）。
Q-Score： BALTO 一致地取得了最高的 Q-Score（定义为忠实度 $\times$ $\times$ 信息量），展示了在正确性和信息保留之间的卓越权衡。
- 与最强的后训练基线相比，BALTO 的 Q-Score 平均提升了 2.7 点（最高达 4.9），忠实度提升了 3.1 点（最高达 6.7）。
训练动态：
- 梯度范数： BALTO 的梯度范数比响应级方法小一个数量级且更加集中，证实了方差的降低。
- 参数更新： BALTO 以显著更少的参数更新次数（约 12% 对比 GRPOB 的约 17%）实现了高忠实度，表明其学习过程更高效地聚焦于相关参数。
消融实验： 去除忠实标记的正向补偿优势（设置 $PA=0$）会导致忠实度和信息量均出现大幅下降，验证了平衡信用机制的必要性。

5. 意义与主张

论文声称 BALTO 解决了缓解幻觉的一个关键空白：需要平衡且细粒度的信用分配。

精确性： 通过将错误定位到特定标记并平衡奖励信号，BALTO 避免了响应级 RL 的“全或无”式惩罚，从而保留了响应的信息量。
稳定性： 理论和实证证据表明，平衡的标记级分配会导致更稳定的训练轨迹和更高的优化效率，特别是在训练早期阶段和收敛期间。
权衡： 结果表明，可以在不陷入过度保守或冗余生成的条件下，显著减少幻觉，从而实现比以往后训练方法更强的忠实度-信息量权衡。

作者指出了一些局限性，主要是该方法依赖外部基于 LLM 的评估器进行声明提取和验证，这意味着其性能受限于评估器的准确性。此外，该框架是为存在参考文档的检索增强场景设计的。