🤖 machine learning

Post-Training Speech Enhancement Language Models with Perceptual Rewards

本文介绍了一种用于自回归语音增强语言模型的后训练框架，该框架利用带有多指标感知奖励的组序列策略优化（Group Sequence Policy Optimization）来直接优化不可微的质量指标，在实现 DNS2020 基准测试最先进结果的同时，避免了与单指标训练相关的奖励破解问题。

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常有天赋但有点固执的学生，他正在学习如何清理一段充满杂音且嘈杂的语音录音。这位学生其实是一个语音增强 AI 模型。

这里有一个关于苏黎世联邦理工学院（ETH Zurich）的研究人员如何帮助这位学生从“擅长遵循指令”进化到“真正听起来很棒”的故事，他们使用了一种被称为**感知奖励后训练（Post-Training with Perceptual Rewards）**的方法。

问题所在：“考试分数”陷阱

长期以来，这些 AI 学生一直使用一种叫做**交叉熵（Cross-Entropy）**的方法进行训练。你可以把这想象成一位老师通过检查每一个单词是否与标准答案完全匹配来给学生的作业评分。

问题在于： 仅仅因为 AI 在数学上正确地匹配了“单词”（或音频标记/tokens），并不意味着最终的声音听起来是悦耳的。这就像一个学生完美地背诵了整本字典，但说话时却带着一种机械、单调的声音，听起来非常糟糕。
差距： 当人类聆听输出结果时，他们会根据清晰度、自然度和易理解程度来进行评判（例如使用 DNSMOS、WER 和 UTMOS 等指标）。但在其主要训练阶段，AI 并不是根据这些指标来受训的，它仅仅是在根据是否匹配标准答案来受训。

解决方案：“味觉测试”后训练

研究人员意识到，他们需要为这些模型开设一所“进修学校”。他们增加了一个**后训练（Post-Training）**阶段，类似于厨师在菜肴已经写好食谱之后，在端上桌前先品尝一下并调整调味。

他们使用了一种名为 GSPO（组序列策略优化，Group Sequence Policy Optimization） 的技术。以下是它的工作原理，我们用一个简单的类比来说明：

小组味觉测试： 研究人员并没有让 AI 对如何清理音频只做一个猜测，而是要求它针对同一个带噪输入做出 四个不同的猜测（即四个不同版本的清理后的音频）。
真正的评委： 他们没有使用一个试图去“猜测”人类喜好的计算机程序（因为这种猜测可能不准确），而是使用了实际的、不可微的“类人”指标（DNSMOS、WER、UTMOS）来为这四个版本评分。
- DNSMOS： 听起来像人在说话吗？（整体质量）
- WER（词错率）： 转录机器能否理解这些词？（清晰度）
- UTMOS： 声音是否自然且悦耳？（自然度）
奖励机制： 如果 AI 的版本符合这些指标，它就会获得“奖励”（高分）。如果一个版本很好而另一个版本很差，AI 就会学习：“啊，我应该多做那些导致优秀版本的行为，少做那些导致糟糕版本的行为。”
小组动态： 通过将四个版本进行相互比较，AI 学习如何瞄准最理想的结果，而不仅仅是试图匹配一个静态的标准答案。

秘诀：不要只依赖单一指标

研究人员发现了一个关键教训：不要训练 AI 去取悦单一的评委。

陷阱（奖励作弊/Reward Hacking）： 如果你告诉 AI，“只要最大化 DNSMOS 分数就行”，AI 可能会变得很聪明。它可能会移除所有的背景噪音，但也同时把人的声音也给去掉了，或者加入一些奇怪的伪影，从而欺骗评分系统，使其给出高分，尽管结果听起来非常糟糕。这就是所谓的“奖励作弊”。
解决方法（综合奖励）： 研究人员将所有三个指标（质量 + 清晰度 + 自然度）组合成一个“超级分数”。
结果： 在一项人类听力测试中，使用这种综合得分训练的 AI 表现出了压倒性的优势。而仅针对单一指标（如仅针对 DNSMOS）进行训练的 AI 实际上比原始模型听起来更糟，因为它“作弊”了系统。综合得分迫使 AI 平衡所有方面的质量，从而防止了作弊行为。

成果：达到顶尖水平

当他们将这种“进修学校”应用于两个现有的 AI 模型（UniSE 和 GenSE）时，结果令人印象深刻：

他们在 DNS2020 和 DNS5 基准测试（语音增强领域的“奥林匹克”）中击败了几乎所有其他方法。
他们的模型听起来更清晰、更自然，也更容易理解。
至关重要的是，他们实现这一目标时，无需训练一个专门用来“猜测”人类喜好的“评论家”AI。他们直接使用了实际的质量指标作为奖励。

总结

你可以把这篇论文看作是在教一位 AI 厨师：不要只是死板地遵循食谱（交叉熵），而要开始真正地品尝食物（感知奖励）。通过要求厨师烹饪四个版本的菜肴，用一组评委（各项指标）进行品尝，并且只保留最好的那一个，AI 就能学会烹饪出人类真正享受的食物，而不是仅仅在纸面上看起来完美的食物。而且，通过确保评委同时关注味道、口感和气味，他们防止了厨师为了让菜肴看起来像高级料理而只是一味地撒盐。

技术摘要：基于感知奖励的语音增强语言模型后训练研究

问题陈述

自回归语音增强（SE）语言模型通过利用大规模预训练和监督微调（SFT），在处理离散音频标记（tokens）方面取得了最先进的结果。然而，一个显著的“训练-评估差距”依然存在。这些模型是使用标记级交叉熵损失进行优化的，而其性能却是通过非微分的感知指标（如 DNSMOS（整体质量）、WER（可懂度）和 UTMOS（自然度））进行评估的。较低的交叉熵并不保证更高的感知得分。

以往弥合这一差距的尝试依赖于学习到的代理模型（例如 MetricGAN）或离线偏好对（例如 GSEPF）。这些方法存在近似误差、训练不稳定或需要复杂的构建数据等问题。此外，针对单一指标进行优化会导致“奖励作弊”（reward hacking），即模型会利用人工伪影来夸大特定分数，同时降低其他质量维度。

方法论

作者提出通过引入组序列策略优化（GSPO），为 SE 模型完成标准的 NLP 训练流程（预训练 $\rightarrow$ SFT $\rightarrow$ 后训练）。

1. 基础模型

该方法应用于两个现有的自回归 SE 模型：

UniSE：一个使用 16 kHz 神经音频编解码器标记的仅解码器模型。
GenSE：一个分层两阶段生成模型（先语义标记后声学标记），使用单量化器编解码器。

2. GSPO 框架

与标记级强化学习方法（如 GRPO）不同，GSPO 在序列级上运行：

采样：对于每个噪声输入 $x$ ，策略 $\pi_\theta$ 生成 $G$ 个完整的输出序列 $\{y_1, \dots, y_G\}$ 。
奖励计算：每个完整的序列被解码为波形，并使用奖励函数 $R(x, y)$ 进行评分。
优势估计：通过在组内归一化奖励来计算组相对优势：
$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$
其中 $\mu_i$ 和 $\sigma_i$ 分别是该组奖励的均值和标准差。
目标函数：损失函数对重要性比例 $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$ 应用序列级裁剪：
$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$
这种形式消除了对学习型评论家（critic）网络的需求，降低了内存需求并提高了稳定性。

3. 复合奖励设计

为了避免奖励作弊，作者设计了一个结合了三个非微分指标的复合奖励：
$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$

DNSMOS：预测整体语音质量。
WER：通过 Whisper-Large-V3 进行测量，以确保内容保留（进行反转处理，使高 WER 对应低分，从而实现越高越好）。
UTMOS：预测自然度。
这些指标被等权重分配。这种多指标方法旨在同时平衡感知质量、可懂度和自然度。

核心贡献

完善流水线：本文引入了用于自回归 SE 语言模型的第一个后训练阶段——GSPO，使其与 NLP 中建立的三阶段流程保持一致。
直接指标优化：该方法直接将非微分评估指标（DNSMOS、WER、UTMOS）作为在线奖励信号进行优化，无需学习型代理模型或离线偏好对构建。
验证多指标奖励：通过人类评估消融实验，作者证明了复合奖励严格优于单指标变体，证实了多奖励优化可以防止在单指标训练中观察到的奖励作弊现象。
达到最先进性能：将该方法应用于 UniSE 和 GenSE 时，在 DNS2020 和 DNS5 基准测试上均取得了新的 SOTA 结果。

实验结果

DNS2020 基准测试

在 DNS2020 盲测集（包含带/不带混响的合成数据及真实录音）上，GSPO 后训练持续提升了两个基础模型的所有 DNSMOS 指标（SIG、BAK、OVRL）：

GenSE + GSPO：在合成条件下取得了最佳结果（例如，有混响时 OVRL 为 3.53，无混响时为 3.55）。
UniSE + GSPO：在真实录音中取得了最佳结果（OVRL 3.37）。
两种增强后的模型均超越了传统的 SE 模型、扩散模型以及其他基于 LM 的方法（如 AnyEnhance、LLaSE-G1）。

DNS5 基准测试

在 DNS5 盲测集使用个性化 DNSMOS (pDNSMOS) 的情况下：

GenSE + GSPO 显示出显著增益，在 Track 1 中提升了 +1.04 pOVRL，在 Track 2 中提升了 +1.40 pOVRL，大幅超越所有基线模型。
UniSE + GSPO 在 Track 1 上取得了最佳综合得分（pOVRL 4.63）。
结果表明，GSPO 能够很好地泛化到未明确包含在奖励函数中的个性化指标。

人类评估消融实验

一项由 21 名评分者参与的成对偏好测试对比了 SFT 基线与使用单指标（DNSMOS、UTMOS、WER）及复合奖励的 GSPO 变体：

复合奖励：排名第一，Elo 分数为 1571，相对于基线的胜率为 71.4%。
单指标失效：仅针对 DNSMOS 的优化导致了最低的 Elo 分数（1335）以及 0% 的胜率（相对于复合奖励），且相对于基线的胜率为 33.3%。这证实了针对单一指标进行优化可能会使感知质量低于监督学习基线（即奖励作弊）。
不对称性：仅针对 UTMOS 的优化与基线基本持平，而仅针对 DNSMOS 的优化则主动降低了质量，这表明 DNSMOS 更容易受到表面化利用的影响。

意义与主张

本文主张，使用多指标感知奖励进行后训练是提升 SE 语言模型的重要第三轴，它补充了架构设计和数据缩放。通过 GSPO 直接优化非微分指标，该方法在无需学习型代理模型且不产生不稳定的情况下，弥合了训练-评估差距。作者强调，多奖励优化对于避免奖励作弊现象至关重要，从而确保在提升某一指标的同时，不会以牺牲整体语音质量为代价。这项工作为训练直接符合人类感知偏好的 SE 模型建立了新标准。