💬 NLP

Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

本文表明，通过对 VoxCPM2 模型应用单个低秩自适应（LoRA）适配器，可以显著提升低资源语言高棉语的文本转语音质量，同时保持韩语的性能，这凸显了此类适配对于基础模型初始表现欠佳的语言最为有效。

原作者： Phannet Pov, Sovandara Chhoun, Hyun Woo Park, Wan-Sup Cho, Saksonita Khoeurn

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Phannet Pov, Sovandara Chhoun, Hyun Woo Park, Wan-Sup Cho, Saksonita Khoeurn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位世界级的厨师，他能为说英语、普通话或西班牙语的人烹饪出令人惊叹的美食。这位厨师品尝过数百万种菜肴，深谙调味之道。然而，如果你请这位厨师做一道传统的柬埔寨（高棉语）或韩国料理，他可能会找对食材，但味道却“不对劲”。香料稍微差了一点，烹饪的节奏也显得生硬，听起来不像是一道家常菜。

这篇论文讲述的是如何给这位厨师一张微小的、专门的“食谱卡”，来修正他在处理这些特定语言时的烹饪水平，而无需强迫他回到烹饪学校从头开始学习一切。

以下是研究人员所做工作的拆解，使用了简单的类比：

问题： “质量差距”

研究人员使用了一个名为 VoxCPM2 的大型 AI 模型。你可以把这个模型想象成一个超级聪明的机器人声音，它已经听取了数千小时的语音。

对于大语种（如英语）： 机器人的声音听起来几乎像真人。
对于小语种（如高棉语）： 机器人的声音听起来很机械。它会读错单词，并且抓不住句子的音乐性“流向”。
目标： 他们想要修复机器人针对高棉语（一种词与词之间没有空格且数据量极少的语言）和韩语（一种机器人已经掌握得相当好的语言）的声音。

解决方案： “LoRA 适配器”（食谱卡）

通常，要修复机器人的某种新语言声音，你必须重新训练整个大脑。这就像是告诉厨师忘记他知道的一切并重新开始。这既耗时又昂贵。

相反，研究人员使用了一种名为 LoRA（低秩自适应）的技术。

类比： 想象机器人的大脑是一个巨大的、冻结的图书馆。你不能改变书里的内容，但你可以在页面上贴一张小小的便利贴（即适配器）。这张便利贴会告诉机器人：“当你看到一个高棉语单词时，请进行这个特定的微调。”
神奇之处： 他们训练了仅有的一张便利贴，使其能同时适用于高м棉语和韩语。这张便利贴只改变了机器人总脑力的 0.2% 到 3%。这是一个微小的、廉价且快速的修复方案。

实验：两种不同的结果

他们将这个“便利贴”测试在两种语言上，以观察其效果。

1. 高棉语的结果（大获全胜）

之前： 机器人的高棉语声音还不错但有缺陷（得分：5 分中的 3.85 分）。听起来有点僵硬。
之后： 使用便利贴后，声音变得更加自然（得分：4.23 分）。
关键点： 他们尝试了不同尺寸的便利贴（称为“秩/rank”）：
- 一个极小的便利贴（Rank 8）帮助很小。
  型 中等大小的便利贴（Rank 64）是完美的尺寸。它完美地修正了节奏和语调。
- 一个巨大的便利贴（Rank 128）反而让效果变差了，尽管计算机内部的数学计算显示它“更好”。
教训： 对于机器人不太熟悉的语言，中等规模的修复是最完美的。

2. 韩语的结果（“不要乱动”的警告）

之前： 机器人原本的韩语就已经说得很好了（得分：3.65）。
之后： 便利贴没有任何帮助。事实上，如果他们使用了一个大的便利贴（Rank 64），机器人的表现反而变差了。它开始听起来很不自然。
教训： 如果机器人已经掌握了某种语言，添加“修复”只会让它感到困惑。你不需要教一个已经会做泡菜的厨师如何再次做泡菜；你可能会毁掉那份食谱。

令人惊讶的发现：“计算机在撒谎”

研究人员发现了一些奇怪的现象。

计算机的内部评分（称为“损失值/Loss”）显示，最大的便利贴（Rank 128）是最好的，因为数学误差最低。
但当真人聆听这些声音时，中等大小的便利贴（Rank 64）才是赢家（针对高棉语）。
启示： 仅仅因为计算机的数学计算说“越多越好”，并不意味着人类的耳朵也会认同。有时候，一个更小、更简单的修复听起来反而更自然。

研究总结

并非一刀切： 一个单一的小型“适配器”可以有效地修复低资源语言（高棉语），但它可能会破坏模型已经掌握良好的语言（韩语）。
少即是多： 你不需要改变整个大脑。改变极小的一部分（不到 3%）就足以带来巨大的变化。
听从人类，而非仅仅看数学： 最合适的修复尺寸是通过听力测试找到的，而不是通过查看计算机的误差图表。
针对弱点： 这种方法对于 AI 目前正处于挣扎状态的语言最为有效。如果 AI 已经做得很好，那就不要去打扰它。

简而言之，这篇论文表明，你可以给一个巨大的 AI 一张微小的、廉价的“小抄”，让它更好地掌握一门困难的语言，但你必须小心，不要给它一张它已经能流利表达的语言的小抄。

技术摘要：通过对 VoxCPM2 进行 LoRA 微调来缩小低资源文本转语音（TTS）的质量差距

问题陈述
虽然大型预训练文本转语音（TTS）模型在资源丰富的语言（如英语、普通话）上达到了接近人类的质量，但在低资源语言上表现出显著的质量差距。这种差距的特征是发音错误、韵律和语调生硬，以及明显的合成感。对于像高棉语这样在预训练数据中代表性不足且具有独特正字法特征（如缺乏词间空格）的语言，这一问题尤为严重。传统的全量微调计算成本高昂，需要为每种语言维护独立的检查点，并存在灾难性遗忘的风险。参数高效微调（PEFT），特别是低秩自适应（LoRA），提供了一个潜在的解决方案，但其在缩小低资源 TTS 质量差距方面的有效性，以及通过单个共享适配器服务多种类型学差异显著的语言的能力，仍是悬而未决的问题。

方法论
作者使用 VoxCPM2 来研究这些问题，这是一个拥有 24 亿参数、无分词器（tokenizer-free）的 TTS 模型，结合了 MiniCPM-4 语言模型骨干和流匹配扩散解码器。

语料库构建： 创建了一个共享的、带有语言标签的语料库，包含约 26 小时的高棉语（3.96 小时）和韩语（22.21 小时）音频。高棉语数据源自柬埔寨数字研究与创新研究所，而韩语数据来自 KSS 语料库及 Common Voice/FLEURS。为了应对数据稀缺问题，高棉语训练片段被上采样以占训练混合比例的 40%。
模型适配： 作者没有采用全量微调，而是将一个共享 LoRA 适配器附加到冻结的 VoxCPM2 骨干网络上。该适配器应用于 MiniCPM-4 语言模型（基础层和残差层）以及流匹配扩散解码器中注意力机制的查询（query）、键（key）、值（value）和输出投影。
训练配置： 适配器采用零初始化（ $\Delta W = 0$ ），确保训练完全从零样本基准线开始。研究测试了五种秩（rank）配置（ $r \in \{8, 16, 32, 64, 128\}$ ），代表总参数量的 0.19% 到 3.03%。训练使用 AdamW 优化器并在单张 NVIDIA H200 GPU 上进行混合精度训练。
评估： 性能通过以下方式衡量：
1. 自动指标： 验证集流匹配损失（validation flow-matching loss）和停止标记损失（stop-token loss）。
2. 人类评估： 基于母语者的平均意见得分（MOS），在 5 分制量表上针对自然度、韵律和发音三个维度进行评分。统计显著性通过配对 Wilcoxon 符号秩检验进行评估。

关键结果
研究结果在两种语言之间呈现出分歧，凸显了适配有效性对基座模型初始能力的依赖性：

高棉语（低资源）： 适配器显著提升了质量。在秩为 64 时，整体 MOS 从 3.85（零样本）提高到 4.23（ $p < 0.001$ ）。提升最显著的是韵律（从 3.76 上升至 4.36），这表明基座模型的主要弱点在于节奏和语调。值得注意的是，即使是最小的适配器（秩为 8）也恢复了大部分增益，达到了 3.91 的 MOS。
韩语（高资源）： 基座模型本身对韩语处理得很好，适配器并未提供显著的整体改进。事实上，较高的秩（特别是秩 64）显著降低了质量（MOS 下降至 3.48， $p = 0.02$ ），主要是由于自然度的丧失。这表明对于模型已经掌握良好的语言，额外的容量会导致对小规模微调数据集的过拟合。
损失与感知之间的差异： 一个关键发现是自动损失与人类感知之间的不一致。验证损失在 秩 128 时最低（0.7094），但高棉语最高的 MOS 出现在 秩 64。尽管损失在秩 128 时继续下降，但感知质量却下降了，这表明验证损失高估了额外容量的价值。

核心贡献

共享多语言适配器： 作者展示了第一个针对高棉语进行参数高效适配的基座 TTS 模型。他们证明了一个小型共享 LoRA 适配器（0.19–3.03% 的参数）可以同时有效地服务于两种类型学迥异的语言（高棉语和韩语），而无需单独的模型。
针对性适配的有效性： 研究通过实证验证，只有在基座模型确实存在弱点时，适配才会产生显著收益。这种“有用”的适配器大小随语言与模型现有知识之间的距离而变化：较大的差距（高棉语）吸收更多容量，而较小的差距（韩语）则会导致过拟合。
秩选择洞察： 本文挑战了在 TTS 中依赖验证损失进行超参数选择的做法。研究表明，用于感知质量的最佳秩（高棉语为 64）并不一定与最低验证损失（秩 128）对齐，从而提倡将听力测试作为秩选择的主要指标。
诊断效用： 作者提出，零初始化适配器所提供的改进幅度可以作为探测基座模型对某种语言已有知识程度的探针。

意义与主张
本文主张，小型 LoRA 适配器是缩小低资源 TTS 质量差距的一种高效、资源节约的机制，前提是基座模型缺乏对目标语言的先验知识。研究强调，“一刀切”的全局秩是不合适的；相反，秩的选择必须是针对特定语言的，并且应由感知评估而非自动损失来引导。

作者也谦虚地指出了局限性，包括缺乏全量微调的上界、语言覆盖范围与数据源质量（私有语料库 vs 公开语料库）之间可能存在的混淆因素，以及用于 MOS 评估的评分员小组规模相对较小。他们总结道，未来的工作应侧重于建立全量微调的基准，并扩展评估范围以涵盖更多低资源语言和客观指标。

问题： “质量差距”

解决方案： “LoRA 适配器”（食谱卡）

实验： 两种不同的结果

令人惊讶的发现：“计算机在撒谎”

研究总结

类似论文

实验：两种不同的结果