PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
该论文提出了 PROST-LLM，这是一个通过在 CVSS 语料库上进行三任务微调并结合自生成偏好优化，从而有效克服数据稀缺挑战，进而增强大语言模型语音到语音翻译能力的渐进式框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢、精通多国语言的图书管理员（一个大型语言模型，或称 LLM），他能够阅读和书写几乎任何语言的文本。然而，如果你要求这位管理员听一段法语语音并立即用英语说出翻译，他就会踉跄跌倒。这主要是因为他没有足够多地练习这种“听与说”的舞蹈，也因为缺乏足够的练习录音带供他学习。
这篇论文介绍了一种名为 PROST-LLM 的训练方法，旨在教这位图书管理员如何掌握这场舞蹈，而无需依赖大量昂贵的预录练习带，也不需要人类老师来对每一次尝试进行评分。
以下是 PROST-LLM 的工作原理，通过日常类比分为三个简单的步骤：
第一步：“三幕剧”（监督微调）
首先，研究人员给这位图书管理员提供了一套特定的练习，使用的是 CVSS 语料库（一个语音数据集合）。他们并没有仅仅练习最终目标（法语语音 → 英语语音），而是使用了两个巧妙的技巧来打下更坚实的基础：
- “三项任务剧”： 想象管理员被要求在一场表演中完成三个相关的剧目：
- 转录： 听法语语音并将其写下来。
- 翻译： 阅读法语文本并将其写成英语。
- 语音翻译： 听法语语音并说出英语。
通过同时练习这三项，管理员学会了各个部分是如何相互衔接的。理解文本有助于理解语音，反之亦然。
- “桥梁”策略（模态链）： 与其试图直接从“法语耳朵”跳跃到“英语嘴巴”（这很难），不如教管理员在中间做一个微小的停顿。他们先听法语，先在脑海中“思考”出英语单词，然后再说出来。这个“桥梁”让过渡变得更加平滑和稳定。
第二：“自我反思镜”（偏好数据构建）
现在，图书管理员已经具备了一些基本技能，但他仍需要学习哪些答案是“更好”的。通常，你需要人类专家来听两段翻译，并评价说：“A 比 B 好。”但这既缓慢又昂贵。
PROST-LLM 使用**回译镜（Back-Translation Mirror）**来自动完成这项工作：
- 图书管理员针对一个法语句子生成两个不同的英语翻译。
- 图书管理员随后将这些英语翻译再翻译“回”法语。
- 对比： 系统将“回译”后的法语与原始法语进行比较。
- 如果管理员的英语翻译是优秀的，那么将其翻译回法语时，听起来会与原始法语非常接近。
- 如果翻译很糟糕，那么“镜子”会显示出一个扭曲的、不同的法语句子。
系统会自动选出“优胜者”（即在反射回原语言时看起来最像原句的那一个）和“败者”。这无需人类听取任何内容，就能自动创建出一份“好 vs 坏”的示例列表。
第三：“品鉴测试”（偏好优化）
最后，图书管理员学习这份优胜者与败者的名单。通过使用一种称为偏好优化（如 DPO）的技术，图书管理员学会了偏好那种能导致“获胜”结果的表达风格。
把这想象成一位厨师品尝自己的烹饪。他不需要等待美食评论家告诉他汤是否太咸，他自己品尝，将其与完美配方进行对比，然后为下次调整调味。这一步微调了模型，使其说话更加自然且准确。
结果：他们发现了什么？
论文声称这种方法效果非常好：
- 缩小差距： 在此方法出现之前，“端到端”系统（一个大脑完成所有工作）的表现远逊于“级联”系统（一个大脑负责听，另一个负责翻译，还有一个负责说）。PROST-LLM 显著缩小了这种性能差距，使单大脑系统几乎能达到复杂三大脑系统的水平。
- 减少数据需求： 由于该系统可以在单语数据（仅法语语音或仅英语语音）上使用“镜子”技巧，因此它不需要那么多昂贵的、完美匹配的法英对照对来进行学习。
- 更高的质量： 翻译听起来对人类耳朵来说更自然（通过名为 UTMOS 的得分衡量），同时也更准确（通过 BLEU 分数衡量）。
简而言之： PROST-LLM 通过让 AI 练习相关任务、利用“镜子”来自我评分、并根据这些自我评分进行技能精炼，从而教会一个“文本聪明型”AI 如何听与说。这使得 AI 能够成为一名出色的翻译家，而无需依赖海量的人类评分示例。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。