Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation
本文提出了 ESRT，一种用于多对多语音转文本翻译的参数与带宽高效型边缘-云端框架，该框架利用多任务加权课程学习来训练轻量化模型，并传输压缩张量而非原始音频，从而在涵盖 45 种语言的同时实现最先进的性能并保护隐私。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图翻译一段通过对讲机传来的秘密信息，而对方则身处数英里之外一个巨大的、高科技的控制室中。这就是**语音转文本翻译（Speech-to-Text Translation, S2TT）**的世界——在这个领域，计算机倾听一种语言的口语，并立即将其转化为另一种语言的文字。长期以来，这都是一场“两步走”的舞蹈：首先，计算机必须弄清楚说了什么（就像速记员一样），然后第二台计算机必须翻译这些词汇。但这种“接力赛”经常会掉链子，导致信息变得支离破碎。最近，科学家们构建了“多模态大语言模型”（MLLMs）——即能够同时进行倾听和翻译的超级智能 AI 大脑。然而，这些大脑既庞大又贪婪。它们要么需要住在你的手机里（但手机容量太小，装不下它们），要么必须住在云端（但这需要将你的原始语音数据通过互联网发送出去，从而面临隐私风险并占用网络带宽）。核心问题在于：我们能否拥有一个既能部分驻留在你的手机上、又能部分驻留在云端的智能翻译官，且无需发送你的原始语音或减慢互联网速度？
于是，ESRT（边缘-云端语音识别与翻译）应运而生。这是研究人员提出的一种新框架，它扮演着精明外交使节的角色。ESRT 不会将你的原始语音（“原始音频”）通过互联网发送到云端，而是将你的声音保留在你的设备上。把你的手机想象成一位本地翻译官，他倾听着耳语，将含义总结成一张微小的、压缩过的便笺（一个“张量”），然后只将这张便笺发送到云端。随后，云端利用其庞大的大脑来完成最后的翻译工作。这种方法就像是寄出一张写有核心思想的明信片，而不是邮寄整本沉重的日记。
研究人员发现，这种“拆分”方法效果极佳。他们使用一种被称为“多任务加权课程学习”的特殊学习策略，训练了三个版本的 AI——分别是小型、中型和大型（分别标记为 ESRT-1B、ESSRT-4B 和 ESRT-12B）。想象一下教学生的过程：先让他们练习阅读，然后练习翻译，最后同时进行这两项任务，但在过程中要仔细混合这些任务，以免他们忘记先前的课程。这种方法让模型能够精通 45 种不同语言的翻译（涵盖了 1,980 个可能的双向路径，例如从法语翻译到日语，或从斯瓦希里语翻译到德语）。
结果令人瞩目。ESRT 模型不仅运行良好，而且表现优于那些拥有三倍于它们“神经元”（参数）的现有大型模型。例如，ESRT-12B 模型在英语到其他语言的翻译标准质量测试（COMET）中取得了 88.1 的最高分，击败了规模显著更大的竞争对手。或许最重要的一点是，“带宽效率”是一个颠覆性的变革。通过发送压缩后的便笺而非原始语音，发送到云端的数据量减少了：标准模型减少了 5.1 倍，而轻量化版本（ESRT-Lite）更是减少了惊人的 10.2 倍。
该论文还指出，这种方法对你的隐私保护更为安全。因为原始语音从未离开过你的手机，且云端仅接收压缩后的数学表示形式，因此窃听者很难重建你的真实声音。在测试中，当研究人员尝试将压缩后的便笺逆向工程还原为声音时，结果是一堆嘈杂且无法理解的杂音，这表明你的声纹得到了保护。不过，作者也谨慎地指出，这属于“具备隐私意识”而非完美的、不可破解的盾牌；虽然它让重建变得困难，但并不能保证不会有任何关于说话者的信息泄露。
简而言之，ESRT 表明我们不必在强大的云端大脑和私密的本地设备之间做选择。通过拆分工作并压缩数据，我们可以获得高质量、多语言的翻译，而且既快速、高效，又能让你的声音留在属于它的地方：你的设备上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。