AccentBox: Towards High-Fidelity Zero-Shot Accent Generation
本文提出了 AccentBox，一种新颖的两阶段零样本框架，该框架通过将 TTS 系统以来自最先进口音识别模型的与说话人无关的口音嵌入进行调节，统一了外来口音转换、带口音的 TTS 以及零样本 TTS，从而实现高保真度的口音生成与控制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个神奇的录音机，只要听取三秒钟的片段，就能完美复制任何人的声音。这就是现代“零样本文本转语音”（Zero-Shot Text-to-Speech, ZS-TTS）技术所做的事情。然而，这里有一个问题：虽然它能完美复制那个“人”，但往往会忽略他们的“口音”。这就像一台复印机，虽然把脸部细节印对了，却把背景弄模糊了，把一个苏格兰口音变成了普通的美国口音。
名为 “AccentBox” 的论文提出了一个解决方案。作者们想要构建一个系统，该系统不仅能复制声音，还能高精度地复制或创造特定的口音（如爱尔兰口音、美国口音等），即使该系统以前从未听过这种特定的“人声与口音”的组合。
以下是他们实现这一目标的步骤，通过简单的拆解来呈现：
问题所在：“身份危机”
目前的语音 AI 难以处理这个问题，因为它混淆了谁在说话（说话者）与如何说话（口音）。
- 类比： 想象一位厨师，他只知道如何烹饪“美式”食物。如果你要求他做一道“苏格兰”菜，他只会多加一点盐，然后就称之为苏格兰菜。他并没有真正理解食材（口音）与厨师风格（说话者）之间的区别。
- 结果： 现有的 AI 要么无法生成新的口音，要么会不小心把说话者的身份与口音混淆，导致产生“幻觉”，使得声音听起来很奇怪。
解决方案：两阶段流水线
作者构建了一个名为 AccentBox 的两步走系统来解决这个问题。
第一阶段：“口音侦探”（GenAID）
首先，他们构建了一个名为 GenAID 的模型，其唯一的工作就是识别口音。
- 挑战： 通常情况下，这些模型会“作弊”。它们会记住“人物 A 总是听起来像苏格兰人”以及“人物 B 总是听起来像美国人”。如果再次看到人物 A，它们就会直接猜它是“苏格兰口音”，而没有真正去聆听口音本身。
- 解决方法： 作者将 GenAID 训练成一个严格的侦探。他们确保模型是在从未见过的陌生人身上进行测试的。他们还使用了一种称为**“信息瓶颈”**（想象成一个狭窄的漏斗）的技术，强迫模型丢弃所有关于“这个人是谁”的信息，只保留关于“他拥有什么口音”的信息。
- 结果： 他们创造了一个“纯净”的口音检测器，即使面对陌生人也能分辨出口音差异，并取得了顶尖的分数（0.56 F1 分数），超越了以往的方法。
第二阶段：“配音演员”（AccentBox）
一旦拥有了这个纯净的口音检测器，他们将其接入一个语音生成器中。
- 过程： 系统不再仅仅给语音生成器一个人的声音样本，而是现在给它两样东西：
- 声音： 一个你想让其听起来像的人的声音样本。
- 口音： 由“口音侦探”提取的“纯净”口音数据。
- 魔力所在： 这使得系统可以自由地进行混搭。你可以拿一个伦敦人的声音，然后告诉系统：“用这个文本说话，但要带上爱尔兰口音”，它就能在不丢失该人独特声音特征的前提下完成任务。
他们取得了什么成就
论文声称取得了三大胜利：
- 更好的检测能力： 他们的“口音侦探”在工作方面表现出色，尤其是在处理从未谋面的新面孔时。
- 更好的生成效果： 在生成语音时，他们的系统听起来比其他系统更接近目标口音。在测试中，人们更青睐他们系统的口音表现。
- 全新的能力： 与只能做经过明确训练的口音的旧系统不同，AccentBox 可以生成未见过的口音。它可以获取一个声音，并应用一种它从未见过的口音，因为它已经理解了那种口音的概念。
核心总结
作者不仅仅是做了一个语音生成器；他们构建了一个能够理解“个人身份”与“口音”之间区别的系统。通过将这两者分离，他们创造了一个不仅能生成自然声音，而且在文化和语言上也具有准确性的工具，为实现更加个性化和包容性的语音技术打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。