💬 NLP

PolySpeech-100: A Large-Scale Benchmark for Speech Understanding Across 100+ Languages and Dialects

本文介绍了 PolySpeech-100，这是一个涵盖 110 种语言变体的大规模基准测试，用于评估跨多种语言和方言的语音理解能力，研究揭示了开源端到端模型在保留重方言中的副语言线索方面表现出色，同时也凸显了低资源语言中显著的性能差距，以及思维链提示对语音理解产生的反直觉负面影响。

原作者： Sicheng Yang, Shulan Ruan, Shiwei Wu, Yu Liu, Lu Fan, Zhi Li, You He

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sicheng Yang, Shulan Ruan, Shiwei Wu, Yu Liu, Lu Fan, Zhi Li, You He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：测试 AI 的“耳朵”

想象一下，你正在教一个机器人理解人类语言。长期以来，我们只测试机器人能否清晰地听懂英语或标准普通话。但现实世界是混乱且复杂的。人们说话带有浓重的口音，使用地方俚语，并使用那些听起来与“教科书式”语言完全不同的方言。

这篇论文的作者构建了一个庞大的测试场，名为 PolySpeech-100。你可以把它看作是 AI 的“全球驾驶考试”，只不过它考的不是开车，而是要求 AI 聆听 110 种不同语言和方言（包括 19 种中文方言，如粤语、四川话和上海话）。

问题所在：“翻译官”瓶颈

在这篇论文发表之前，大多数 AI 系统都采用两步走的流程：

第一步： 机器人倾听声音并将之转化为文字（就像一名速记员）。
第二步： 一个聪明的“大脑”（大语言模型）阅读这些文字并回答问题。

论文指出，第一步是薄弱环节。当你强迫机器人先将浓重的方言转化为文字时，它往往会丢失语音中的“韵味”——即那些能传达意义的语气、重音和独特发音。这就像试图通过阅读一段翻译后的笑话来理解笑话本身；你可能读懂了文字，却错过了笑点。

解决方案：“母语者”测试

研究人员创建了一个基准测试，他们不仅仅是在问：“你能读懂这个吗？”他们问的是：“你能理解这个吗？”

为了构建这个测试，他们面临了一个巨大的难题：数据匮乏。许多稀有方言并没有母语者的录音资料。

创意解决方法： 他们采用了“混合”方法。对于常见语言，他们使用真实的真人录音（黄金标准）；对于稀有方言，他们则利用先进的 AI 来合成（创造）听起来像母语者的语音。
安全性检查： 他们通过让真人进行聆听，证明了其合成语音的质量是过关的。AI 在合成语音上的表现与其在真实语音上的表现几乎完美契合（相关性为 0.83）。这意味着即使在没有真人录音的语言领域，这项测试也是公平有效的。

研究结果：他们的发现

他们将 22 种不同的 AI 模型（包括开源/免费模型和商业/付费模型）放在这个庞大的测试场中进行了测试。以下是三大发现：

1. “直接聆听者”在方言方面更胜一筹

发现： 当面对重口音方言（如浓重的四川话）时，端到端（E2E）模型（直接倾听并回答）击败了级联式（Cascaded）模型（先听、写成文字、再回答）。
类比： 想象你在听一首歌。

级联式模型试图先将每一个音符都写在乐谱上。如果歌手的风格很独特，乐谱看起来就会出错，导致模型感到困惑。
端到端模型只是直接聆听旋律并感受节奏。它捕捉到了“氛围”和独特的音色，而这些是乐谱（文字）会丢弃掉的东西。
结果： 那些直接进行聆听的开源模型，在处理方言时实际上比传统的基于文本的系统做得更好。

2. “富裕与贫困”的差距

发现： 商业模型（如 Google 的 Gemini）具有极强的鲁棒性；它们处理稀有语言（如祖鲁语或老挝语）的能力几乎与处理常见语言不相上下。然而，开源模型在面对这些稀有语言时会表现得非常糟糕。
类比： 把商业模型想象成一位游历世界、听过各种口音的全能通晓多种语言的专家。而开源模型则像是当地专家，他们在自己的家乡（常见语言）表现出色，但一旦踏入异国村庄（低资源语言），就会迷失方向。

3. “边想边说”的陷阱

发现： 在基于文本的 AI 中，要求模型“一步步思考”（思维链）通常会让它变得更聪明。但在这些语音模型中，要求它们“边想边说”往往会让它们变得更笨。
类比： 想象你在一个嘈杂的房间里听一个复杂的故事。

如果你只是单纯聆听并选出答案，你会做得很好。
如果你试图停下来，写下故事摘要，解释你的逻辑，然后再选出答案，你就会分心。因为你太忙于专注于自己的写作，从而失去了对音频内容的连贯理解。
结果： 对于大多数语音模型，“边想边说”破坏了它们与音频的连接，导致它们产生幻觉或做出错误的猜测。

结论

论文得出结论：要构建真正包容性的 AI，让它能理解每一个人（而不只是那些拥有完美口音的人），我们需要停止依赖“先转录、后理解”的模式。我们需要能够直接聆听语音中“声学韵味”的模型。

他们还警告说，仅仅在语音 AI 中加入“推理步骤”目前还行不通；这项技术需要学习如何在聆听的同时进行推理，而不是在聆听之后。

获取途径： 数据、代码以及一个可以让你亲自聆听这些方言的演示程序，均可在其 GitHub 页面找到。

技术摘要：PolySpeech-100

问题陈述

端到端（E2E）语音大语言模型（Speech-LLMs）的快速演进已经超越了稳健评估方法的发展速度。现有的基准测试存在三个关键局限性：

资源偏差： 它们严重向高资源语言（主要是英语和标准普通话）倾斜，忽视了世界上绝大多数的语言。
任务局限： 它们侧重于低层级的识别（自动语音识别，ASR）或简单的指令遵循，而非复杂的语义推理和内容理解。
方言忽视： 它们将语言视为单一整体，忽略了区域方言（如粤语、四川话、马格里布阿拉伯语），这些方言为实际应用部署带来了显著挑战。

因此，目前缺乏严格的标准来评估 Speech-LLMs 是否具备“母语级”的听力能力，还是仅仅过度拟合了标准广播语音。

方法论

作者引入了 PolySpeech-100，这是一个涵盖 110 种语言变体的规模化基准测试，其中包括 19 种不同的中国区域方言和 80 多种低资源语言。该基准测试基于一个混合数据构建流水线，旨在解决数据稀缺问题：

数据基础： 文本骨干源自 Belebele 数据集，该数据集提供了跨 122 种语言的平行阅读理解段落和多项选择题（MCQs），确保了跨语言的可比性。
混合音频构建：
- 轨道 1（高资源）： 利用 2M-BELEBELE 语料库，为 73 种核心语言提供专业的真人录制语音。
- 轨道 2（方言适配）： 使用“先重写后合成”策略来解决“长尾方言差距”。利用大语言模型（Qwen3-Instruct）将标准文本重写为方言白话（词汇适配），然后使用 CosysVoice 3.0 进行合成，并通过指令感知提示词注入特定的音系特征（如声调变化、卷舌特征），以适配 19 种中国方言。
- 轨道 3（长尾语言）： 对于缺乏人类录音的语言，采用高保真神经文本转语音（TTS）技术，通过 Edge-TTS 实现。该轨道强制执行说话人多样性（男/女），以减轻过拟合。
质量保证： 三步验证协议确保了可靠性：
- 物理完整性： 自动检查文件损坏和时长。
- 语义一致性： 通过 ASR 循环（使用 Qwen3-ASR、Whisper 等工具）将合成音频转回文本，以计算字错率/词错率（WER/CER），从而过滤掉幻觉。
- 人工参与（Human-in-the-Loop）： 由母语使用者验证韵律和词汇用法。研究报告显示，模型在合成方言数据上的表现与真实人类录音之间存在强相关性（ $r=0.83$ ），验证了合成数据作为可靠代理的可行性。

核心贡献

规模与多样性： PolySpeech-100 是迄今为止最具语言多样性的语音理解基准测试，覆盖 110 种变体，特别关注代表性不足的方言和低资源语言。
混合构建流水线： 本文提出了一种经过验证的方法，通过指令驱动的合成语音来增强金标准人类录音，在不牺牲评估严谨性的前提下，有效地弥补了方言的数据稀缺差距。
全面评估： 该基准测试评估了 22 种最先进的模型，包括专有 API（Gemini-3, GPT-Audio）、开源端到端模型（Qwen2.5-Omni, Fun-Audio-Chat, MiMo-Audio）以及传统的级联系统（ASR + LLM）。

实验结果

对 22 种模型的评估得出了几个关键洞察：

方言场景下的 E2E 与级联系统对比： 对于重度方言，开源 E2E 模型显著优于传统的 ASR 流水线。例如，Qwen2.5-Omni 在中国方言上的准确率达到了 78.61%，超过了 Whisper-v3 + Qwen2.5 流水线（62.62%）。这表明直接的音频处理能够保留关键的副语言特征（语调、重音），而这些特征在转录过程中往往会丢失，而这些特征对于方言的语义消歧至关重要。
低资源性能差距： 虽然像 Gemini-3-flash 这样的商业模型在低资源语言中保持了鲁棒性（84.61% 的准确率），但开源模型则遭遇了灾难性的性能下降（例如降至约 30-40%）。这凸显了开源社区面临的一个关键前沿领域。
思维链（CoT）退化： 与直觉相反，在零样本设置下，应用标准的思维链提示经常会导致大多数 Speech-LLM 的性能下降。当被强制生成推理步骤时，Qwen2.5-Omni 和 Fun-Audio-Chat 等模型在高资源语言中的表现下降了约 10%。这表明存在模态对齐差距，即中间文本生成的过程使模型与声学特征脱节，导致推理幻觉。
鲁棒性： 模型对语速变化的处理能力普遍优于对环境噪声的处理。然而，高噪声水平（0-5dB SNR）会导致性能大幅下降，尤其是开源模型在处理低资源语言时。

重要意义

PolySpeech-100 为下一代包容性、全能型 Speech-LLMs 建立了严格的标准。论文指出，要实现真正的包容性语音理解，该领域必须从“先转录再阅读”范式转向原生声学推理。研究结果表明，当前的架构在被迫生成中间文本推理时，难以处理模态对齐，这指向了需要开发能将音频表示与复杂推理路径显式对齐的训练课程。通过提供全面的数据集和评估框架，PolySpeech-10_0 旨在引导社区迈向能够处理全谱系人类语言多样性（从标准语言到区域方言及低资源语言）的模型。