🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

本文介绍了 MERaLiON-GR，这是一种语音性别识别模型，它通过对 MERaLiON-SpeechEncoder-2 进行 LoRA 微调，并结合多尺度 ECAPA-TDNN 分类器，在识别英语及多种东南亚语言中的男性和女性说话人方面实现了最先进的性能。

原作者： Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正身处一个嘈杂、热闹的派对中，人们说着不同的语言，有的在欢笑，有的在呐喊，有的在低语，各种声音交织在一起。如果你闭上眼睛，通常仅凭声音就能分辨出谁是男性，谁是女性。你的大脑会自动完成这项工作，将音高、纹理和节奏等线索融合在一起。但要教会一台计算机做到这一点，就像是试图教一个机器人在飓风中识别朋友的声音一样困难。这个科学领域被称为语音性别识别（speech gender recognition）。它是人工智能的一个分支，旨在尝试仅通过聆听声音，在看不见说话人的情况下，判断其为男性还是女性。

为了理解计算机是如何学习这种能力的，请想象两个不同的工具。第一个工具就像是一个专业的侦探。这个工具经过专门训练，专门用于倾听声音线索。它忽略人们在说什么，而完全专注于他们是如何说话的。第二个工具则像是一本通识百科全书。这是一个庞大的 AI，它几乎读过世间万物，可以回答各种问题，但它并没有经过专门的语音侦探训练。长期以来，科学家们一直在思考：“我们需要一个专门的侦探，还是这本百科全书本身就足够聪明，能够自行解决问题？”这就是这篇论文的研究人员试图回答的核心问题。他们想要构建一个不仅能处理英语，还能处理东南亚多种语言的语音侦探，并且他们想看看它是否能击败目前现有的最佳工具。

新型语音侦探：MERaLiON-GR

这篇论文背后的团队（被称为 MERaLiON 团队）构建了一个新的语音侦探，名为 MERaLiON-GR。你可以把这个模型想象成一个超级聪明的机器人耳朵，它已经在包含英语和八种不同东南亚语言（包括中文、马来语、泰米尔语、泰语、越南语、印尼语和高棉语）的海量语音库中接受了训练。

它是如何工作的（配方）
想象机器人的大脑由三层构建而成：

大脑（骨干/Backbone）： 核心是一个巨大的、预训练的大脑，叫做 MERaLiON-SpeechEncoder-2。这个大脑已经聆听了数百万小时的语音，了解声音是如何运作的。然而，团队并不想从头开始重新训练整个大脑，因为那就像是为了增加一个关于“语音性别”的新章节而试图重写整部百科全书一样。那会消耗太多的能量和时间。
智能适配器（LoRA）： 他们没有重写整个大脑，而是使用了一个巧妙的技巧，叫做 LoRA（低秩自适应）。想象那个大脑袋是一个巨大且沉重的图书馆，LoRA 就像是在书架上贴上了一组轻便的小便签。这些便签告诉图书馆如何针对“识别男女声”这一特定任务来重新排列其现有的知识。它既高效又快速，而且不会破坏图书馆原有的其他知识。
最终裁判（ECAPA-TDNN）： 大脑随后会将发现的结果传递给一个专门的裁判，即 ECAPA-TDNN。这个裁判会观察来自大脑不同层级的线索，将它们结合起来，并做出最终决定：“男性”或“女性”。

大考验
团队让这个新侦探与另外两个竞争对手进行了对决：

Vox-Profile： 目前语音性别识别领域的冠军。
MERaLiON-v2： 一个通用的“百科全书”式 AI（一种音频大语言模型/Audio-LLM），它可以交谈和聆听，但并不是专门的语音侦探。

他们在各种各样的声音中对他们进行了测试：清晰的录音室录音、混乱的街头噪音、短至 2 秒的片段以及长篇对话。语言范围涵盖了标准英语到独特的 Singlish（新加坡英语）以及各种东南亚方言。

结果：专业化胜出
结果非常明确。专门的侦探 MERaLiON-GR 在几乎所有类别中都碾压了竞争对手。

击败冠军： 在 15 个不同的测试集中的 12 个测试集中，MERaLiON-GR 的准确率高于目前的冠军 Vox-Profile。在某些情况下，例如针对泰米尔语和泰语的老年人声音，它甚至得到了 100.00% 的完美分数。
“野外”测试： 真正的挑战是“野外”（in-the-wild）录音——即来自现实生活的、短小且混乱的片段（时长 10 到 30 秒）。在这里，MERaLiON-GR 依然是赢家，领先 Vox-Profile 高达 4.32 个百分点。这意义重大，因为现实世界的音频充满了背景噪音和容易让其他模型产生困惑的短促片段。
百科全书的挣扎： 通用型 AI（即“百科全书”）表现尚可，但始终逊色于专门的侦探。由于缺乏针对性训练，它难以捕捉到细微的特征。例如，在英语 FLEURS 测试中，百科全书的正确率仅为 49.61%，而专门的侦探达到了 100.00%。

神奇的技巧：帮助百科全书
这是最有趣的部分。团队发现，尽管通用型 AI（百科全书）本身并不是一个优秀的语音侦探，但如果你先告诉它答案，它就会变得聪明得多。
当他们将专门侦探（MERaLiON-GR）得出的性别猜测作为“提示”（元数据）提供给百科全书时，百科全书的表现大幅飙升。

在越南语 Common Voice 测试中，百科全书仅通过被告知性别信息，准确率就从 36.08% 跳升至 96.08%。
在英语 FLEURS 测试中，它从 49.61% 跳升至 97.31%。

这表明，虽然通用 AI 模型功能强大，但它们仍然需要一个专门的“助手”来处理特定的任务，比如识别性别。一旦获得了这个线索，它们就能利用其庞大的知识储备更好地理解剩余的对话。

为什么这很重要
论文得出结论：对于在混合语言和嘈噪声环境下进行性别识别的任务，你确实需要一个专门的、专注的工具。你不能仅仅依赖通用 AI 来搞定这一切。MERaLiON-GR 模型展示了通过使用一种智能且高效的方法（LoRA）将一个大型大脑适配到特定工作，我们可以比以往任何时候都更好地理解东南亚多样化的声音。这提醒我们，有时解决特定问题的最佳方式是打造一个专家，而不是仅仅依赖一个通才。

技术摘要：MERaLiON-GR

问题陈述

语音性别识别（GR）是一项基础的副语言任务，对于说话人日志、用户画像和取证应用至关重要。虽然人类听者可以从简短的语段中推断出性别，但自动系统在跨越多样化的录制条件、语言、口音、年龄组和信道特性方面仍面临挑战。现有方法面临两个主要问题：

泛化能力： 依赖手工特征（如 F0、共振峰）甚至现代深度学习模型的传统方法，往往难以在东南亚（SEA）及英语的广泛语言多样性中保持鲁棒性。
效率与性能的权衡： 对大型预训练语音模型（例如 24 层以上）进行针对特定下游任务的全量微调，计算成本极高，且存在破坏预训练表示的灾难性遗忘风险。

方法论

作者提出了 MERaLiON-GR，这是一个针对英语和东南亚语言设计的二分类系统（女性/男性）。该架构集成了一个大型预训练骨干网络、一种参数高效的适配策略以及一个专门的下游网络。

1. 骨干网络：结合 LoRA 的 MERaLiON-SpeechEncoder-2

系统的核心是 MERaLiON-SpeechEncoder-2，这是一个基于 Conformer 的大型 Transformer 模型，在大量包含新加坡英语和其他东南亚语言的多语言语料库上进行了预训练。

参数高效微调 (PEFT)： 为了避免更新全部 24 层 Transformer 层，作者采用了 低秩自适应 (LoRA) 技术。LoRA 适配器被插入到注意力投影层中，通过低秩因子（秩和缩放因子均设为 16）对权重更新进行参数化。这降低了计算成本并减少了过拟合风险。
归一化与正则化： 模型使用了 rsLoRA 归一化，且 LoRA 丢弃率（dropout rate）为 0.05。
层聚合： 系统保留了所有 25 个隐藏状态输出（输入嵌入 + 24 层）。通过一种学习到的软注意力机制，将各层的平均表示聚合为一个加权组合（ $H = \sum a_l h_l$ ），从而捕捉互补的语音学和说话人层面的线索。

2. 下游网络：ECAPA-TDNN

聚合后的表示由经过性别识别适配的 ECAPA-TDNN 网络进行处理：

架构： 输入被投影至 512 维，并经过三个具有膨胀率 $\{1, 2, 3\}$ 的 SE-Res2Net 模块，SE 缩减因子为 8。
归一化： 所有 BatchNorm 层均被替换为 GroupNorm 层，以匹配原始 ECAPA-TDNN 的结构。
池化与分类： 注意力池化将时间帧聚合为固定长度的嵌入，并将其投影至 256 维。带有 RMSNorm 和 GELU 激活函数的线性分类头将其映射为两个类别的逻辑值（logits）。

3. 训练策略

数据集： 训练利用了六个分区：VoxCeleb1（带有性别标签）和 IMDA 新加坡语音语料库的五个分区（涵盖提示脚本、自发对话、语码转换和程式化语音）。
优化： 模型采用多数据集训练策略，并使用类别平衡的加权交叉熵损失函数来解决类别不平衡问题。
超参数： LoRA 适配器和下游网络使用不同的学习率（分别为 $5\times10^{-5}$ 和 $6\times10^{-4}$ ）。训练采用带有线性预热的余弦调度器（cosine scheduler）和标签平滑（ $\epsilon=0.1$ ）。
集成： 为了在不增加推理开销的情况下提高鲁棒性，最终的模型参数是开发集上四个具有最低分类损失的检查点（checkpoints）的平均值。

主要贡献

本文概述了三项主要贡献：

一种参数高效的多语言 GR 模型： 该模型基于使用 LoRA 和 ECAPA-TDNN 的 MERaLiON-SpeechEncoder-2 构建，在 12 个公开基准测试中超越了 Vox-Profile。
鲁棒的片段级识别： 展示了在短促、自然环境下的语音片段（10–30 秒）上进行准确性别识别的能力，在新加坡语言集上比 Vox-Profile 高出多达 4.32 个百分点 (pp)。
增强 Audio-LLM 性能： 证明了将性别识别结果作为副语言元数据注入，可以显著提升通用 Audio-LLM 在性别相关问答任务中的表现，验证了显式副语言线索的效用。

结果

公开基准测试表现

在八种语言（英语、中文、马来语、泰米尔语、泰语、越南语、印尼语、高棉语）的 15 个测试集上进行了评估：

准确率： MERa-LiON-GR 在 15 个测试集中的 12 个上取得了比 Vox-Profile 更高的准确率，并在高棉语 FLEURS 基准测试上表现持平。
满分表现： 模型在英语 FLEURS、泰米尔语 OpenSLR 和泰语 Elderly 测试中达到了 100.00% 的准确率。
显著增益： 在泰米尔语 EmoTa (+4.71 pp)、越南语 Common Voice (+3.14 pp) 和印尼语 IndoWave (+3.00 pp) 中观察到了显著的提升。
局限性： 由于录制条件和说话风格与训练数据存在领域差异，模型在马来语 SMALDUSC (-4.40 pp) 和泰语 SER (-2.09 pp) 上的表现有所下降。

自然环境（In-the-Wild）表现

在由人工策划的、包含 10–30 秒片段的新加坡评估集（SG-ECMT）上：

MERaLiON-GR 在所有四种语言（新加坡英语、中文、马来语、泰米尔语）中一致优于 Vox-Profile。
最大的提升出现在马来语 (+4.32 pp) 和泰米尔语 (+4.16 pp) 上，凸显了该模型在细粒度、片段级伪标签任务中的鲁棒性。

Audio-LLM 集成

当预测的性别作为元数据注入 Audio-LLM（GR-AudioLLM）时：

与基础 Audio-LLM 相比，准确率显著提高。
增益在越南语 Common Voice (+60.00 pp)、英语 FLEURS (+47.70 pp) 和马来语 SMALDUSC (+41.20 pp) 上尤为剧烈，证实了显式的副语言线索可作为有效的调节信号，用于语音-语言理解。

意义与主张

本文声称 MERaLiON-GR 强调了专用语音模型在实现准确的副语言理解和强大的跨语言泛化方面的持续价值。结果表明：

专业化至关重要： 在没有针对特定任务进行优化的情况下，通用型 Audio-LLM 在处理细粒度性别识别时效果较差。
高效性可行： 在大型预训练编码器上进行参数高效微调（LoRA）可以在不产生全量微调计算成本的情况下，获得最先进的性能。
元数据的效用： 显式提供副语言元数据（如性别）能显著增强多模态模型理解语音语境的能力，支持将专门的编码器集成到更广泛的 AI 流水线中。

这项工作将 MERaLiON-GR 定位为外部 GR 模型的实用替代方案，特别适用于需要对多样化东南亚语言和不受限录制环境具有鲁棒性能的应用场景。