⚡ electrical engineering

WildElder: A Chinese Elderly Speech Dataset from the Wild with Fine-Grained Manual Annotations

本文介绍了 WildElder，这是一个从网络视频中采集的带有细粒度人工标注的普通话老年人语音数据集，旨在解决现有受控环境数据集的局限性，并为自动语音识别和说话人特征分析研究提供一个稳健的基准。

原作者： Hui Wang, Jiaming Zhou, Jiabei He, Haoqin Sun, Yong Qin

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hui Wang, Jiaming Zhou, Jiabei He, Haoqin Sun, Yong Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解人类的语言。通常情况下，我们会在安静、完美的录音棚里训练这些机器人，那里的人说话清晰、缓慢，且没有任何背景噪音。这就像是在寂静的图书馆里，让一名学生通过教科书来学习阅读。但现实生活并不是图书馆，而是一个喧闹的市场。人们互相插话，含糊其辞，带着浓重的地域口音，有时说话的声音听起来还显得疲惫或颤抖。这就是“野外”（in-the-wild）语音的世界。虽然我们已经制造出了能完美阅读那本教科书的奇妙机器人，但当它们试图在真实世界中倾听真实的人类时，往往会完全陷入混乱。对于老年人来说情况尤其如此，他们的声音可能会颤抖、语速变慢，或者带有家乡独特的韵律色彩。如果我们希望机器人能帮助老年人的日常生活（例如作为语音助手或监测他们的健康），我们就需要教会它们如何去聆听这些真实的、杂乱的、且充满生命力的声音，而不仅仅是那些完美的“教科书式”声音。

这正是来自中国南开大学的一个研究团队决定解决的问题。他们意识到，虽然目前有一些老年人语音的集合，但它们大多是在受控实验室中录制的，因此过于干净和可预测，无法在真实的机器人应用中发挥真正的作用。为了解决这个问题，他们进行了一场数字“寻宝游戏”，以构建一个名为 WildElder 的新数据集。他们没有要求人们坐在录音室里，而是搜寻网络视频，寻找老年人自然、即兴的对话。他们找到了619个视频，总计超过71小时的原始素材。但原始素材就像一大堆杂乱无章的拼图碎片；它是混乱的。因此，团队花费了大量时间手动将这些视频切割成小巧、易于处理的片段，写下每一段话的具体内容，并为每个片段贴上标签，标注出说话者的年龄、性别以及口音强度。他们甚至制定了一套特殊的“规则手册”来对口音进行评分，范围从“轻微”（接近标准语）到“浓重”（需要高度专注才能理解说话者）。

其成果是一个包含23,701个语音片段的数据集，总时长达33.7小时，涵盖了从家庭故事到科学与历史的各种内容。研究人员不仅收集了数据，还对其进行了测试。他们尝试用这个新数据集来训练几种不同类型的语音识别机器人。结果却是一个现实的警示：即使是使用最先进的机器人，在“野外”环境下理解老年人的语音仍然非常困难。机器人犯了很多错误，尤其是在面对男性说话者以及85岁以上的老年说话者时。然而，这项研究也展示了一条清晰的前行之路。研究人员发现，当他们把已经在海量通用语音上接受过训练的机器人拿出来，再针对 WildElder 数据集进行专门的补充训练后，机器人的表现有了显著提升。这就像是一个已经学会阅读的学生，接受了一个关于“老年人方言”的强化课程——突然之间，他们就能更好地理解对话了。

团队发现，机器人在面对“浓重”口音和高龄老人（90岁以上）的声音时最为吃力，此时错误率会大幅上升。他们还注意到，机器人对女性说话者的理解通常比对男性说话者更好。虽然机器人目前还不完美，但 WildElder 数据集证明，通过使用这种正确类型的、杂乱的、真实的现实世界数据，我们可以开始构建真正适用于老龄化人口的技术。这并不是一个能在一夜之间解决所有问题的魔法方案，但它提供了一个坚实且具有挑战性的基准，明确地告诉我们机器人在哪些地方失败了，以及我们该如何帮助它们学会像真实世界那样去倾听。

技术摘要：WildElder 数据集

问题陈述

自动语音识别（ASR）和说话人剖析在处理老年人语音时面临着独特的挑战，这些挑战源于与年龄相关的生理变化，包括音量减小、发音缓慢以及语音颤抖。虽然鲁棒的语音技术对于语音助手和医疗监测等应用至关重要，但研究却受到代表性数据集匮乏的阻碍。现有的中文老年人语音语料库（如 AISHELL-ASR0060、MECSD、SeniorTalk）主要是在受控的实验室环境中通过脚本或结构化任务录制的。这导致了话题多样性不足、自发性降低以及录制条件缺乏变异性，从而限制了其在开发必须可靠运行于真实场景的系统方面的效用。此外，虽然存在“野外”（in-the-wild）数据集，但它们通常依赖于会引入误差的自动化流水线，且缺乏细粒度的说话人属性，鉴于目前的自动化工具在处理老年人语音方面表现不佳，这一点显得尤为严重。

方法论

作者提出了 WildElder，这是一个通过三步流水线构建的普通话老年人语音语料库，旨在平衡野外数据的自然多样性与专家人工校验的可靠性。

1. 数据采集

数据通过两种互补策略从在线视频中采集：

通用关键词搜索： 使用“80岁”和“养老院”等术词进行广泛搜索。
定向频道采集： 识别具有老年内容创作者特征的频道，以确保更高的质量和可靠性。
该过程共采集了 619 个视频，总计超过 71 小时的原始音频。

2. 数据处理与标注

原始材料经过了手动切分和严格的标注：

切分： 音频根据句子边界和说话人轮替被切分为话语级片段。剔除了包含非老年说话人、过度背景音乐、语音重叠或严重失真的片段。
转写： 话语被转写为正字法形式的汉字。转写协议保留了自然的语流不连贯现象（重复/结巴），避免对带口音的语音进行发音归一化，将数字标准化为中文大写数字，并使用大写 ASCII 字符表示字母。长度短于三个字符的片段被排除在外。
元数据标注： 标注人员提供了以下信息：
- 年龄组： 通过结合外部线索（标题、描述、屏幕文本）与视觉及听觉证据进行综合判定。
- 性别： 通过视觉和听觉进行识别。
- 口音强度： 根据关于偏离标准普通话程度和可理解性的特定准则（表 1）将其分为轻度、中度或重度。

3. 质量控制

通过四维质量检查确保数据完整性：

准确性： 通过随机抽样验证转写内容是否与音频匹配，以及标签是否合理（目标准确率 $\ge$ 95%）。
完整性： 验证有效的音频配对和非空标注。
一致性： 检查是否遵循转写和标注指南。
可用性： 验证文件完整性、采样率和编码。

核心贡献

数据集构建： 创建了 WildElder，这是一个从在线视频中采集的真实世界普通话老年人数据集，与传统的实验室录制数据集相比，它提供了更高的多样性和声学挑战。
细粒度标注： 该数据集包含手动切分和多标签标注（转写、年龄组、性别、口音强度），使研究不仅限于 ASR，还能扩展到诸如说话人剖析等辅助任务。
实证分析： 通过在不同人口统计条件下的各种模型评估，进行了广泛实验，将 WildElder 确立为一个具有挑战性的基准，并突出了老年人语音处理中的特定难点。

实验结果

作者使用两组基准模型评估了该数据集：从头开始训练的模型（Transformer、Conformer、Branchformer、Paraformer）和预训练模型（Conformer-WenetSpeech、Whisper 系列）。

性能难度： 所有从头训练的模型都产生了相对较高的字符错误率（CER），证实了野外老年人语音的难度。其中，Conformer 是最具竞争力的架构。
解码策略： 注意力重评分（Attention rescoring）始终优于纯注意力解码，并且通常优于仅使用 CTC 的解码，这表明 CTC 提供了稳定的对齐，而注意力机制则优化了假设。
预训练模型： 预训练系统明显优于从头训练的模型。Conformer-WenetSpeech 在微调后达到了最佳整体性能（13.54% CER），其次是 Whisper 系列。微调对所有模型都至关重要，较小的模型显示出更显著的相对增益。
人口统计分析：
- 性别： 系统在女性说话人上的表现明显优于男性说话人（女性 10.44% CER 对比男性 16.89% CER），这表明老年男性语音具有更大的声学变异性。
- 年龄： 识别准确率随年龄增长而下降。在 70–85 岁阶段性能相对稳定，但在 85 岁之后出现明显退化，在 90–95 岁年龄组中观察到最高的错误率（24.41% CER）。

重要性与主张

本文将 WildElder 定位为一个可靠且具有挑战性的基准。其重要性在于：

通过提供多样化、自发且声学环境多变的语音，弥合了受控实验室数据与现实应用之间的差距。
使研究年龄、性别和口音如何共同影响语音特征及识别性能成为可能。
证明了虽然大规模预训练提供了强大的初始化能力，但针对特定任务和领域的适配（微调）对于处理老年人语音的特定变异性仍然必要。
为推进包容性人机交互以及针对老龄化人口的鲁棒建模提供了资源。

作者总结道，WildElder 为未来专门针对老年人群体的鲁棒建模和适配策略的研究奠定了基础。