Do What I Say: A Spoken Prompt Dataset for Instruction-Following

该论文提出了名为 DoWhatISay (DOWIS) 的多语言口语指令数据集，旨在填补语音大模型评估中缺乏真实口语指令的空白，并通过基准测试揭示了文本提示在多数场景下优于口语提示，但在涉及语音输出的任务中口语提示能有效缩小性能差距。

要点

这篇论文介绍了一个名为 DoWhatISay (DOWIS) 的新项目，你可以把它想象成给语音大模型（SLLMs）准备的一套"真人录音版考试卷"。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文的核心内容：

1. 为什么要搞这个？（背景与痛点）

现状：现在的语音大模型（比如能听懂你说话并回答问题的 AI）发展很快。但是，科学家在测试它们时，通常是用文字来下指令的。
比喻：这就好比你想测试一个同声传译员的能力，但你却只给他看文字稿让他翻译，而不是真的让他听别人说话。这就像是在考游泳冠军，却让他先在陆地上做俯卧撑。虽然俯卧撑做得好，但并不代表他在水里游得好。
问题：现实世界中，我们是直接对着手机说话（“帮我总结这个会议”），而不是打字。如果只用文字测试，就会高估模型在真实语音场景下的能力。而且，现有的语音测试数据要么是用机器合成的（听起来像机器人），要么只支持英语或中文，不够全面。

2. 他们做了什么？（DOWIS 数据集）

解决方案：作者们制作了一个全新的数据集，叫 DOWIS。
比喻：

• 真人录音：他们找了 19 位母语人士，像平时打电话一样，用自然的语气录下了各种指令。这就像是给 AI 找了一群“真人考官”，而不是“机器考官”。
• 多语言多风格：这个数据集覆盖了 11 种语言（如德语、中文、俄语等）和 9 种任务（如语音转文字、翻译、总结会议等）。
• 五种“说话风格”：他们不仅让考官用“标准普通话”说话，还设计了五种风格：
  • 基础版：像平时聊天。
  • 正式版：像商务会议。
  • 随意版：像跟朋友开玩笑（比如“嘿，帮我把这段音频里的内容写出来”）。
  • 详细版：像写说明书一样啰嗦。
  • 简短版：像发微信一样惜字如金。
  • 比喻：这就像是为了测试一个演员，不仅让他演正剧，还让他演喜剧、悲剧、即兴表演，看看他到底能不能“接得住戏”。

3. 他们发现了什么？（实验结果）

作者用这个新数据集测试了当时最先进的两个语音大模型（Phi-4 和 Qwen2.5-Omni），结果发现了一些有趣的现象：

• 文字 vs. 语音的“落差”：

  • 现象：当任务是输出文字（比如把语音转成文字、翻译）时，用文字指令测试，模型表现很好；但一旦换成真人语音指令，模型就“翻车”了，表现大幅下降。
  • 比喻：这就像是一个学生，让他做“书面数学题”能考 100 分，但如果你让他“听口述题目”再做题，他就懵了，分数直接掉到不及格。这说明之前的“书面考试”太乐观了，掩盖了模型听不懂人话的短板。
  • 例外：只有当任务是输出语音（比如让 AI 说话、语音翻译）时，用语音指令和文字指令的效果才差不多。

• 说话风格的影响：

  • 现象：模型最喜欢正式、详细的指令。最不喜欢随意、简短的指令（比如“嘿，帮个忙”这种）。
  • 比喻：现在的 AI 还像个刚入职的实习生，你越是用礼貌、详细的口吻（“请帮我..."），他越能听懂；如果你太随意（“搞定这个”），他就容易理解错。

• 语言与性别的差异：

  • 模型对某些语言（如捷克语、荷兰语）的语音指令理解能力特别差，哪怕文字指令能懂，语音指令就听不懂。
  • 有趣的是，模型对男声和女声的指令反应也不一样，这暗示模型可能存在某种“性别偏见”。

4. 总结与意义

核心结论：
这篇论文告诉我们，只靠文字测试语音大模型是不够的。现在的模型在“听人说话”这件事上，其实还有很多缺陷，尤其是在处理非正式、口语化的指令时。

比喻：
以前我们以为 AI 已经是个“全能沟通大师”，但 DOWIS 这个数据集就像是一面照妖镜，照出了它在真实语音交流中的“原形”——它可能还是个只会死记硬背的“书呆子”，还没学会像真人一样灵活地听懂各种语气和方言。

未来价值：
DOWIS 就像是一个通用的“语音能力测试包”，任何研究者都可以把它套用到自己的 AI 模型上，看看模型到底能不能在真实的语音环境中“听懂人话”。这将帮助开发者改进模型，让它们真正变得像人类一样自然交流。

技术摘要

《Do What I Say》(DOWIS) 论文技术总结

1. 研究背景与问题 (Problem)

随着语音大语言模型（SLLMs）的快速发展，指令跟随（Instruction-Following, IF）已成为其核心能力。然而，现有的评估基准存在显著缺陷：

• 评估模态偏差：大多数基准测试仅使用文本提示（Text Prompts）进行评估，无法反映真实世界中用户通过语音指令与模型交互的场景。
• 现有数据集的局限性：现有的语音指令基准（如 SpeechInstructBench, Uro-Bench）存在以下问题：
  • 指令多由文本转语音（TTS）合成，缺乏人类录音的自然性和多样性。
  • 语言覆盖有限（通常仅限英语和中文）。
  • 指令与任务输入预拼接，难以复用于其他数据集。
  • 缺乏跨语言任务（如语音翻译）和特定任务（如语音识别、音频章节生成）的覆盖。
• 评估不充分：仅依赖文本提示会高估模型在真实语音交互场景下的性能，且缺乏对提示风格（正式、非正式等）和说话人性别等因素的深入分析。

2. 方法论 (Methodology)

为填补上述空白，作者提出了 DoWhatISay (DOWIS)，这是首个多语言、人类录音的并行语音 - 文本提示数据集。

2.1 数据集构建

• 任务覆盖：涵盖 9 种任务，覆盖 SLLM 的全模态输入输出：
  • 语音到文本 (STT)：自动语音识别 (ASR)、语音问答 (SQA)、音频章节生成 (ACHAP)。
  • 文本到文本 (TTT)：机器翻译 (MT)、文本摘要 (TSUM)。
  • 语音到语音 (STS)：语音翻译 (ST)、语音到语音翻译 (S2ST)、语音摘要 (SSUM)。
  • 文本到语音 (TTS)：文本合成。
• 语言覆盖：包含 11 种语言（德语、英语、意大利语、捷克语、西班牙语、法语、匈牙利语、荷兰语、葡萄牙语、俄语、瑞典语）。
• 提示风格：针对每个任务 - 语言对，提供 10 种提示变体，分为 5 类风格（每类 2 个）：
  • Basic（基础）：自然日常表达。
  • Formal（正式）：专业、 polished 语言。
  • Informal（非正式）：口语化、随意。
  • Detailed（详细）：明确具体的执行指令。
  • Short（简短）：尽可能简洁但无歧义。
• 数据采集：
  • 由 19 名母语或精通者（9 男 10 女）录制。
  • 模拟真实会议场景，使用手机或笔记本电脑录音。
  • 音频经过静音修剪和标准化处理（.wav 格式）。
  • 总时长：3 小时 17 分钟，共 990 个唯一文本提示及其对应的语音版本。
• 解耦设计：指令与任务输入解耦，可灵活与任何现有下游基准（如 FLEURS, MCIF, YTSeg）结合使用。

2.2 实验设置

• 模型：选取了两个最先进的 SLLM 进行基准测试：
  • Qwen2.5-Omni-7B
  • Phi-4-multimodal-instruct
• 评估指标：根据任务类型采用标准指标（如 WER, CometKiwi, BERTScore, UTMOS, Collar-F1 等）。
• 对比维度：
  1. 文本提示 vs. 语音提示。
  2. 不同提示风格的影响。
  3. 说话人性别（男/女）的影响。
  4. 不同语言的表现。

3. 关键结果 (Key Results)

3.1 文本提示 vs. 语音提示

• 文本输出任务（ASR, MT, ST, TSUM, SSUM, SQA, ACHAP）：
  • 文本提示显著优于语音提示。使用文本提示时，模型性能被高估。
  • Phi 模型在语音提示下表现极差，甚至在 ASR 任务上 WER 超过 100（表示完全失败），尽管其文本提示表现尚可。
  • Qwen 模型在部分语言（如捷克语、荷兰语、葡萄牙语、瑞典语）的 ASR 和翻译任务中，从文本切换到语音提示时性能大幅下降，表明模型难以泛化到语音指令。
• 语音输出任务（TTS, S2ST）：
  • 语音提示与文本提示表现相当或略优。这表明当任务本身涉及语音生成时，语音指令的引入不会造成显著的性能损失。

3.2 提示风格的影响

• 非正式 (Informal) 和简短 (Short) 提示：在所有任务中表现最差。
• 正式 (Formal) 和详细 (Detailed) 提示：表现最佳，表明模型对结构化、明确的指令响应更好。
• 交互效应：在 TTS 任务中，正式和详细的语音提示表现优于文本提示，而基础和非正式提示则文本表现更好。

3.3 说话人性别与语言

• 性别偏差：模型对男/女声提示的偏好不一致（例如 Qwen 在 TSUM/SSUM 上偏好男声，在 TTS/MT 上偏好女声）。分析表明，这种差异并非由录音的声学清晰度（WER）引起，而是反映了模型内部潜在的说话人偏见。
• 语言差异：低资源或特定语言（如捷克语、荷兰语）在语音指令下的性能下降更为明显，突显了跨语言语音指令跟随的挑战。

4. 主要贡献 (Key Contributions)

1. 首个多语言人类录音并行提示数据集 (DOWIS)：提供了 11 种语言、9 种任务、5 种风格的 990 个并行语音 - 文本提示，且指令与任务输入解耦，可复用性强。
2. 揭示了评估偏差：证明了仅使用文本提示评估 SLLM 会过度乐观地估计模型能力，特别是在文本输出任务中。
3. 深入的性能分析：系统分析了提示模态、风格、语言和说话人性别对模型性能的影响，发现非正式指令和特定语言组合是当前的主要瓶颈。
4. 社区资源：开源了数据集和代码，为构建更真实、全面的 SLLM 评估基准提供了基础。

5. 意义与启示 (Significance)

• 评估范式的转变：该研究强调，SLLM 的评估必须从“文本中心”转向“语音中心”，以反映真实的人机交互场景。
• 模型改进方向：未来的 SLLM 训练需要更多地纳入多样化的语音指令数据，特别是针对非正式风格和低资源语言的指令，以缩小文本与语音指令之间的性能差距。
• 偏见检测：数据集为检测和缓解模型在说话人性别、口音等方面的偏见提供了重要工具。
• 基准构建标准：DOWIS 的解耦设计为未来构建灵活、可组合的语音指令基准提供了新的方法论参考。

总结：DOWIS 不仅是一个数据集，更是一个警示，表明当前的 SLLM 在真实的语音指令跟随能力上仍存在巨大鸿沟，亟需通过多样化的语音提示基准来推动模型向更自然、鲁棒的方向发展。