💬 NLP

The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

本文提出了一种用于语音转文本模型的首个生成对比性解释的方法，通过分析输入频谱特征如何影响替代输出之间的选择，并通过语音翻译中性别指派案例研究证明了其有效性。

原作者： Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《未被听见的替代方案：语音转文本模型的对比解释》的通俗化解读，辅以日常类比。

核心理念：问“为什么是这个，而不是那个？”

想象你请一位智能助手将一句话从英语翻译成意大利语。它说，"I am curious"（我很好奇）被翻译成了"Sono curiosa"（使用了阴性形式）。

通常，如果你问人工智能“你为什么这么说？”，它可能会指向整句话并回答：“因为我听到了这段音频。”这就像侦探说“嫌疑人在房间里”，却未告诉你究竟看到了什么才让他们认定那是嫌疑人。

本文提出了一种新的提问方式："你为什么选择了curiosa*（阴性）而不是*curioso（阳性）？**"

作者将这种解释称为对比解释。它不仅仅是解释答案，而是解释在两个选项之间做出选择的理由。

问题所在：“模糊的地图”

研究人员观察了当前人工智能模型如何解释其决策。他们发现，现有的方法会在音频录音（语谱图）上生成一张“热力图”。

旧方法：如果人工智能说"curiosa"，旧方法会高亮显示那些帮助它识别出“好奇”这个词的音频部分。这就像因为你做了一个三明治，就高亮了整个厨房。它无法告诉你究竟是哪种特定食材让它成了火鸡三明治，而不是火腿三明治。
问题所在：这些地图过于宽泛。它们遗漏了那些微小的、特定的音频线索（例如音高），而这些线索恰恰告诉人工智能说话者是男性还是女性。

解决方案：新的“记分牌”

为了解决这个问题，团队基于现有工具SPES构建了一种新方法。你可以把 SPES 想象成一种与音频玩“捉迷藏”的方式：它遮盖住声音的小片段，看看人工智能是否会改变主意。

然而，为了让这种方法适用于“为什么选 A 而不是 B？”的问题，他们必须发明两条新规则：

“完整单词”规则：人工智能模型通常使用微小的声音片段（子词）来构建，就像积木一样。旧方法只是简单地将这些积木相加。新方法更聪明；它会检查这些积木是否真的组成了一个完整的单词，还是仅仅是一个更长单词的开头。这就像确保你不会仅仅因为"pre-"是"prepare"的一部分，就把"pre-"当作一个完整的单词来计数。
“相对分数”（关键秘诀）：这是最重要的部分。
- 旧分数（差异）：它问：“遮盖这段声音在多大程度上降低了说出curiosa的可能性？”如果人工智能已经有 99% 的把握认为是curiosa，那么遮盖声音几乎不会改变结果。分数保持很低，地图看起来也很平淡。
- 新分数（相对）：它问：“遮盖这段声音在多大程度上帮助curioso（另一个选项）追了上来？”它直接比较这两个选项。
- 类比：想象一场法拉利（人工智能的选择）与自行车（替代方案）之间的比赛。
  - 旧分数观察如果在法拉利的轮胎里放一块石头，它会慢多少。它几乎不会慢下来，所以这块石头看起来并不重要。
  - 新分数观察如果从自行车的路径上移走一块石头，它会快多少。如果自行车突然追了上来，那么那块石头就是决定性因素。

实验：翻译中的性别

为了测试这一点，研究人员使用了一个特定场景：性别指派。
在意大利语、法语和西班牙语等语言中，形容词会根据性别变化（例如curioso与curiosa）。英语没有这种变化，因此人工智能必须根据说话者的声音（音高、语调等）来猜测其性别。

他们在人工智能必须在阳性和阴性翻译之间做出选择的音频片段上测试了他们的新方法。

结果：

旧方法：生成的地图看起来几乎与那些“宽泛”的地图相同。它无法区分“为什么是这个词”和“为什么是这个性别”。
新方法：生成的地图高亮显示了音频中非常具体的部分。
- 当他们屏蔽掉新方法识别出的特定音频特征时，人工智能停止使用“阴性”并切换到“阳性”的比例超过了 70%。
- 这证明该方法成功找到了人工智能用来猜测性别的确切“声音线索”。

局限性与伦理（注意事项）

这篇论文非常诚实地指出了缺点：

“默认”偏见：人工智能似乎假设每个人都是男性，除非它听到强有力的证据表明他们是女性。当研究人员试图通过屏蔽音频来强迫人工智能从“男性”切换到“女性”时，效果并不理想。这表明人工智能内置了偏向男性默认值的偏见，这可能是因为它在训练时接触到的男性声音比女性声音多。
二元问题：该研究仅关注“男性”与“女性”。作者指出，这忽略了非二元性别者。如果一个人的声音不符合典型的“男性”或“女性”模式，人工智能可能会感到困惑，或者给出一个不适合他们的翻译。
伦理警告：利用声音特征来猜测性别可能很棘手。跨性别者或声音受损的人可能会得到“错误”的翻译，因为他们的声音不符合人工智能过时的预期。

总结

这篇论文不仅仅构建了一张更好的地图；它构建了一个放大镜。

以前：我们可以看到人工智能在做出决策时看向哪里，但这是一种模糊、笼统的视角。
现在：我们可以确切地看到哪个特定的声音让人工智能选择了“她”而不是“他”。

这有助于研究人员理解人工智能模型如何“倾听”，并帮助他们在人工智能基于性别做出不公平假设时加以识别。

以下是论文《未被听见的替代方案：语音到文本模型的对比解释》的详细技术总结。

1. 问题陈述

尽管可解释人工智能（XAI）在基于文本的自然语言处理（NLP）领域取得了显著进展，但将对比解释应用于**语音到文本（S2T）**模型仍然是一个未解决的挑战。

对比解释：与回答“模型为何产生输出 P？”的标准解释不同，对比解释回答“模型为何产生 P 而不是 Q？”（其中 Q 是替代方案/陪衬）。这更符合人类的推理方式。
差距：现有的 S2T 解释方法（例如 SPES）在音频频谱图上生成整体显著性图。这些图突出了与任何单词生成相关的特征，但未能隔离特定于两个竞争输出之间选择的特征（例如，模型为何选择阳性形式 curioso 而非阴性形式 curiosa）。
S2T 中的具体挑战：
1. 输入模态：音频信号是多维的（时间和频率），并以频谱图形式表示。
2. 输出粒度：S2T 模型生成子词（subword）标记，而非完整单词，使得单词级概率聚合变得非平凡。
3. 评分：文本 NLP 中使用的标准对比评分函数在模型强烈倾向于目标而非陪衬时往往失效，导致生成的解释与非对比解释无法区分。

2. 方法论

作者提出了首个针对 S2T 获取对比解释的框架，通过调整SPES（用于可解释语音到文本的频谱图扰动）方法来实现。该方法涉及两个关键的技术干预：

A. 单词级概率聚合

由于 S2T 模型输出子词标记，完整单词（ $t$ ）的概率必须从其组成的子词（ $w_0, \dots, w_k$ ）中重构。

先前工作的局限性：简单的聚合方法（平均、最大池化或朴素的链式法则乘法）未能考虑目标与陪衬之间的标记数量不匹配，或者未能考虑到子词序列可能只是更长单词的前缀而非完整单词这一事实。
提出的解决方案：作者采用了单词边界方法（Pimentel 和 Meister, 2024）。该方法通过确保单词序列后跟“单词开始”或标点符号标记来计算单词序列的概率。这防止了对仅仅是前缀的子词序列（例如，区分 _professor 与 _professor e ssa）的概率高估。

B. 对比评分函数

该方法的核心是一个评分函数，用于量化扰动输入区域如何影响目标（ $t$ ）与陪衬（ $f$ ）的概率。

差异评分（ $S_{CD}$ ）的问题：标准对比分数 $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$ 在 $p(t) \gg p(f)$ 时，往往会退化为基础分数 $S_B(t)$ 。在这种情况下，解释突出的是生成任何正确单词相关的特征，而非特定的对比。
提出的解决方案：作者引入了基于 Jacovi 等人（2021）研究的相对评分器（ $S_{CR}$ ）：
$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$
该函数通过两项之和对两者的贡献进行归一化。它确保了即使目标比陪衬的概率大得多，评分仍对陪衬概率的变化保持敏感，从而有效地隔离特定于对比的特征。

C. 评估指标

为了验证解释的忠实度（即它们在多大程度上反映了实际模型行为），作者调整了文本分类中的指标：

覆盖率：在删除特征后，模型生成目标或陪衬中任意一个的案例百分比。高覆盖率确保识别出的特征特定于对比，而非通用的文本生成。
翻转率：随着显著特征被逐步遮挡（删除），模型从预测目标切换到预测陪衬的比率。一个忠实的解释应以最小的删除量导致高翻转率。

3. 主要贡献

首个 S2T 对比方法：通过将基于扰动的归因方法调整应用于频谱图，引入了生成语音模型对比解释的新流程。
新颖的评分机制：提出了**相对评分器（ $S_{CR}$ ）**作为 S2T 标准差异评分器的优越替代方案，证明了它能产生独特且真正具有对比性的显著性图。
稳健的评估框架：开发了专为生成式 S2T 任务设计的双指标评估（覆盖率 + 翻转率），以衡量解释的忠实度。
实证验证：在跨三种语言对（英语 $\to$ 法语、意大利语、西班牙语）的语音翻译中的说话人性别分配任务上验证了该方法。

4. 结果

该方法使用 MuST-SHE 数据集进行评估，重点关注将性别中立的英语术语翻译成性别化的罗曼语（例如，"I am curious" $\to$ curioso 与 curiosa）。

显著性图区分：
- 差异评分器（ $S_{CD}$ ）：生成的显著性图与非对比解释高度相关（皮尔逊 $r \approx 0.93$ ）。它未能隔离特定于性别的特征。
- 相对评分器（ $S_{CR}$ ）：生成的图与非对比图的相关性较低（ $r \approx 0.33$ ），成功隔离了与性别相关的声学区域。
覆盖率表现：
- 当删除由差异评分器识别的特征时，仅删除 2% 后覆盖率就降至 20% 以下（表明这些特征是通用的）。
- 相对评分器即使在删除 20% 后仍保持 >30% 的覆盖率，证明其针对的是特定于性别对比的特征。
翻转率表现：
- 阴性目标：遮挡由相对评分器识别的前 5% 特征，导致模型在**>70%**的覆盖案例中翻转为阳性预测。
- 阳性目标：翻转率较低（约 30%），作者将此归因于 S2T 模型中的阳性默认偏差（即除非存在强烈的阴性线索，否则默认为阳性），而非该方法的失败。
模型鲁棒性：结果在不同架构（多语言 Transformer、单语言 Conformer）和语言对之间保持一致。

5. 意义与影响

推进语音领域的 XAI：这项工作填补了基于文本的对比解释技术与语音处理独特挑战之间的空白，为理解 S2T 模型如何利用声学线索奠定了基础。
偏见检测：该方法有效地隔离了模型用于性别消歧的声学特征（例如音高、共振峰）。这对于审计 AI 中的性别偏见至关重要，揭示了模型往往依赖可能使跨性别者或具有非典型发声特征者处于不利地位的发声特征。
未来应用：虽然该方法在性别问题上进行了演示，但其方法论可推广到其他 S2T 现象，如同音词消歧、共指消解和礼貌语域选择。
伦理意识：论文明确承认利用发声特征进行性别预测的伦理风险，指出虽然这提高了准确性，但可能会伤害边缘化群体。该工具旨在解释当前模型的行为，以促进更好的监督和未来的缓解策略。

总之，该论文提供了一个严格的技术框架，用于理解 S2T 模型为何在替代方案之间做出特定选择，从“预测了什么”转向“如何决定”，并特别关注语音翻译中性别偏见这一关键问题。