🤖 AI

Towards Dys-XAI: Influence-Based Explanations for Dysarthria Severity Assessment

本文提出了一种新颖的基于影响力的可解释性框架（Dys-XAI），该框架通过将单个预测与支持性和竞争性训练样本相联系，从而增强了深度学习模型在构音障碍严重程度评估中的临床应用，并提供了通过受控删除实验验证的可审计实例级解释。

原作者： Xiaoliang Wu, Qiyang Sun, Yupei Li, Erfan Loweimi, Jennifer Williams, Zhengjun Yue

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoliang Wu, Qiyang Sun, Yupei Li, Erfan Loweimi, Jennifer Williams, Zhengjun Yue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：我们为什么需要它？

想象一下，一位医生正在试图判断一名患者的言语障碍（构音障碍）有多严重。目前，他们通过倾听患者的语音，并给出从“典型”到“严重”的等级评分。这就像一位评委在品尝汤的味道，并决定它是“有点咸”还是“非常咸”。这个过程很耗时，而且不同的评委可能会有不同的判断。

为了提供帮助，科学家们构建了一个计算机程序（即人工智能/AI），它可以瞬间进行倾听并给出评分。但问题在于：这个 AI 是一个“黑盒”。 它能给出答案，却无法解释其原因。如果医生问：“为什么你判定这个患者是‘严重’级？”AI 通常只会回答：“因为数学计算结果如此。”对于无法理解的答案，医生是不会信任的，尤其是在涉及患者护理的情况下。

这篇论文介绍了一种让 AI 能够自我解释的新方法。它不再展示复杂的数学图表，而是说：“我给出这个评分，是因为这个新患者听起来非常像我学习过的这些特定的既往患者，而与那些其他的既往患者非常不同。”

核心思想：学习于实例，而非仅仅学习特征

大多数 AI 解释器的工作方式就像显微镜。它们会放大某一个特定的句子，然后说：“AI 查看了这一段特定的声波和这一段特定的频率。”这对人类来说太难理解了。

作者提出了一种不同的方法，称为基于影响力的解释（Influence-Based Explanation）。你可以把它想象成一个正在准备历史考试的学生：

旧方法（特征归因）： 学生说：“我答对这个问题，是因为我记住了‘1776’这个日期和‘独立’这个词。”（过于技术化，难以看到大局）。
新方法（基于影响力的解释）： 学生说：“我答对这个问题，是因为这个题目让我想起了练习题第 42 题，我当时做对了那道题。它感觉与练习题第 89 题非常不同，而那道题我做错了。”

AI 不仅仅是在观察声波；它还在观察其记忆库中的其他录音，以观察哪些录音帮助了它的决策，以及哪些录音让它产生了困惑。

工作原理：“影响力分数”

研究人员构建了一个系统，可以为 AI 见过的每一条录音计算一个**“影响力分数”**。

支持性影响（Supportive Influence）： 如果一段过去的录音让 AI 对当前的猜测更有信心，它就会获得一个正分。（例如：“过去的那个‘严重’案例听起来和这个新案例很像，所以我确定是‘严重’级。”）
竞争性影响（Competing Influence）： 如果一段过去的录音让 AI 的信心降低，或者将其推向另一个不同的猜测，它就会获得一个负分。（例如：“过去的那个‘轻微’案例听起来有点像这个新案例，这让我产生了犹豫。”）

“味觉测试”（验证）

我们如何知道这种解释是真实的，而不是一种骗局？作者进行了一项**“受控删除”（Controlled Deletion）实验**。

想象你有一份蛋糕的食谱，你声称：“这个鸡蛋是最重要的原料。”

测试方法： 你从食谱中去掉鸡蛋，然后重新烤制蛋糕。
结果： 如果蛋糕塌陷了，说明你的主张是真的；如果蛋糕味道没变，说明你的主张是假的。

研究人员对 AI 进行了同样的操作：

移除“助手”： 他们取出了前 20% 最具“支持性”的既往录音。结果： AI 的表现崩溃了。它无法再做出好的预测。这证明了这些解释是真实的；那些录音确实是答案的关键。
移除“噪音”： 他们取出了后 20% 最无用（或最令人困惑）的录音。结果： AI 的表现实际上变得更好了。这证明了一些旧数据是混乱或错误的，并且 AI 正受到它们的干扰。

他们的发现

通过观察这些影响力分数，他们发现了一些关于 AI 如何思考的有趣模式：

“典型”之墙： AI 将“典型”言语（无障碍）视为一个完全独立的领域。它只使用“典型”的既往案例来判断“典型”言语。如果患者的声音哪怕只有一点点“轻微”迹象，AI 就会停止使用“典型”案例，转而开始使用“构音障碍”案例。
“严重程度”阶梯： 对于言语障碍（轻微、中度、严重），AI 将其视为一个阶梯。
- 它高度依赖于处于同一阶梯上的既往案例。
- 它利用上一阶或下一阶的案例来帮助精细化其猜测。
- 它会主动拒绝来自阶梯另一端的案例（例如，它利用“严重”案例来判定“不，这不是轻微级”）。
寻找故障： 在一个案例中，AI 受到了几乎是静音录音的强烈影响。事实证明，AI 学到了一个奇怪的技巧：“如果没有任何声音，那它一定是‘严重’级。”解释系统捕捉到了这个错误，显示出 AI 依赖的是一段损坏的录音，而非实际的言语。

总结

这篇论文展示了一个工具，它能将 AI 的“黑盒”转化为一个参考案例库。它不再向医生展示令人困惑的声波热力图，而是向他们展示：

“这里有 5 个与当前患者声音相似且帮助我们做出决定的既往患者。”
“这里有 5 个声音不同且让我们产生怀疑的既往患者。”

这使得医生可以倾听这些示例，将它们与当前患者进行对比，并用自己的耳朵来验证 AI 的决策。这让 AI 变得透明、可信，并能真正应用于现实世界的医疗决策。

技术摘要：迈向 Dys-XAI：基于影响力的构音障碍严重程度评估解释方法

问题陈述
构音障碍（Dysarthria）的严重程度评估对于临床治疗规划和长期监测至关重要，但目前仍依赖于人工感知评分，这种方式耗时较长且存在评分者间差异。虽然深度学习模型在公开数据集上的表现已达到与专家评分相当的水平，但其“黑盒”性质阻碍了临床应用。现有的语音可解释人工智能（XAI）方法（如特征归因，例如 SHAP、LIME 或注意力可视化）通常生成声学特征重要性得分或频谱图热力图。作者认为这些方法对于临床实用性不足，因为：

它们是局部且针对单次发声（utterance-level）的，未能捕捉到严重程度标签的序数性质（即相邻类别代表增量式的差异，而非名义类别）。
它们依赖于人工设计的声学描述符或时频区域，这些内容难以转化为临床医生在临床推理中所使用的感知概念（如辅音精准度、气息声）。

方法论
本文提出了 Dys-XAI，一种基于影响力的、实例级的解释框架，该框架将解释视角从声学特征转向了训练实例。它不再询问哪些特征是重要的，而是询问哪些训练样本对特定预测产生了支持或反对的影响。

任务形式化： 任务被定义为使用 TORGO 数据集的 4 类序数分类（典型、轻度、中度、重度）。
实例级影响力计算： 作者采用了基于梯度的影响估计方法。通过追踪训练过程中保存的检查点 $\{\theta_1, \dots, \theta_M\}$ ，计算训练样本 $x_i$ 对测试样本 $x_t$ 的影响为两者的梯度累积内积：
$I_{i \to t} = \sum_{m=1}^{M} \nabla_\theta \ell(f_{\theta_m}(x_t), y_t)^\top \nabla_\theta \ell(f_{\theta_m}(x_i), y_i)$
正内积表示支持性影响（即在 $x_i$ 上训练会降低 $x_t$ 的损失），而负内积则表示抵消性影响。
聚合策略：
1. 类别级聚合： 影响力得分按测试样本的真实严重程度标签进行聚合，以量化不同严重程度类别之间的支持与竞争贡献。这产生了一个 $4 \times 4$ 的影响力矩阵 ( $S_{c \leftarrow c'}$ )，展示了严重程度为 $c'$ 的训练样本如何影响对严重程度为 $c$ 的预测。
2. 模型级序数敏感性： 影响力按序数距离（ $d = |c - c'|$ ）进行聚合，以评估模型是否遵循序数结构（即影响力是否随着严重程度等级之间的距离增加而衰减）。
验证： 该框架通过受控删除实验进行验证。作者有选择地移除高影响力或低影响力的训练样本（5%–20%）并重新训练模型，以观察预测结果的系统性偏移。

关键结果

影响力得分的验证： 受控删除实验证实了影响力得分的忠实度。
- 移除高影响力样本： 移除前 20% 的高影响力样本导致性能严重下降（例如，中度严重程度的准确率从 36.8% 降至 0.3%；重度从 72.3% 降至 43.1%）。
- 移除低影响力样本： 移除底部的 20% 样本（低影响力）提升了性能，特别是对于模糊类别（轻度准确率从 5.5% 提升至 17.6%），这表明这些样本包含噪声或错误标记的数据。
跨严重程度的影响力模式： 类别级影响力矩阵揭示了一种两层结构：
- 二元区分： 典型语音是孤立的；它仅接收来自其他典型样本的正向影响，并受到所有构音障碍水平的负向影响。
- 序数递进： 构音障碍等级（轻度、中度、重度）表现出相互的正向影响，表明模型识别出了构音障碍连续体中共享的声学特征。
序数敏感性： 平均影响力 $\bar{S}(d)$ 随序数距离 $d$ 单调递减。同等级别的影响力是相邻等级影响力的 13 倍，且对于远距离等级（ $d \ge 2$ ），影响力变为负值，这证实了模型将严重程度编码为一个有序的连续体，而非名义类别。
案例研究与数据集审计： 在定性比较中，所提出的方法提供了排好序的音频参考，而 SHAP 则提供不可解释的声学描述符得分。值得注意的是，影响力排序识别出重度说话者中“近乎静音”的录音属于对重度预测最具影响力的样本之一。这揭示了模型学习到的一种伪相关性（静音 $\to$ 重度），证明了该框架在数据集审计方面的效用。

意义与主张
本文声称 Dys-XAI 通过将模型决策与可感知的参考案例（音频录音）而非抽象的特征得分联系起来，提供了可审计的解释。这符合临床推理，即判断通常是通过与原型示例进行比较来证实的。

作者强调，这种方法：

显式处理序数性： 通过按严重程度标签聚合影响力，该框架揭示了相邻及远距离严重程度等级之间的关系证据。
实现感知验证： 临床医生可以直接聆听支持性和竞争性的训练样本，以验证模型的决策是否符合临床标记。
识别数据问题： 该框架可作为数据集审计的工具，能够发现特征类方法可能忽略的伪相关性（例如，与严重程度相关的静音）。

这项工作被视为弥合高性能深度学习模型与临床部署所需的透明度之间差距的重要一步。