Challenges in Explaining Pretrained Clinical Text Classifiers
本文表明，诸如 LIME 和 SHAP 等常见的后解释方法无法为临床文本分类器提供可靠的见解，因为它们倾向于过度强调非信息性标记、产生不稳定的归因，并对不连贯的输入给出高置信度预测，从而凸显了开发具有临床意义且稳健的解释策略的迫切需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位超级智能的机器人医生，它通过阅读数千份医院病历来预测患者的住院时长。它在预测方面非常准确，但它是一个“黑箱”——你无法看到它为何做出该预测。为了解决这个问题，研究人员使用了LIME和SHAP等工具。可以将这些工具想象成“荧光笔”，试图向你展示病历中的哪些词语对机器人的决策最为重要。
这篇论文就像一部侦探故事，作者们在真实的医院病历上测试这些“荧光笔”，并发现它们实际上存在严重缺陷。以下是他们发现的要点，以通俗易懂的方式解释：
1. “一词奇迹”问题
主张：这些“荧光笔”往往会列出一长串“重要”词语，但实际上，只有最前面的一个或两个词语真正起作用，其余的只是噪音。
类比：想象你问朋友：“你为什么买这辆车？”他们列出了 20 个理由：“它是红色的，它有四个轮子，它有方向盘，它有轮胎，它有收音机……"但真正的原因仅仅是“它是红色的”。“荧光笔”工具就像一个糟糕的朋友，将这 20 个理由全部标记为同等重要，让你误以为轮胎和收音机至关重要，而实际上并非如此。研究人员发现，如果移除排名第一的词语，机器人的置信度会急剧下降，但移除接下来的 19 个“重要”词语则毫无影响。
2. 突出“废话”
主张：这些工具常常被无聊、不重要的词语（如“的”、“和”或“你”）或随机符号分散注意力，而不是聚焦于实际的医学术语（如“肾脏”或“疼痛”）。
类比：这就像一位老师在批改一篇关于心肌梗死的作文时，没有高亮“心脏”、“梗死”或“胸痛”等词语，反而对“的”、“一”和“是”这些词大肆标记。研究人员发现，这些工具沉迷于这些“填充词”，因为它们出现频率高，却完全忽略了真正的医疗故事。
3. 遗漏“短语”谜题
主张：医学概念通常以词组形式出现（例如“慢性肾脏病”），但这些工具却逐个词语进行分析。
类比：想象试图通过观察散落在地板上的单个拼图块来理解一句话。工具可能会高亮写有“肾脏”的拼图块和写有“疾病”的拼图块，但它无法看出它们本应组合在一起，形成“肾脏病”这一概念。它将它们视为分离、孤立的线索，而非一个有意义的整体。
4. “胡言乱语”陷阱
主张：这些工具通过打乱文本（随机移除词语）来测试机器人，观察其反应。研究人员发现，即使他们将病历变成毫无意义的胡言乱语，机器人仍然给出非常自信的答案，而“荧光笔”工具却试图对此进行解释。
类比：想象你向一个人展示句子“猫坐在垫子上”。然后你将其打乱成“猫垫子坐在上”。人类会说：“这毫无意义。”但机器人仍然自信地说：“这是长期住院！”而“荧光笔”工具则试图为其寻找合理的解释。该工具就像一位导游，试图解释一张已被撕成碎纸片的地图；即使地图已坏，它仍不停地指向某些东西。
结论
该论文得出结论：目前的这些“荧光笔”工具尚未准备好应用于医院环境。它们太容易被胡言乱语所欺骗，关注了错误的词语，并且无法处理医学语言的复杂性。
作者们认为，要使人工智能在医疗保健领域值得信赖，我们需要新的工具，这些工具应能理解短语和医学概念，而不仅仅是单个词语；同时，这些工具在文本混乱或破碎时不应感到困惑。在此之前，我们无法完全信任机器人医生对其自身决策的解释。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。