Auditing Data Leakage Candidate Coverage and Calibration in Clinical Abbreviation Disambiguation Benchmarks
本文介绍了一种用于临床缩略语消歧的可审计评估协议，该协议揭示了高基准准确率如何往往掩盖了数据泄漏和候选词覆盖度问题，并论证了可靠的临床自然语言处理评估需要分别报告泄漏鲁棒性、候选词支持度和校准可靠性，而非仅仅依赖单一的准确率得分。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在浩瀚且无结构的医疗记录世界中，医生和护士编写的笔记充满了密集的缩写。为了节省时间，他们使用缩写，但这些简写往往具有歧义。一个简短的字母字符串在心脏科报告中可能代表一种含义，而在神经科笔记中则可能完全是另一回事。为了让计算机能够协助医生，它们必须首先学会解决这个谜题，这项任务被称为缩写消歧（abbreviation disambiguation）。研究人员构建了公开测试，即基准测试（benchmarks），以观察计算机程序猜测这些缩写正确含义的能力如何。这些测试通常产生一个单一的数字——一个百分比，旨在代表计算机的准确度。如果一个程序的得分是百分之九十五，人们通常会认为它已接近完美。然而，如果测试本身包含隐藏的缺陷，例如在学习阶段和测试阶段重复相同的句子，或者在计算机见到这些情况之前就将其中最难的部分剔除，那么这个数字可能会产生误导。
一个研究小组致力于审计这些测试，不仅是为了看计算机是否聪明，更是为了看这些测试是否公平。他们专注于一个包含七十五种不同缩写的广泛使用的医疗笔记集合。他们的目标是建立一种新的评估系统的方法，能够透视最终得分背后的真相。他们发现，运行这些测试的标准方式通常隐藏了两个主要问题。首先，同一个句子可能会在不经意间同时出现在训练数据（计算机学习的地方）和测试数据（进行评分的地方）中。这就像是给学生一份练习试卷，而试卷上的题目与期末考试的题目完全一致；高分反映的是记忆力，而非理解力。其次，由于某些缩写的含义出现的例子很少，测试往往会删除这些罕见的含义。这创造了一种虚假的安全感，因为在现实世界中，计算机迟早会遇到这些罕见情况，并且无法从中选出正确的答案。
为了解决这个问题，研究人员设计了一套严格的协议，其作用类似于严谨的质量控制检查。在将数据拆分为学习组和测试组之前，他们扫描了重复的句子并删除了多余的部分，确保测试集中的每一个句子对计算机来说都是全新的。他们也拒绝删除那些罕见的含义。相反，他们将这些困难的情况移到了一个单独的“压力测试”组中。这个小组让他们能够观察：当计算机被要求猜测一个它从未经过训练识别的含义时，会发生什么。他们还检查了计算机的置信度。一个优秀的系统不仅应该能猜对，还应该知道自己何时是在瞎猜。研究人员衡量了计算机是否能够区分出：它面对的是一个有确切答案的情况，还是被迫盲目猜测的情况。
当他们将这种更严格的新协议应用于这七十五种缩写时，结果是发人深省的。计算机系统的表现依然良好，但研究人员发现，过去报道的高分并不完全是因为系统的智能。通过移除在训练集和测试集之间泄露的重复句子，得分仅略微下降了约百分之零点零二。这一微小的变化表明，虽然存在数据泄露现象，但在该特定数据集中，它并不是高分的驱动因素。然而，真正的故事出现在他们观察罕见含义时。当计算机被迫从一个不包含正确答案的选项列表中进行选择时，它仍然在超过一半的情况下自信地猜错了。具体而言，当正确含义不在其选择列表中时，系统在旨在过滤掉错误猜测的置信度检查中，仍有百分之五十八的情况通过了检查。这意味着计算机经常会对错误的答案表现得非常笃定。
该研究还比较了不同类型的计算机模型，不仅看准确度，还看了它们需要多少计算能力。他们发现，更复杂的模型并不一定比简单的模型表现更好；即使表现更好，其提升也非常微小，以至于可能不值得投入巨大的时间和精力去运行它。一个模型比另一个模型大四十二倍，速度慢了数百倍，却仅提供了极其微小的性能优势。这凸显了仅仅用“准确度”这一个数字来评价一个系统是不够的。它掩盖了运行系统的成本，也未能告诉我们该系统在面对未知情况时是否可靠。
研究人员总结道，我们评估医疗人工智能的方式需要改变。我们不能依赖单一的分数来告诉我们一个系统是否已准备好进入现实世界。相反，我们需要一套包含证据的组合，其中包括测试是如何构建的、系统能否处理罕见情况，以及运行它的成本是多少。通过分离这些不同的因素，医生和开发人员可以做出更好的决策。他们可以辨别一个系统是真的稳健，还是仅仅擅长记忆测试。最终，目标不仅仅是构建一个能在测试中获得高分的计算机，而是要构建一个在医生根据模糊笔记做出关键决策时可以被信任的工具。研究人员表明，通过审计测试本身，我们可以停止信任那些看起来很好但可能隐藏了真相的数字。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。