What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework
本文提出了一种以语料库为核心的诊断框架，该框架通过分析五个关键的基准属性族，揭示了生物医学命名实体识别与实体链接语料库在评估信号和泛化需求方面存在的显著差异，并论证了表面统计量不足以刻画这些基准真正所测量的内容。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位老师，试图测试学生在自然纪录片中识别特定动物的能力。你手头有两个不同的测试视频：
- 视频 A 展示了一个动物园，里面有狮子、老虎和熊。动物都有清晰的标签，镜头也聚焦于它们。
- 视频 B 展示了一片深邃的丛林，里面有稀有且伪装极佳的昆虫和鸟类。标签被隐藏，且这些动物彼此之间外观差异巨大。
如果一名学生在视频 A 中得了 90 分，而在视频 B 中只得了 60 分，你可能会认为他们不擅长识别动物。但实际上，他们只是擅长识别“动物园动物”，而不擅长识别“丛林昆虫”。尽管这两个测试都声称是“动物识别测试”，但它们测量的却是完全不同的技能。
这正是论文《生物医学命名实体识别与实体链接基准究竟测量了什么？》（"What Do Biomedical NER and Entity Linking Benchmarks Measure?"）所要解决的问题。
问题：“苹果与橘子”式的基准测试
在生物医学人工智能（即阅读医学论文的计算机）领域，研究人员使用“基准测试”（标准化的测试数据集）来评估其人工智能的聪明程度。这些基准测试是医学文本的集合，其中人类已经标注了疾病、化学物质或细胞类型等重要信息。
作者们指出，科学家们往往将这些基准测试视为完全相同的东西。他们会说：“我的人工智能在‘疾病’测试中获得了 95% 的分数，所以它非常擅长发现疾病。”
但论文表明，两个都被标记为“疾病”的数据集，其差异可能就像“动物园”与“丛林”一样巨大。一个数据集可能只包含 2000 年的遗传性疾病，而另一个则包含 2024 年的药物副作用。如果你在 2000 年的数据集上测试人工智能，它可能看起来非常出色，但在 2024 年的数据集上却可能惨败。
解决方案：以语料库为中心的诊断框架
作者们构建了一个新工具包（一个框架），以便在我们信任测试结果之前，先对这些测试数据集进行审查。可以将这个工具包想象成一台显微镜，它观察的是测试本身，而不仅仅是人工智能的得分。
他们将审查过程分解为五个简单的类别：
规模与密度（工作量有多大？）
- 类比：这个测试是只有 10 道题的简短测验，还是 500 页的长篇考试？
- 发现：有些数据集在单篇医学文章中密集地包含了数百个疾病名称（高密度），而另一些数据集则仅在数千篇摘要中稀疏地分布了几个名称（低密度）。这改变了人工智能面对测试时的难度感受。
词汇与概念（用词有多棘手？）
- 类比：测试中每次都用同一个词来表示“心脏病发作”，还是会交替使用“心肌梗死”、“心脏骤停”和“心脏停跳”？
- 发现：有些数据集迫使人工智能学习同一事物的许多不同名称（高变异性），而另一些数据集则使用非常标准、重复的语言。
“作弊”检查（训练集与测试集的重叠）
- 类比：老师是否在复习期间不小心把答案钥匙发给了学生？
- 发现：有时，“练习”数据和“期末考试”数据共享完全相同的句子，甚至完全相同的疾病名称。如果人工智能死记硬背了练习数据，它就在考试中作弊了。作者们检查这两组数据的重叠程度，以判断分数是真实的还是仅仅源于死记硬背。
源材料（文本来自哪里？）
- 类比：测试是出自生物学教科书、化学实验报告，还是医院记录？
- 发现：有些数据集主要来自旧期刊，而另一些则是全新的。有些专注于特定的医学领域（如遗传学），而另一些则涵盖所有领域。这告诉你人工智能实际上在哪里表现良好。
概念图谱（覆盖了世界的哪些部分？）
- 类比：测试是涵盖了整个“疾病”地图，还是只覆盖了“皮肤”部分？
- 发现：即使两个数据集都是关于“疾病”的，其中一个可能只测试遗传性疾病，而另一个只测试心脏问题。它们覆盖了医学世界中不同的“街区”。
核心结论
作者们分析了九个不同的流行医学测试数据集，发现它们测量的都是不同的东西。
- CellLink（一个关于细胞类型的数据集）非常擅长测试人工智能是否能识别新的、人为组合的词汇（例如“静息 CD4 记忆 T 细胞”），但它无法测试人工智能是否能学习全新的概念。
- NCBI-Disease（一个关于疾病的数据集）则恰恰相反；它迫使人工智能学习真正全新的概念，但使用的是非常标准的措辞。
为什么这很重要
论文得出结论：我们不能仅仅看一个分数（例如"95% 的准确率”）就说人工智能是“聪明”的。我们必须审视测试本身。
正如你不会仅凭飞行员在模拟器中驾驶小型飞机的表现来评判其技能一样，你也不应仅凭人工智能在狭窄、陈旧或“有漏洞”的数据集上的表现来评判其医学能力。作者们提供了一个免费的开源工具（一个仪表盘），以便研究人员可以在自己的数据上运行这些“显微镜检查”，确保他们测试的正是他们认为自己在测试的内容。
简而言之：不要盲目相信分数。要检查测试本身。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。