Toward a Common Language for Trustworthy AI in Healthcare
通过对675篇文章的范围综述，本文识别了医疗保健领域内可信人工智能原则定义中存在的显著概念不一致性，并提出了一个统一的框架和研究优先事项，以标准化这些概念并加强该领域的证据基础。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人工智能正迅速成为医疗保健领域的合作伙伴，帮助医生诊断疾病、预测患者预后并选择治疗方案。然而，随着这些计算机系统变得越来越复杂，一个隐蔽的问题出现了：许多系统的运作方式就像“黑盒”一样。它们接收医疗数据并产生结果，但两者之间的路径却是隐藏的。当机器给出一个诊断建议时，医生需要知道原因。他们需要理解其推理过程，确保该系统是公平的，并确信它能为每一位患者提供一致的效果，而不仅仅是针对那些用于训练的数据集中的患者。为了建立这种信任，该领域开发了一套指导原则，通常被称为“可信人工智能”。这些原则包括透明度（意味着公开系统的运作方式）、公平性（确保不会对任何群体进行不公平对待）以及可靠性（意味着系统表现得始终如一）。然而，为了让这些原则发挥作用，每个人都必须对它们的实际含义达成共识。如果一位研究人员称一个系统具有“可解释性”，而另一位研究人员使用同一个词却指代略有不同的含义，那么信任的基础就会开始出现裂痕。
加拿大麦克马斯特大学的一个研究小组着手调查医疗人工智能界是否正在使用相同的语言。他们对 2015 年至 2025 年间发表的 675 篇论文进行了大规模综述，检查了科学家如何定义和使用八个核心概念：可解释性（interpretability）、可解释性（explainability）、透明度（transparency）、公平性（fairness）、偏差（bias）、鲁棒性（robustness）、可靠性（reliability）和有效性（validity）。他们的发现是：现状是一片混乱。研究显示，这些术语经常被混用，即使它们本应描述不同的事物。例如，“可解释性（interpretability）”和“可解释性（explainability）”这两个词经常被互换使用，尽管研究人员认为它们实际上描述的是不同层级的理解。同样，“可靠性（reliability）”和“有效性（validity）”的定义差异巨大，以至于一项研究可能仅仅因为系统在训练数据上表现良好就称其为“可靠”，而另一项研究则会要求系统在完全不同的数据上也能表现出色才能获得该标签。这种缺乏统一词汇的情况，使得比较研究、分享知识或构建真正对患者安全的系统变得十分困难。
为了解决这个问题，研究人员提出了一个新的统一框架，清晰地划分了这些概念。他们将“透明度”定义为最广泛的概念，即系统披露其内部运作和数据来源，以便利益相关者能够了解决策是如何做出的。在透明度之内是“可解释性（explainability）”，他们将其描述为提供决策技术辩护的能力，即以专业用户可以理解的方式解释“如何”以及“为什么”。他们认为，“可解释性（interpretability）”则略有不同；它是指用户在不需要了解技术细节的情况下理解决策的能力，侧重于“为什么”而非技术机制。团队还明确，“鲁棒性（robustness）”意味着系统即使在输入数据发生变化或包含噪声时也能保持稳定，而“可靠性（reliability）”则意味着在条件完全相同的情况下保持稳定。“公平性（fairness）”被定义为消除歧视性结果的目标，这首先需要识别出导致不公平对待的“偏差（bias）”。最后，“有效性（validity）”被定位为终极测试：只有当一个系统既具备鲁棒性又具备可靠性，并在现实世界中按预期执行时，它才是有效的。
当研究人员观察过去十年发表的实际研究时，他们发现该领域正在快速增长，论文数量从 2015 年到 2025 年大幅上升。然而，研究分布并不均匀。大多数研究集中在几个特定领域，如神经科学、肿瘤学和心脏病学，并且严重依赖电子健康记录和医学图像。最常用的人工智能模型是经典机器学习算法和深度学习网络，绝大多数研究执行的是简单的分类任务，例如判断扫描图像是否显示肿瘤。在使这些系统变得可理解的工具方面，一种被称为 SHAP（即 Shapley 加性解释）的技术是最受欢迎的。它能帮助研究人员看到数据中的哪些特征（如特定的血液检测结果或图像中的某个像素点）对预测贡献最大。
尽管取得了这些增长，但综述也揭示了显著的差距。虽然研究人员擅长检查他们的模型在现有数据上是否有效，但在测试这些模型在处理新数据或未在原始训练中得到充分代表的人群时是否有效方面，表现较差。研究发现，不到一半的文章讨论了公平性或偏差问题，甚至更少的文章提供了完全理解模型决策过程所需的深层透明度。最重要的是，研究人员指出，极少有研究真正涉及严格意义上的“可解释性（explainability）”。相反，大多数研究仅停留在“可解释性（interpretability）”层面，即展示哪些数据点很重要，却并未解释机器的完整逻辑。这表明，虽然该领域正在取得进展，但其重心仍主要在于让 AI 的输出易于理解，而非让 AI 本身实现真正的透明。
作者总结道，为了让人工智能成为医疗保健领域值得信赖的伙伴，整个界必须停止松散地使用这些术语，并开始采用他们提出的统一定义。如果没有共同的语言，就无法建立起确保患者安全的严谨标准。他们建议未来的研究应超越最常见的医学专业和数据类型，去探索更广泛的疾病状况和信息来源。他们还敦促科学家开发更好的方法，来测试这些系统处理新情况和多样化人群的能力。通过明确我们所说的信任、可靠性和公平性的含义，该领域可以从仅仅构建复杂的模型，转向构建医生和患者真正可以依赖的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。