When Epistemic Delegation Becomes Abdication: The Limits of Clinical Authority in AI-Mediated Medicine
本文认为，尽管临床医学一直依赖外部专业知识，但人工智能介导的问题生成过程产生了一种独特的认识论放弃风险，除非临床医生通过在诊疗现场保持可理解性、可质疑性和情境化验证来保留实质性的控制权。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几个世纪以来，医生们一直依赖着他们无法亲手制造的工具和无法从零开始完全重建的知识。心脏病专家信任由一台她并未设计的机器捕捉到的心音回响；外科医生依赖于一份由她从未谋面的专家撰写的病理报告。这种依赖并非医学的缺陷，而是其基石。复杂的护理需要一个信任网络，其中一个人的专业知识可以替代另一个人的专业知识。近年来，人工智能加入了这个网络，它提议测量生命体征、标记潜在风险，甚至建议诊断方案。但随着这些系统变得越来越强大，一个静默的问题浮现了：在什么时候，信任机器不再是一种合理的劳动分工，而变成了一种对判断力的放弃？
这一问题的核心在于我们如何定义医生与所使用的技术之间的关系。当医生使用听诊器时，工具放大了声音，但医生决定了那个声音意味着什么。当医生使用血液检测时，机器提供了一个数字，但医生将其置于患者的故事背景中进行解读。本文认为，人工智能正在以一种特定且危险的方式改变这种关系的本质。它指出，虽然医生一直依赖工具，但他们现在面临着一种新的风险：工具本身开始决定哪些问题值得被提出。作者安德烈亚·曼贾梅利（Andrea Mangeli）提出，这种转变使医学从一种“委托”（delegation）状态——即医生仍掌握主导权——转向了“弃权”（abdication）状态——即医生实际上将了解发生情况的权威交给了他们无法真正理解或核查的系统。
本文区分了医生目前使用外部帮助的三种方式。第一种是测量，即机器仅仅计数或记录一个数值，例如体温计测量温度。第二种是筛选，即系统过滤大量数据以突出最重要的部分，就像一个安全摄像头只在看到特定类型的移动时才向保安发出警报。第三种，也是最关键的一种，是问题生成。在这种情况下，系统不仅是回答一个已知的问题或强调一个已知的风险，而是建议全新的模式或疾病类别，而这些是医生此前从未考虑过的。例如，一个系统可能会分析患者的持续运动和睡眠数据，从而提出一种新的生理特征，用以预测心力衰竭，尽管此前从未有医生命名或定义过这种模式。
危险在于，当这种第三种功能——建议新问题——成为医生决策的主要方式时，尤其是当系统具有不透明性时。这里的“不透明”并不意味着软件是秘密的；而是指即使医生看到了系统的运作方式，由于数据的极度复杂性和数学逻辑的深奥，人类大脑也无法在脑海中完整承载其逻辑。系统可能是正确的，并且在大型研究中得到了统计学验证，但床边的医生无法解释为什么该系统针对特定患者做出了特定的断言，也无法通过另一种方法轻松核查该断言。本文认为，当一个系统具有足以改变患者治疗方案的分量，但医生却无法理解其推理过程、无法质疑其结论，也无法在当下用独立的方法进行核查时，医生就失去了控制。这不是医生技能的失败，而是他们工作的环境出了问题。
作者引入了一个名为“有意义的人类控制”（meaningful human control）的框架，来描述防止这种失控所需的条件。为了让医生保持主导地位，必须满足三个条件。首先，系统必须是可理解的：医生必须能够以一般性的术语理解系统正在寻找什么，以及它可能犯什么样的错误。其次，必须具备可质疑性：必须有一种真实、实际的方法，让医生能够质疑系统的输出、暂停其建议，并将其与其他证据（包括患者对自己感受的描述）进行权衡。第三，也是最重要的一点，必须具备情境可验证性。这意味着在具体的护理时刻，医生必须拥有一个独立的途径来核查系统的说法。这可以是一项第二次测试、一种不同类型的观察，或者与患者病史的对比。如果一个系统基于某种复杂的模式提出了一个新的诊断，但核查该诊断的唯一方法是再次运行同一个复杂的系统，那么医生就没有独立的杠杆进行核实。他们被迫盲目地信任机器。
本文澄清了这并不是在反对使用人工智能。医学一直依赖于个体医生无法完全复制的仪器和专家。本文讨论的重点在于，在何种条件下这种依赖才是安全的。作者指出，当一个系统提出一个新的临床类别——一种看待人体的新方式——且该类别尚未经过医学界的测试、辩论和达成共识时，风险最高。过去，新的医学发现进展缓慢，为医生们争论并建立其核查方法留出了时间。人工智能的运行速度可以快得多，能瞬间呈现出模式。如果医疗系统没有建立起立即验证这些新模式的基础设施，医生可能会发现自己在根据无法验证的建议行事。
最终，本文得出结论，问题不在于技术本身，而在于围绕技术的临床环境。如果医院或诊所确保医生拥有进行核查所需的培训、程序和替代工具，那么即使是一个先进的系统也可以得到负责任的管理。反之，如果环境迫使医生在无法质疑或核实其建议的情况下依赖系统，那么即使是一个简单的系统也会变得危险。作者警告说，当实践权威（即指导患者护理的力量）超越了理解和核查该权威的能力时，这种关系就会从“委托”转变为“弃权”。在这种状态下，医生不再是为患者的护理负责的人，系统成为了负责人，而医生则失去了为其负责的工具。本文认为，解决方案在于确保随着医学变得更加自动化，人类监督的条件应与技术本身一样，被细致地构建在系统之中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。