Responsible Adoption of Generative AI in Health Care Work Systems: A Sociotechnical Document Analysis

数字副驾驶：诊室里的新型助手

想象一下，你正试图用乐高积木搭建一座宏大而复杂的城堡，但与此同时，有人一直在向你提问、递给你新的零件，并向你讲述那些即将住进城堡里的人的故事。这正是医生或护士经常面临的感受：他们必须在提供卓越护理的同时，还要同步构建一份关于发生的每一件细微事项的复杂数字记录。多年来，计算机一直试图协助这项“搭建”工作，但有时这些指令过于混乱，或者零件难以拼凑，导致建设者反而比以前更疲惫了。

现在，一种新型的助手来到了：生成式人工智能（Generative AI）。不要把它看作是一个接管工作的机器人，而要把它看作是一个超快速、超有天赋的速记员，能够倾听一段对话并立即写出一份完美的草稿。它使用“大语言模型”，这些模型本质上是巨大的数字大脑，它们阅读了几乎所有已发表的文字，并能通过预测下一个词应该是什么，来使句子听起来通顺自然。但这里有一个科学家和医生们都在追问的大问题：如果这个速记员写好了故事，医生真的能得到休息吗？还是说，医生只是把所有时间都花在了玩“找不同”的游戏上——在速记员的草稿与现实之间寻找差异？本文将深入探讨这个谜团，研究这些新工具的规则和指南是如何塑造医疗工作的未来的。

---

论文的核心发现：“受控增强”模型

这篇题为《负责任地在医疗工作系统中采用生成式人工智能》（Responsible Adoption of Generative AI in Health Care Work Systems）的研究论文，并不是一项测试特定机器人的实验室实验。相反，作者 Wondwesen Shume Bekele 扮演了一名侦探的角色，通过检查世界各大卫生权威机构（如世界卫生组织和各国卫生服务部门）编写的“规则手册”和“说明书”来进行研究。作者查阅了 10 份发布于 2024 年至 2026 年间的文档，以了解这些组织认为人工智能在现实生活中究竟应该如何运作。

论文指出，我们对医院中人工智能的思考方式需要一次重大升级。它认为，我们不能仅仅购买一个高级的 AI 工具，然后期望它能神奇地解决我们的工作量问题。相反，论文提出了一个名为**“受控增强”（Governed Augmentation）**的概念。让我们用几个生动的类比来拆解一下作者的发现。

1. “有条件的升级”（而非魔法棒）

想象你买了一辆高性能赛车。你可能会想：“太棒了，我会变得更快！”但如果你试图在泥泞的土路上驾驶这辆车，或者你没有驾照，或者路面上到处是坑洼，这辆车并不会帮到你，甚至可能让你陷入困境。

论文发现，AI 的益处是有条件的。所审查的文档表明，只有当 AI 与特定的工作、特定的患者以及特定的医生完美契合时，它才会产生帮助。它不是一根能自动让工作消失的魔法棒。价值在于 AI 如何被“配置”（设置）以适应当地的具体情况。如果一名医生使用一个专为繁忙急诊室设计的 AI 工具来撰写平静、长期的心理咨询记录，情况可能会变得更糟。论文指出，“益处”不在于 AI 本身，而在于整个系统的精心设置。

2. “验证工作悖论”（编辑陷阱）

这里变得棘手了。想象一个学生请一位超级聪明的同学帮他写论文。那位同学交出了一份看起来完美的草稿。但学生仍然必须阅读每一个字，以确保那位同学没有不小心编造了一个事实或弄错了日期。

论文识别出了一个悖论：AI 本应通过撰写笔记来节省时间，但医生仍需花费时间去核查这些笔记，以确保其安全性。如果 AI 写了一份看起来 95% 完美的笔记，医生可能仍要花 10 分钟去修正那 5% 的错误。但如果医生很疲劳或很匆忙，他们可能会错过那个微小的错误。论文指出，“工作”并没有消失，只是改变了形态。医生不再是从零开始打字，而是转而进行“验证工作”——检查、纠正并解释 AI 的输出内容。如果系统设计得不能支持这种检查过程，AI 实际上可能会创造出更多的压力，而非减轻压力。

3. “问责挤压”（谁来承担责任？）

想象一台复杂的机器，比如一个由工厂制造、由运输公司运送、最后由房主插上电源的巨型烤面包机。如果烤面包机着火了，谁该负责？工厂？卡车司机？还是插上电源的房主？

论文发现了一个被称为**“问责压缩”（accountability compression）*的问题。在医疗领域，AI 由科技公司构建，由医院购买，并由医生使用。科技公司控制着 AI 的“大脑”，医院控制着规则。但当 AI 在患者记录中出错时，指南通常规定医生*才是最终记录的责任人。论文指出这是一种错位。医生被“挤压”到了承担责任的一方，去为那些他们由于无法控制 AI 代码或数据而无法察觉或修复的错误负责。论文认为，为了公平起见，控制 AI 的人（公司和医院）需要承担更多责任，而不应仅仅是使用者。

4. “生命周期”（这是一场马拉松，而非冲刺）

许多人认为购买 AI 就像买一个烤面包机：你把它插上电，它就能永远工作。论文则认为，AI 更像是一个活生生的花园。你必须种植、浇水、除草，并观察它的生长。

所审查的文档表明，负责任的采用需要**“组织生命周期能力”**。这意味着医院不能仅仅购买工具后就撒手不管。他们需要一个团队来持续监控 AI，检查它是否仍在正常运行，培训员工，并在 AI 表现异常时知道如何将其关闭。论文指出，安全性不是一种你可以“一次性购买”的东西，而是你必须每天持续构建和维护的东西。

5. 患者的选择权（“退出”按钮）

最后，论文强调患者并非只是被动的观察者。想象你去一家餐厅，厨师使用机器人来烹饪你的食物。你应该有权知道这一点，并且你应该有权说：“谢谢，我想请人类来为我做饭。”

论文发现，“患者自主权”（患者的选择权）是一个实际的操作要求，而不仅仅是一个美好的愿景。指南建议，必须告知患者正在使用 AI，并且如果患者不想使用，必须为他们提供一个真实的、可行的替代方案。如果获得快速预约的唯一方式就是使用 AI，那么患者其实并没有真正的选择权。论文指出，为了实现公平，系统设计必须确保患者可以在不失去获得良好护理机会的前提下，说出“不”。

这对未来意味着什么

论文并未声称 AI 是灾难，也未将其视为奇迹。相反，它提出了一个中间路径：受控增强。这意味着利用 AI 来帮助医生和护士更好地完成工作，但前提是整个系统都已做好处理由此产生的新型工作的准备。

作者建议，如果我们希望 AI 真正发挥作用，我们需要停止将其视为一种我们购买的“产品”，而应将其视为一种我们管理的“服务”。我们需要确保医生有时间和工具去核查 AI 的工作，确保公司对自己的错误负责，并确保患者在记录其护理情况时拥有真正的发言权。

简而言之，论文的结论是：AI 可以成为一个伟大的助手，但前提是我们必须先围绕它建立起规则、培训和安全网。否则，AI 的“魔力”很可能只会变成所有相关人员的新型头痛来源。