Lessons Learned and Iterative Enhancements: A 2-Year Experience with an Established Responsible AI Framework
在两年的时间里，UNC Health 通过实施一个三级风险评估体系强化了其负责任的人工智能框架，该体系在保持严格监管的同时显著提高了评估效率并缩短了交付周期，最终成功审查了 64 项解决方案，并建立了稳健的部署后监测机制，且仅发生极少数不良事件。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，UNC Health 就像一家规模巨大、繁忙的医院系统，突然间收到了大量要求使用新型“智能”计算机程序（人工智能）来协助医生和工作人员的请求。两年前，他们建立了一个“守门员”系统，用于检查这些程序是否安全且公平。但随着请求量的激增，这些守门员快要被淹没了。
这篇论文讲述了他们如何升级其守门系统，以在不让危险工具溜进来的情况下应对这一热潮。以下是他们是如何做到的，用简单的方式解释如下：
1. “红绿灯”系统（风险等级）
以前，每一个请求，无论大小，都必须经过同样漫长且复杂的检查流程。这就像让买棒棒糖的人和进口核反应堆的人排在同一个安检队伍里一样。
解决方法： 他们创建了一个三级红绿灯系统：
- 绿灯（第 0 级）： 低风险工具。这些类似于数字计算器或不涉及患者隐私的工具。它们可以快速“通过”，几乎无需等待。
- 黄灯（第 1 级）： 中风险工具。这些工具可能会查看患者数据，但仅提供建议（如提议），且必须始终由人类进行复核。它们接受标准化的检查。
- 红灯（第 2 级）： 高风险工具。这些是重量级工具——可能会总结患者病历、做出诊断，或者在没有人类时刻监督的情况下运行。它们需要接受“全身扫描式”的检查，涉及众多专家和严格测试。
结果： 这个分类系统就像是在高速公路上增加了一条快速车道。审批低风险工具所需的时间从 20 周缩短到了 9 周。
2. “供应商成绩单”（调查问卷）
为了检查这些工具，医院会向制造 AI 的公司发送一份包含 25 个问题的调查问卷。你可以把它看作是一份成绩单，询问：“你们是否公平？是否透明？是否进行了妥善测试？”
问题所在： 这些公司（供应商）往往不擅长填写这份成绩单。
- “无风险”的谎言： 许多供应商只是简单地写下“无风险”或“我们有人在监督”，却不解释“如何”监督。这就像一名司机说：“我很安全，因为我系了安全带，”却拒绝向你展示这辆车是否有刹车。
- “复制粘贴”的问题： 一些答案看起来像是从营销手册中直接复制过来的，而不是由实际构建代码的工程师编写的。
- “黑盒”之谜： 许多工具是建立在庞大的、预制的 AI 大脑（称为大语言模型）之上的。供应商并没有构建这个大脑，只是给它套上了一个新包装。他们往往无法解释这个大脑是如何训练的，这使得检查其公平性变得困难。
结果： 医院对调查问卷的问题进行了三次更新，使其更加清晰。即便有了更好的问题，其“公平性”得分始终是最低的，这意味着供应商仍然难以证明其工具能平等对待每个人。
3. “安全网”（部署后监测）
即使在工具获得批准并投入使用后，医院也知道错误可能会发生。他们需要一种方法在工具进入实际应用后捕捉错误。
解决方法： 他们将 AI 工具连接到两个现有的安全网：
- “哎呀”按钮： 如果医生发现 AI 犯了奇怪的错误（例如写下了虚假的医疗记录），他们可以在安全报告系统中立即标记。
- “投诉”热线： 如果患者担心 AI 如何应用于其护理过程中，可以打电话或发送电子邮件。
结果： 在新系统运行的前六个月里，他们抓获了 13 起安全事件。有趣的是，几乎所有事件都是“幻觉”（即 AI 捏造事实）出现在医疗记录中。这些事件都没有造成严重伤害，且没有任何患者通过新的电话热线进行投诉。这表明安全网正在发挥作用，但也表明目前大多数 AI 错误属于轻微的小故障而非灾难。
4. “人类在环”的陷阱
一个重要的教训是，你不能仅仅说“我们引入了人类参与（human-in-the-loop），所以它是安全的”。
- 类比： 想象一辆自动驾驶汽车说：“别担心，驾驶员正在看着呢。”但如果驾驶员疲劳、分心或过度信任汽车，那么当汽车失灵时，他们可能无法及时踩下刹车。
- 现实情况： 医院发现，许多供应商将“人类在环”作为一个用来规避证明其 AI 确实安全的“神奇借口”。他们了解到，人类之所以无法发现 AI 的错误，往往是因为他们过度信任计算机（这被称为“自动化偏见”）。
5. 未来：“代理型”AI
论文最后展望了下一代 AI：代理型系统（Agentic Systems）。
- 类比： 当前的 AI 就像一个给你答案的计算器。而“代理型”AI 则像一个机器人管家，它不仅给出答案，还能根据目标“去执行任务”（例如预约挂号、订购物资或更改记录）。
- 风险： 如果计算器错了，你会得到一个错误的数字；如果机器人管家错了，它可能会引发一系列错误的决策链。医院承认，目前的规则还不足以应对这些“执行者”，未来需要不断进化。
核心结论
UNC Health 通过将工具按风险等级分类并加强问卷审查，成功加快了其 AI 审批流程。然而，最大的瓶颈仍然在于供应商本身。如果制造 AI 的公司不愿诚实面对风险，或不展示其工具的测试过程，那么医院最完善的规则也只能发挥有限的作用。其目标是建立一个让“正确”的行为（安全、公平的护理）成为每个人都能轻松实现的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。