AgentCare-Guard: A Capability-Constrained Reference Monitor for Agentic FHIR Transactions
AgentCare-Guard 是一个受能力约束的参考监视器，通过验证工作负载身份、将审批与特定有效载荷及上下文进行绑定，并确保原子化执行，从而保障智能体 FHIR 事务的安全，并在现有模型失败的合成评估中实现了对授权边界攻击的 100% 防御。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医院中，一个庞大的数字神经系统连接着医生、护士和机器。这个系统依赖于一种被称为 FHIR 的通用语言，它允许不同的软件程序就患者记录进行交流。多年来，人类医生一直使用这种语言来查询信息或更新病历。现在，一种新型软件正在兴起：人工智能智能体（AI agents）。它们不仅仅是总结文本的工具，更是能够规划复杂任务、检索医学证据，甚至直接在患者记录中写入新医嘱的自主程序。虽然这有望加速医疗护理，但也引入了深刻的风险。如果一个计算机程序决定更改药物医嘱或更新诊断，我们如何知道它是在针对正确的患者、拥有正确的权限、并在正确的时刻采取行动？现有的安全系统是为持有数字密钥的人类用户设计的，而不是为那些可能被混乱的提示词所误导，或被劫持以重复执行某项操作数千次的自主智能体设计的。
研究员阿迪拉克希·卡塔鲁（Adilakshmi Kataru）针对这一特定问题提出了一个解决方案，称之为 AgentCare-Guard。想象一下，有一名保安站在医院病房门口，但他检查的不是访客的身份证件，而是检查每一个计算机程序试图采取行动时的意图和上下文。研究员构建了这个保安的数字原型，以测试它是否能在让计算机完成工作的同时，阻止其犯下危险错误。该系统的工作原理是将来自 AI 的每一个请求都视为一个待验证的可疑提议，直到其得到核实。在 AI 被允许写入新医嘱之前，这个“保安”会检查一系列条件：该程序是否有权接触这位特定的患者？请求是否要求获取正确类型的医疗数据？请求自最初获批以来是否被篡改过？患者的记录是否与请求发起时的状态一致？以及至关重要的一点：该请求是否已经执行过，以防止计算机意外地重复执行同一动作？
为了测试这个想法，研究员创建了一个涉及 150 名合成患者和超过 2,500 个不同场景的模拟实验。这些场景既包括合法任务（如医生要求系统读取患者病史），也包括 1,500 种旨在欺骗系统的攻击类型。有些攻击试图让 AI 访问错误的患者记录，而另一些则试图在请求获得批准后更改其细节，或者强迫系统反复执行某项操作。结果非常悬殊。当研究人员使用仅依赖用户角色或基本权限的标准安全方法时，系统无法阻止绝大多数攻击，允许高达 100% 的恶意请求通过。然而，当 AgentCare-Guard 系统启动时，它拦截了所有 1,500 个边界攻击。它成功地区分了安全的、获得授权的行为与危险的行为，接受了所有合法的流程，同时拒绝了恶意的请求。
研究还揭示了安全系统能力的局限性。研究人员加入了一种特定的挑战，即要求 AI 执行一项在技术上符合规则但在临床上极其危险的操作，例如开具致命剂量的药物。安全“保安”正确地验证了 AI 拥有编写该医嘱的权限，但它无法阻止该医嘱的生成，因为该请求本身并未违反访问规则。这一发现是一个至关重要的区别：该系统旨在确保由正确的参与者对正确的数据执行正确的操作，但它无法判断该操作在医学上是否正确。这一责任仍然属于人类医生和临床决策工具。安全保安确保门锁好了且钥匙匹配，但它并不决定进入房间的人是医生还是小偷，也不检查他们手里拿的药是否安全。
研究还测试了当大量请求在同一时间到达时，系统的表现如何——这种情况经常导致计算机系统出现故障并重复执行动作。在一个有 20 个工作线程尝试同时执行同一请求的测试中，新系统允许该操作仅发生一次。相比之下，没有这些特定保护的标准系统在 73% 的案例中允许了动作重复，这可能导致患者重复服用药物。研究证实，对于自主 AI 在医疗领域的安全运行，它需要的不仅仅是一个密码；它需要一种将动作与特定时刻、特定版本的患者记录以及单次使用权限绑定在一起的事务性检查。虽然这项工作是一个模拟实验而非最终的医院产品，但它提供了一个清晰的蓝图，展示了如何构建一层安全防护层，使强大的新型人工智能工具在试图提供帮助的同时，不会造成伤害。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。