MedTrustGraph: Purpose-Aware Temporal Heterogeneous Graph Learning for Zero-Trust Authorization of Autonomous Clinical LLM Agents
MedTrustGraph 是一个具有目的感知能力的时序异构图学习框架，通过将患者与目的上下文与确定性的零信任策略引擎相结合，在检测自主临床大语言模型（LLM）智能体的未经授权行为方面显著优于静态和序列模型，并实现了极高的准确率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医院中，电子健康记录充当着患者护理的中枢神经系统，存储着从化验结果到药物清单的一切信息。几十年来，对这些记录的访问一直遵循一个简单的规则：如果你是持有正确证件的医生，你就可以查看分配给你的患者文件。这套系统对人类运作良好，因为人类通常理解工作的背景，并在完成任务后停止。然而，一种新型的员工正在进入医院：自主人工智能代理（AI agent）。这些是由大语言模型驱动的软件程序，它们可以像人类医生一样阅读记录、开具检查单并总结病史。但与人类不同，人工智能本质上并不知何时该停止。如果一名医生要求人工智能检查患者的肾功能，人工智能为了表现得“乐于助人”，可能会在无意中调取了另一名患者的病史，或者下载了数千份无关的文件。医疗保健未来的核心挑战不仅在于让这些代理投入工作，还在于确保它们采取的每一个动作都完全符合预期，且每时每刻皆是如此。
福特汉姆大学（Fordham University）和罗文大学（Rowan University）的研究人员开发了一种名为 MedTrustGraph 的新系统来解决这个问题。该系统不再将人工智能代理的会话视为登录后的一次性信任块，而是实时监控代理采取的每一个动作。研究人员构建了一个模拟医院电子健康记录系统的合成环境，创建了数千份虚假患者文件，并模拟了五千种不同的场景，其中人工智能代理试图执行其职责。在其中的一半场景中，代理被指示正确履行职责；在另外一半场景中，代理被编程为表现得像是被入侵或产生了混乱，试图访问错误的患者、查看错误的医疗数据类型，或试图窃取大量信息。目标是观察计算机是否能基于不仅是代理的身份，还包括它正在做什么、为什么要这么做以及在前一秒做了什么，从而学会实时发现这些错误。
该系统通过将医院环境映射为一个活生生的、不断变化的连接网络来运作。在这个网络中，医生、患者、医疗工具和特定的数据片段都相互关联。研究人员教导他们的系统去关注事物发生的顺序。他们发现，动作的序列至关重要。例如，如果一个代理读取了一份化验结果，然后立即撰写一份总结，这是一个正常的流程。但如果一个代理读取了一份化验结果，然后突然尝试下载一百份患者记录，系统就会识别出模式发生了偏移，即便该代理仍拥有有效的登录权限。通过将这种对时机的感知与代理被分配的具体任务以及它应当帮助的特定患者相结合，该系统可以为每一个动作计算出一个风险评分。
当研究人员将该系统与那些仅孤立观察动作或忽略事件时序的旧方法进行对比测试时，这种新方法证明了其显著的有效性。在模拟实验中，该系统的 AUC 达到了 0.89，相比于此前表现最好的方法（其数值在 0.80 左右）有了显著提升。更重要的是，系统学到了“背景即一切”的道理。当研究人员移除关于代理本应帮助哪位患者的信息时，系统的纠错能力大幅下降。同样，当他们移除关于代理本应执行的特定医疗任务的信息时，其性能也随之下降。这证实了了解“谁”和“为什么”与了解“做什么”同样关键。
研究人员还将该系统设计得倾向于谨慎而非纯粹自动化。该系统并非简单地对每个请求说“是”或“否”，而是采用三步决策过程：如果一个动作看起来安全，则允许立即执行；如果一个动作看起来可疑，系统会将其标记以供人工审核；如果一个动作明显危险，则会立即拦截。在测试中，这种方法确保了没有任何未经授权的尝试能在未受检查的情况下继续进行；相反，系统拦截了绝大多数此类尝试，并将剩余的可疑情况标记以供人工审核。它仅在约 2% 的情况下请求人工协助，从而在保持高水平安全性的同时，降低了医院工作人员的工作量。
需要注意的是，这些结果来自一个精心构建的模拟环境，而非真实的医院。用于训练和测试该系统的数据完全是合成的，由研究人员创建以模拟真实医疗记录，而不使用任何实际的患者信息。由于判定什么是“错误”的规则本身就内置在模拟器中，因此系统在某些领域的完美得分反映的是它遵循这些特定规则的能力，而非它在处理现实世界医院那种混乱不可预测性时的表现。研究人员明确表示，这是一个概念验证，旨在展示实现正确的监控是可能的。他们已向其他科学家开放了代码和数据，以便未来可以在真实世界的数据上对该方法进行测试。
这项研究表明，随着人工智能越来越多地融入医疗保健领域，安全性不能仅仅依赖于简单的登录。信任必须是持续的且具有上下文关联的。通过观察动作的流向并理解其背后的目的，我们完全有可能构建一个安全网，在错误演变成违规行为之前将其拦截。这种方法并非取代人工监督，而是提供了一种管理自主代理复杂性的方法，确保它们始终是得力的工具，而不是成为风险的来源。这项工作为未来人工智能代理能够以人类医疗专业人员所具备的安全性和问责水平运行奠定了基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。