💻 computer science

Agentic AI Governance and Lifecycle Management in Healthcare

本文提出了一种统一代理生命周期管理（UALM）框架，该框架具备五层控制平面架构和成熟度模型，旨在通过实现可审计的监督和代理人工智能工作流的安全扩展，解决医疗领域中代理泛滥与问责制方面的挑战。

原作者： Chandra Prakash, Mary Lind, Avneesh Sisodia

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Chandra Prakash, Mary Lind, Avneesh Sisodia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一家医院就像一间繁忙且高风险的厨房。过去，厨师（医生和护士）负责所有烹饪工作。最近，他们开始雇佣机器人协助。起初，这些机器人只是简单的工具，比如只能烤面包的烤面包机。但现在，医院正在采购“代理式人工智能”（Agentic AI）——能够自主思考、规划和行动的智能机器人。它们可以检查保险、监测患者生命体征，甚至无需每次被要求就能建议调整药物。

问题在于？医院购买了如此多的智能机器人，导致局面失控。这被称为“代理泛滥”（Agent Sprawl）。

这就好比厨房里突然有 50 个不同的机器人四处乱跑，但存在以下情况：

没人知道哪个机器人归谁所有。
两个机器人可能试图同时做同一项工作，导致混乱。
即使厨师已经解雇了某个机器人，它可能仍在继续工作。
机器人可能会意外将冰箱打开给错误的顾客（导致患者隐私数据泄露）。

这篇论文的作者是钱德拉·普拉卡什（Chandra Prakash）、玛丽·林德（Mary Lind）和阿夫尼什·西索迪亚（Avneesh Sisodia），他们担心如果没有严格的规则手册，这些智能机器人将引发混乱、安全风险和隐私泄露。他们提出了一种名为“统一代理生命周期管理”（UALM）的新系统来解决这一问题。

解决方案：五层“机器人控制塔”

作者构建了一个五层框架来管理这些机器人，类似于空中交通管制员管理飞机。以下是每一层的功能，使用简单的类比说明：

身份徽章层（身份与注册）：
- 问题： 机器人四处游荡，没有名称或所有者。
- 解决： 每个机器人都获得一个数字身份徽章。系统确切知道谁制造了它、谁对它负责以及它被允许做什么。如果机器人没有徽章，它就不能进入厨房。
裁判层（编排与调解）：
- 问题： 两个机器人争论谁应该执行任务，或者机器人试图覆盖安全规则。
- 解决： 一个“裁判”机器人站在它们中间。如果“计费机器人”和“药物机器人”意见不合，裁判将根据规则做出决定：患者安全始终高于计费。
记忆保险库层（上下文与记忆）：
- 问题： 机器人读取患者的完整医疗记录，而它只需要知道血型。
- 解决： 机器人的记忆被锁定。它只能看到执行当前任务所需的特定信息片段（就像厨师只能看到正在烹饪的菜肴的食谱，而不是整个餐厅的秘密）。
安保层（护栏与合规）：
- 问题： 机器人被黑客欺骗或试图做危险的事情。
- 解决： 一名安保人员实时监控每一个动作。如果机器人试图做不该做的事（例如在未经人工检查的情况下更改药物剂量），安保人员会按下“紧急停止开关”并立即将其停止。
退役层（生命周期与停用）：
- 问题： 过时或损坏的机器人因无人关闭而继续运行。
- 解决： 每个机器人都有有效期。当它的工作完成或变旧时，系统会自动将其关闭，收回其身份徽章，并删除其访问密钥，以防其日后造成麻烦。

他们如何测试这一系统？

由于他们无法等待一家真实医院来尝试（且对真实患者进行测试可能风险过大），他们构建了一个计算机模拟。

设置： 他们创建了三家虚构的医院（一家小型、一家中型、一家大型），并填入了虚构的机器人。
测试： 他们对每家医院进行了四次模拟运行：
1. 无规则： 任由机器人随意运行。
2. 仅清单： 仅保留机器人身份的简单清单（但没有关于它们行为的规则）。
3. 通用规则： 使用非专门为机器人制定的标准 AI 安全检查表（如 NIST 框架）。
4. UALM 系统： 使用他们新的五层控制塔。

结果如何？

结果显而易见。UALM 系统是明确的赢家。

事故更少： 与无规则相比，UALM 系统将事故减少了约60%。
清理更高效： 当需要退役机器人时，UALM 系统在3 天内将其关闭，而其他方法则需要15 天或更长时间。
隐私保护： UALM 系统在确保机器人仅查看其绝对必需的私人患者数据方面表现更好。
“成熟度”评分： 他们为医院创建了一张“成长图表”。只有使用完整 UALM 系统的医院才能达到“受管理”的安全级别。其他医院则因缺少关键部分（如自动关闭或安保人员）而停留在底层。

潜在问题（“但是……"）

论文还指出了两个重要的警告：

不能“设置后不管”： 该系统只有在医院持续关注时才能发挥作用。如果医院开始时很积极，但随后停止关注（即“停滞”的采用），他们将失去约80% 的效益。这就像购买了一套高科技安全系统，却从不检查电池是否正常工作。
负担加重： 随着医院购买越来越多的机器人，“控制塔”会变得更加繁忙且难以管理。其难度并非线性增加，而是迅速急剧增加。如果一家医院拥有过多的机器人，他们可能需要将控制塔拆分为更小的团队。

核心结论

该论文认为，我们不能让这些智能、自主的机器人在医院里肆意妄为。我们需要一个特定的五层管理系统，以确保它们的安全、问责和隐私。

他们的模拟表明，如果医院使用这个UALM 框架，就可以在享受智能机器人带来的好处的同时避免混乱。然而，这需要医院领导层做出严肃且持续的承诺来维持系统运行。这不是一个魔法按钮，而是一种运营厨房的新方式。

技术摘要：医疗领域代理式人工智能治理与生命周期管理

问题陈述
医疗机构正从生成式人工智能试点转向自主的、目标导向的“代理式人工智能（Agentic AI）”系统，这些系统具备规划、工具使用和多步骤执行能力。虽然这些系统能够提供主动式护理和工作流自动化，但其无序的蔓延导致了“代理泛滥（agent sprawl）”。这种现象导致代理重复、责任不清、控制措施不一致，以及工具权限超出原始用例而持续存在。现有的治理框架，如 NIST 人工智能风险管理框架（RMF）和欧盟《人工智能法案》，强调生命周期风险管理，但缺乏针对代理群日常运营的具体操作指导。它们未能解决非人类身份的独特挑战、代理间冲突，以及在处理受保护健康信息（PHI）的环境中运行时策略执行的必要性。因此，医疗领导者面临着安全风险、合规缺口（特别是关于 HIPAA 访问和审计控制方面）以及效率低下，却缺乏一个标准化的控制平面来治理代理生命周期。

方法论
为了评估拟议治理架构的运营可行性，作者进行了蒙特卡洛模拟。该研究在为期六个月的试点阶段内，对三个合成医疗机构概况的代理群运营进行了建模：一家小型社区医院（150 张床位）、一个区域医疗系统（400 张床位）和一家学术医疗中心（800 张床位）。

模拟比较了四种不同的治理条件：

无治理：代理在没有集中监督的情况下运行的基线。
仅注册表：仅实施集中式代理清单（第 1 层）及身份管理的条件。
NIST RMF 简化版：应用通用人工智能风险管理原则，但缺乏针对代理的生命周期控制。
UALM（统一代理生命周期管理）：全面实施拟议的五层框架。

模拟每月注入七种随机事件类型（例如：代理漂移、孤儿事件、PHI 险些泄露事件、提示注入），其概率根据代理关键性和 PHI 暴露程度进行缩放。性能通过七个关键绩效指标（KPI）进行衡量，包括凭证撤销时间、工具调用日志记录率和事件发生率。统计分析采用曼 - 惠特尼 U 检验、科恩 d 效应量和 95% 置信区间，并对事件概率、增长率和治理采用曲线进行了敏感性分析。

主要贡献
本文提出了三项主要贡献：

统一代理生命周期管理（UALM）框架：一个旨在治理代理群的五层控制平面架构：
- 第 1 层（身份与角色注册表）：建立非人类身份（NHI）的单一记录系统，定义所有权、执业范围和法律责任。
- 第 2 层（编排与调解）：管理代理间通信，根据策略优先级（优先保障临床结果）解决冲突，并执行目标优先级排序。
- 第 3 层（上下文与记忆）：通过分段、向量存储访问控制和保留边界的纵向上下文，确保 PHI 合规性。
- 第 4 层（护栏与合规）：提供实时监控、“代码即治理”执行机制，以及针对未经授权行动的紧急停止协议。
- 第 5 层（生命周期与退役）：管理配置、变更控制和自动退役，包括撤销 NHI 令牌。
可衡量的成熟度模型：一个配套模型，定义了四个成熟度级别（临时、管理、集成、优化），并设有严格的、与 KPI 挂钩的阈值。晋升要求所有七个 KPI 同时达到目标，以确保客观评估。
基于模拟的评估：在透明、建模的假设下，通过实证比较展示了 UALM 与当前治理标准相比的量化影响。

结果
模拟结果表明，UALM 在所有组织规模和 KPI 方面始终优于其他治理条件：

事件减少：与“无治理”基线相比，UALM 将代理相关事件发生率降低了 56–63%。
与 NIST RMF 简化版的比较：与最相关的对比项相比，UALM 显示出巨大的效应量（科恩 d 范围从 0.99 到 6.06）。显著改进包括凭证撤销时间减少 80%（d = 6.06），工具调用日志记录增加 57%（d = 2.95），以及 PHI 最小化改善 77%（d = 2.83）。
成熟度达成：在模拟中，只有由 UALM 治理的组织达到了第 2 级（管理级）成熟度（占运行次数的 18–21%）。仅注册表或 NIST RMF 简化版条件均未达到第 2 级，因为它们在结构上未能满足特定 KPI，如凭证撤销速度和 PHI 最小化。
稳健性与敏感性：在最坏情况的参数变化下（例如高事件概率和快速增长），UALM 的优势依然保持稳健。然而，研究发现其效益高度依赖于持续的组织承诺；“停滞”的治理启动过程消除了约 80% 的潜在效益。
已识别的局限性：分析强调，集中化开销随群规模呈非线性增长（约 $O(n^{1.3})$ ），且控制平面的间歇性中断可能导致事件发生率增加约 2.8 倍。

意义与主张
本文主张，UALM 通过将高层风险原则转化为专门针对代理系统的可执行运行时控制平面，填补了现有 AI 治理的关键空白。作者断言，该框架提供了通用人工智能风险管理（如 NIST RMF）无法提供的代理特定治理优势，特别是在自动化生命周期管理、执行“代码即策略”以及保护 PHI 方面。

这项工作的意义在于为“具备审计准备的监督”提供了一种可实施的范式，在保留本地创新的同时实现更安全的大规模扩展。作者将代理泛滥的风险不仅仅定位为技术扩展问题，而是视为一种伦理治理挑战，其中不受管理的自主性威胁到安全、问责和信任。通过实施 UALM，医疗机构可以从碎片化的、特定领域的部署过渡到纪律严明、受管理的代理群。研究结论认为，虽然该框架引入了集中化开销，但这种权衡对于确保自主代理的采用在企业规模上保持可审计和安全是必要的。