🤖 machine learning

Automatic Construction of Clinical Scoring Systems with LLM Agents

本文介绍了 AgentScore，这是一个大型语言模型智能体框架，它通过结合语义规则生成与数据驱动的验证，自动构建可部署的、具有单位权重的临床评分系统，在达到与灵活模型相当的性能的同时，严格遵守常规临床使用所需的严格可解释性和工作流约束。

原作者： Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名医生，正匆忙穿过繁忙的急诊室。你需要快速评估患者的风险等级，但没有时间掏出计算器、打开复杂的应用程序，或记住一个包含五个不同数字并乘以不同权重的公式。你需要一份简单的检查清单：“如果患者有症状 A，加一分；如果有症状 B，加一分；如果总分达到 3 分或以上，立即呼叫援助。”

这就是临床评分系统：医生在床旁使用的简单、易记的检查清单。

然而，现代人工智能（AI）擅长预测风险，但它通常像一个“黑箱”，依赖复杂的数学运算，无法在脑海中完成。本文作者 Silas Ruhrberg Estévez 及其同事发现了一个缺口：我们拥有强大的 AI，却难以将其转化为医生实际使用的简单清单。

他们通过一种名为AgentScore的创新方法解决了这一问题。

问题所在：“厨师”与“品尝者”的矛盾

通常，当科学家试图构建这些清单时，他们要么：

请专家手动制定规则（速度慢且难以更新）；
利用 AI寻找模式，但 AI 提出的往往是复杂的数学公式（例如“年龄 × 0.4 + 血压 × -0.2"），难以在真实医院环境中使用。

作者意识到，要构建一份优秀的清单，需要两方面的协同工作：

创造力：有人能构想出新颖、巧妙的症状组合（例如：“如果我们比较心率和血压会怎样？”）。
严格测试：有人能严格验证该想法是否基于真实数据有效，而非仅仅是运气。

解决方案：AgentScore（AI 团队）

本文介绍了AgentScore，它像一个由多个专用 AI 智能体组成的小团队，协同从零开始构建这些清单。

这就像一场烹饪比赛，目标是创造一份完美、简单、任何人都能遵循的食谱。

“厨师”智能体（LLM 提议者）：
这是一个大型语言模型（就像生成这段解释背后的 AI）。它的任务是发挥创造力。它查看患者数据后提出：“嘿，如果我们检查患者呼吸是否快于每分钟 30 次会怎样？”或者“如果我们检查肾功能是否下降了 20% 会怎样？”
- 关键规则：“厨师”不能查看患者的真实姓名或私人记录。它只能看到数据的摘要（例如“平均心率为 80"）。这确保了患者隐私安全。
- “厨师”会提出一份潜在的清单“规则”列表。
“品尝者”智能体（确定性验证器）：
这是一个严格的数学计算机程序。它接收“厨师”的想法，并用真实数据对其进行测试。
- 这条规则真的能预测谁会生病吗？（如果不能，则被剔除）。
- 这条规则是否只是另一条规则的复制？（如果是，则被剔除以保持列表简短）。
- 这条规则是否简单到可以写在一张纸上？（如果太复杂，则被剔除）。
“主厨”智能体（组装者）：
一旦“品尝者”筛选出一组经过验证的优质规则，该智能体就会挑选最佳组合。它构建最终的清单，确保项目数量有限（便于记忆），并且每个项目恰好计为一分。

为什么“一分”至关重要

本文强调，最佳的清单是单位加权的。这意味着列表中的每一项都恰好值1 分。

糟糕的清单：“年龄 > 65 岁得 3 分，但低血压得 -2 分。”（难以心算）。
AgentScore 清单：“年龄 > 65 岁？+1 分。低血压？+1 分。总分 > 2？呼叫援助。”（易于心算）。

作者发现，这些简单的"1 分”列表具有惊人的效力。它们在预测结果方面几乎与复杂、数学密集的 AI 模型一样准确，但真正可供人类使用。

结果：超越专家

团队使用真实的医院数据，在八项不同的医疗任务（如预测心力衰竭、肾衰竭或 ICU 死亡）上测试了 AgentScore。

优于旧方法：AgentScore 创建的清单比以往试图将复杂 AI 强行转化为简单清单的方法更准确。
优于标准指南：在两项具体测试中，AgentScore 构建的清单在识别高危患者方面，实际上优于医院目前使用的官方长期医疗指南。
医生认可：当将结果展示给 18 位真实医生时，医生们 overwhelmingly 更倾向于 AgentScore 清单。他们表示，AI 生成的列表感觉更自然，更便于在床旁使用，并且更符合医生的实际思维方式。

核心结论

本文指出，我们并不总是需要更大、更复杂的 AI 来挽救生命。有时，最好的 AI 是能够将复杂知识转化为简单、纸笔清单的 AI，让疲惫的医生能在瞬间使用。

AgentScore 证明，通过利用 AI提出想法并用严格数学验证它们，我们可以自动构建这些简单、救命的工具，而无需人类专家手动编写每一条规则。

重要提示：作者非常明确，这些是研究工具。它们尚未获准在真实医院中用于患者治疗。它们是一个概念验证，展示了一种构建既智能又简单的医疗工具的新途径。

技术摘要：基于 LLM 智能体自动构建临床评分系统

问题陈述

现代临床实践依赖于紧凑的、基于证据的评分系统（例如 CURB-65、SOFA），这些系统由少量可解释的决策规则组成。这些系统旨在便于床边执行，要求具备可记忆性、可审计性，且无需计算辅助即可操作。然而，许多高性能机器学习（ML）模型未能转化为常规临床用途，因为它们与这些工作流约束不一致。它们通常依赖获取不一致的输入，需要复杂的预处理，或者产生难以手动执行的连续权重计算。

现有的临床评分自动学习方法通常面临“生成 - 选择差距”。诸如 RiskSLIM 或 Optimal Checklists 之类的方法是在固定的、预先构建的特征矩阵上进行优化的。它们无法从原始变量中自动发现具有临床意义的派生规则（例如生理比率、时间趋势或浅层逻辑组合）。因此，构建假设空间的负担落在了手动特征工程上，限制了临床指南常规考虑的组合规则空间的覆盖范围。

核心挑战在于，在受限的模型类别（单位权重、无序清单）内，同时优化规则构建和清单兼容性，同时应对指数级巨大的离散搜索空间，该空间对于穷举枚举或标准基于梯度的优化而言是不可处理的。

方法论：AgentScore

作者提出了AgentScore，这是一个将大型语言模型（LLM）与离散优化相结合以自动构建可部署临床评分系统的框架。该系统不将 LLM 视为自主决策者，而是将其作为嵌入在确定性、数据 grounded 验证循环中的结构化语义提议机制。

1. 规则语言与约束

AgentScore 在一个受限的、具有临床动机的规则语言 $\mathcal{R}$ 中运行，该语言支持：

数值阈值和范围： 标准截断点（例如 $HR > 100$）。
分类和二元存在规则： 诊断或合并症。
生理比率和对比： 派生指数（例如 $HR/BP$）。
基于计数的规则： M-of-N 标准（例如 SIRS 标准）。
浅层逻辑组合： 有限的深度 AND/OR 操作，以保持可记忆性。
时间和分布规则： 从纵向数据中得出的趋势、差值和基于分位数的阈值。

目标模型是一个单位权重的 N-of-M 清单：一组稀疏的二元规则 $S$ ，其中得分为满足规则的数量（ $S(\tilde{x}) = \sum r_j(\tilde{x})$ ），如果得分超过阈值 $\tau$ 则做出决策。

2. AgentScore 流程

学习过程将问题分解为三个阶段（图 2）：

规则提议（LLM 智能体）： LLM 基于通过工具接口提供的数据集描述和汇总统计信息提出候选规则。关键在于，LLM 从不观察原始患者级记录，从而降低了隐私风险和幻觉。它生成符合语法的结构化 JSON 规则。
确定性验证与过滤：
- 统计筛选： 在保留数据上评估提议的规则。只有当规则满足最低判别阈值（例如 AUROC $\ge 0.60$ ）并通过与当前池的冗余检查（阳性类别覆盖率的 Jaccard 相似度）时，该规则才会被保留。
- 临床合理性检查： 第二个 LLM 智能体充当“自检”，拒绝那些统计上有效但在临床上不合理或语义上不连贯的规则。
评分组装（LLM 智能体）： 第三个智能体从保留的池中选择一组紧凑的规则以形成最终清单。该智能体被引导提出语义多样化的组合（例如，涵盖呼吸、心血管和肾脏领域），而不仅仅是统计上相似的代理。
迭代优化： 组装智能体可以迭代地优化清单，接收关于判别力和覆盖率指标的反馈，直到满足停止标准。最终决策阈值 $\tau$ 会自动优化（例如，最大化 Youden's J 统计量）。

3. 优化目标

该系统旨在最大化经验临床效用（例如 AUROC、净收益），同时受硬约束限制：
$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Depth}(r) \le d$
这是一个 NP 难、不可微的组合优化问题。AgentScore 通过使用 LLM 导航规则空间的语义结构来解决这一问题，缓解了在稀疏景观中寻找高效用规则的“冷启动”问题，同时确定性工具确保了统计有效性和可部署性。

主要贡献

概念性： 本文将可部署的临床清单学习形式化为规则构建和子集选择的联合组合优化问题，而不仅仅是在固定特征上的选择。它明确地将床边认知和操作约束（可记忆性、可审计性、无算术使用）编码到假设类中。
算法性： AgentScore 引入了一个框架，其中 LLM 在受限语法内提出语义结构化的候选项，而确定性工具则强制执行语法有效性、统计筛选和冗余控制。这种分离确保了最终评分既具有可解释性，又有经验支持。
实证性： 该方法在八个临床预测任务（MIMIC-IV、eICU）和两个外部验证任务中进行了评估。

实验结果

预测性能： 在八个任务中，AgentScore 显著优于现有的评分生成基线（RiskSLIM、FasterRisk、Optimal Checklists、AutoScore），并且在更严格的结构约束（单位权重、少量规则）下，其表现匹配或超过了灵活的 interpretable 模型（逻辑回归、决策树）。
指南竞争力： 在外部验证设置中（PhysioNet 2012 ICU 死亡率和英国/加拿大囊性纤维化队列），AgentScore 在保持适合手动执行的同时，实现了比既定临床指南（SOFA、SAPS-I、CF 移植指南）更高的判别力（AUROC）。
可部署性： 18 名执业临床医生的结构化审查显示，与整数权重基线（FasterRisk）相比，临床医生显著更偏好 AgentScore 生成的清单，特别是在与指南式推理的一致性（85%）、床边应用的便捷性（71%）和部署偏好（81%）方面。
消融研究： 移除受限的提议 - 验证循环（将其替换为无约束的 LLM 生成）导致性能显著下降（Cohen's $d \approx 2.8$ ），证实了确定性验证循环的必要性。

意义与主张

本文认为，ML 性能与临床采用之间的差距并非由于预测能力不足，而是由于优化了与指南部署不兼容的模型类别。AgentScore 表明，受限语义优化——即将假设类设计、可部署性和验证视为首要建模问题——可以产生既高度准确又可直接在床边执行的模型。

作者强调，他们的方法并不取代临床指南，而是提供了一条自动构建候选评分系统的途径，这些系统符合指南式的使用方式，并适合前瞻性验证。该框架解决了临床 ML 采用的关键障碍，包括数据治理（通过将 LLM 与原始数据访问解耦）以及规则发现中的“生成 - 选择”差距。

局限性： 作者指出，AgentScore 的可表达性不如灵活的黑盒模型，并且可能会错过 LLM 语义上无法访问的预测关系。它优先考虑可部署性而非形式化优化保证，并且不固有地强制执行公平性约束，需要外部审计。评分系统是用于验证的研究产物，而非立即用于临床部署。