技术摘要：RealICU——超越行为模仿的 ICU 决策支持大语言模型智能体基准

1. 问题陈述

重症监护室（ICU）产生密集且不断演变的临床数据流，要求医生在巨大的时间压力下重新评估患者状态。尽管大语言模型（LLM）和智能体系统已取得进展，但现有的临床基准测试未能充分评估它们在这一特定领域的能力。

当前基准测试的主要局限性有两点：

1. 静态与序列性：大多数基准测试将临床推理简化为静态问答、诊断或单终点预测（例如死亡率），未能评估在变化的患者轨迹上的推理能力。
2. 行为模仿与临床正确性：现有使用电子健康记录（EHR）数据库（如 MIMIC-IV）的基准测试通常将记录的临床医生行为视为真实标签。然而，这些行为是在信息不完整和时间上下文有限的情况下做出的。因此，它们可能并非最优。根据这些标签评估人工智能，奖励的是对可能存在缺陷的人类行为的模仿，而非真正的临床正确性。

迫切需要一种基准测试，利用事后判断来评估人工智能系统的临床正确性，其中“最优”行动是在审查完整患者轨迹后确定的，而不是依赖床旁记录的内容。

2. 方法论

2.1 RealICU 基准测试

作者引入了RealICU，这是一个经过事后标注的基准测试，旨在评估 ICU 中基于 LLM 的临床决策支持。该基准测试基于 MIMIC-IV 数据集构建，专注于四个由医生驱动的任务，这些任务构成了 ICU“副驾驶”的核心能力：

1. 患者状态：分类患者是好转、稳定还是恶化。
2. 急性问题：识别需要积极管理的急性问题或新兴风险的自由文本集合。
3. 推荐行动：提出在未来一小时内可能使患者受益的自由文本行动集合。
4. 红旗行动：识别应避免的高风险行动，以防止不安全后果。

数据构建：

• 窗口化：ICU 轨迹被划分为 30 分钟的窗口，步长为 2 小时。
• 部分观察与事后标注：在推理时，模型仅观察时间 $t$ 之前可用的数据。然而，真实标签是由资深医生（或经过验证的 LLM）审查整个直至出院的患者轨迹后生成的。这种不对称性反映了实时决策与回顾性审查之间的差距。
• 数据集：
  • RealICU-Gold：包含来自 94 个不同 ICU 住院病例的 930 个窗口，由五位资深 ICU 医生达成共识进行标注。评分者间信度（IRR）范围为 0.826 至 0.985。
  • RealICU-Scale：将评估扩展到 11,862 个窗口，使用Oracle（一个基于 LLM 的事后评估器，经 RealICU-Gold 验证，在所有任务中 F1 分数 >0.895）。

2.2 评估框架

根据部分观察评估模型预测四项任务的能力。

• 指标：患者状态的准确率和宏观 F1 值；急性问题和推荐行动的 Hit@k 和 Recall@k（k=5，使用 PubMedBERT 进行语义匹配）；以及红旗行动的有害推荐率（HRR），该指标衡量被标记为不安全的推荐行动所占的比例。
• 基线：研究比较了各种 LLM 骨干网络（Gemini-3.1-pro, GPT-5.4, Qwen3-235B）在不同上下文配置下的表现：全上下文、局部窗口、检索增强生成（RAG）和结构化记忆智能体。

2.3 ICU-Evo：结构化记忆智能体

为了解决长程推理的挑战，作者提出了ICU-Evo，一个增强记忆的智能体框架。与将所有上下文同等对待的标准智能体不同，ICU-Evo 维护一个结构化的记忆状态 $M_t$，分解为五个组件：

1. 工作记忆（$M^{work}$）：高分辨率的近期原始观察数据。
2. 趋势记忆（$M^{trend}$）：生命体征和实验室值的信号趋势。
3. 关键事件记忆（$M^{event}$）：仅追加记录临床关键事件（如干预措施、转折点）的日志。
4. 轨迹记忆（$M^{traj}$）：在周期性间隔内压缩的住院叙述摘要。
5. 洞察记忆（$M^{insight}$）：关于偏离群体水平预期的患者特定假设。

ICU-Evo 利用三个在时间尺度上运行的专用智能体（观察、评估、洞察）来更新这些记忆组件，旨在改善长程推理。

3. 关键结果

3.1 当前 LLM 在 RealICU 上表现挣扎

尽管使用了前沿 LLM，RealICU 上的表现仍然较低，表明该基准测试尚未解决。

• 性能差距：即使是表现最好的系统（使用 Gemini-3.1-pro 的 ICU-Evo），在患者状态上的准确率仅为 0.459，在行动推荐上的 Recall@5 仅为 0.534。
• Oracle 与智能体差距：Oracle（拥有完整事后视角）与智能体（实时）之间存在巨大的性能差距。对于患者状态，Oracle 的 F1 值为 0.987，而最佳智能体仅为 0.365。这表明瓶颈不在于医学知识，而在于在部分可观测性下随时间整合证据的能力。

3.2 结构化记忆改善推理

ICU-Evo 在所有四项任务中始终优于基线（全上下文、局部窗口、RAG）。

• 长程稳定性：即使在住院时间长达 1,800 小时的情况下，ICU-Evo 在急性问题上仍保持较高的 Hit@5 分数（接近 0.8），而无记忆基线则显著下降。
• Token 效率：虽然 ICU-Evo 每次预测消耗的 Token 比局部窗口基线多，但它为每个输入 Token 提供了显著更密集的纵向上下文，使其在时间感知推理方面更高效。

3.3 已识别的失败模式

研究确定了当前 LLM 智能体中的两种关键失败模式：

1. 召回 - 安全权衡：增加推荐行动召回率的智能体往往同时增加有害建议的比率。例如，与 RAG 相比，使用 GPT-5.4 的 ICU-Evo 将行动推荐的 Hit@5 提高了 20 多分，但有害推荐率（HRR）从 0.234 翻倍至 0.473。有害推荐通常涉及血流动力学管理、容量/利尿、抗凝和通气。
2. 锚定偏差：智能体倾向于过度坚持对患者早期的解释，即使后续证据与之矛盾，也无法更新这些假设。案例研究表明，智能体基于早期轨迹数据生成“洞察”，这些洞察持续存在并误导后续推荐，即使当前窗口数据表明状态不同（例如，尽管出现新的恶化信号，仍维持稳定状态的判断）。

3.4 消融研究

移除特定记忆组件揭示了它们的不同作用：

• 工作记忆：对局部推理至关重要；移除它会降低所有任务的表现。
• 轨迹记忆：对时间理解至关重要；移除它会损害急性问题和行动推荐的表现。
• 洞察记忆：移除洞察记忆有时会提高性能（例如降低 HRR 或提高行动推荐的 Hit@5），这表明当前的 LLM 尚无法可靠地识别个性化临床模式，且其生成的洞察可能会主动误导智能体。

4. 意义与主张

本文主张，RealICU提供了一个基于临床的测试平台，用于测量和改进高风险护理中的 AI 序列决策支持。其意义在于：

• 转变评估范式：从“行为模仿”（匹配记录的临床医生行为）转向“临床正确性”（匹配事后专家判断）。这揭示了当前模型在不确定性和部分可观测性下进行推理的局限性。
• 揭示安全差距：该基准测试强调，即使具有先进的记忆结构，当前的 LLM 智能体在动态环境中的安全性仍面临挑战。已识别的“召回 - 安全权衡”和“锚定偏差”表明，仅扩大上下文或增加记忆不足以实现可靠的 ICU 副驾驶。
• 方法论贡献：RealICU 提供了一个框架，用于评估高风险序列决策环境中的 AI，在这些环境中，记录的人类行为并不完美，且最优行动仅在事后可见。

作者得出结论，虽然结构化记忆（ICU-Evo）改善了长程推理，但并未完全消除安全失败。可靠的 ICU 副驾驶需要长上下文临床推理架构的进步，以及更好的安全机制，并采用事后评估来正确评估这些系统。