🤖 AI

DoctorAgents: an agentic framework to iteratively refine AutoML pipeline for small clinical temporal data

DoctorAgents 是一个代理式人工智能框架，它利用专门的大型语言模型，通过基于推理的更新和自然语言反馈，迭代地优化临床机器学习流水线，在处理小型且异质的时间序列数据方面，其表现优于传统的 AutoML 系统。

原作者： Ruilin Wang, Bo-Hong Wang, Elizabeth Kourbatski, Jun Bai, Hegang Chen, Ziyang Song, Gilles Boire, Marie Hudson, Yue Li

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruilin Wang, Bo-Hong Wang, Elizabeth Kourbatski, Jun Bai, Hegang Chen, Ziyang Song, Gilles Boire, Marie Hudson, Yue Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一台计算机成为一名医生。你给它一叠患者记录，希望它能发现预测谁可能会生病或谁需要特定治疗的模式。这就是**临床机器学习（Clinical Machine Learning）**的世界。但问题在于：真实的患者记录是混乱的。它们不是那种每一行都是完美时间切片的整洁电子表格。相反，它们就像一本混乱的日记，患者可能一年看一次医生，然后一周看三次，接着又消失数月。有些记录缺失，有些描述模糊，而且测量的时间点往往与数值本身一样重要。

为了理清这种混乱，科学家通常会构建机器学习流水线（Machine Learning Pipelines）。把流水线想象成一个定制的工厂装配线。其中一部分负责清洗数据，另一部分负责将杂乱的笔记整理成计算机能理解的格式，最后一部分则负责构建预测模型。传统上，构建这些工厂是一项缓慢且手动的任务，需要一个专家团队：一位统计学家来检查数学逻辑，一位计算机科学家来编写代码，以及一位医生来确保逻辑符合医学常识。最近，**人工智能（AI）**试图实现自动化。一些被称为 AutoML 的系统，就像一个疯狂的厨师，尝试世界上所有的食谱，只为看看哪一个味道最好。它们向问题投掷成千上万种组合，寄希望于其中一个能奏效。但对于规模较小且杂乱的医疗数据集，这种“暴力破解”的方法往往会浪费时间，错过微妙的线索，并产生难以理解的结果。

于是，DoctorAgents 应运而生，这是由麦吉尔大学和魁北克人工智能研究所的研究人员提出的一种新方法。与其做一个疯狂尝试各种食材的厨师，研究人员提议建立一个由专门的 AI “医生”组成的团队，让他们像协作式的医疗专家组一样协同工作。这个名为 DoctorAgents 的系统不仅仅是在猜测；它在进行推理。它利用一组大语言模型（LLM）智能体——即专门的 AI 助手——来分析数据、构建流水线、测试它，并在做出微小的、有针对性的修正之前，先“思考”失败的原因。

其核心理念是迭代式智能体优化（Iterative Agentic Refinement）。想象一下你在解一个复杂的拼图。传统的计算机在拼图块无法契合时，可能会尝试更换整个拼图板。然而，DoctorAgents 表现得更像一名侦探。如果一块拼图不匹配，它会询问“为什么？”，然后轻轻地调整那一个部件或稍微改变拼图板的角度，而不是重新开始。它使用了一种名为**文本梯度下降（Textual Gradient Descent）**的技术，这就像是将医生的自然语言反馈（例如“这个特征噪声太大”）转化为精确的代码更新，而无需重写整个程序。

研究人员在四个不同的临床挑战任务中，利用真实的患者数据对该系统进行了测试。这些任务包括预测谁会在 ICU 内死亡、谁会在一周内再次入院、患者住院时间的长短，以及类风湿关节炎患者是否会对特定药物治疗产生反应。从宏观 AI 角度来看，这些数据属于“小规模”数据（通常仅有几百到几千名患者），并且具有“时间性”，这意味着每次测量的时机至关重要且是不规则的。

结果表明，DoctorAgents 是一个强有力的竞争者。在这些实验中，这组 AI 团队的表现始终优于其他自动化系统，包括目前的尖端“暴力破解”方法和其他 AI 智能体。例如，在预测 ICU 死亡率方面，DoctorAgents-DS（该系统的专门版本）达到了 0.520 的得分，击败了排名第二的方法（得分为 0.476）。在预测类风湿关节炎治疗反应方面，它达到了 0.577，超过了之前的最佳水平 0.564。

但论文指出，除了更高的分数之外，还有更重要的东西：可解释性（Interpretability）。因为 AI 智能体会通过其步骤进行推理，并保留一份关于哪些有效、哪些无效的“记忆日志”，所以它们创建的特征对人类来说是有意义的。对于类风湿关节炎的预测，系统构建的并非随机数字，而是人类医生能够识别出的有意义的特征，例如患者一年内疲劳程度的变化，或他们所服用的特定药物类型。该系统明确排除了“仅仅从头开始重新生成整个流水线是最佳路径”的观点；相反，它发现有针对性的、具备记忆能力的优化过程能带来更稳定、更可靠的结果。

作者谨慎地指出，虽然该系统具有鲁棒性和效率，但它并不是一根魔杖。在类风湿关节炎的任务中，所有方法的表现都比较平庸，这表明数据本身可能缺乏强有力的预测信号，这是 AI 也无法通过魔法克服的局限性。然而，这项研究有力地证明了，对于规模较小、杂乱且基于时间的医疗数据，一个能够从错误中学习的推理型 AI 团队，比一个只会不断尝试并寄希望于好运的系统要有效得多。它将构建医疗预测模型的过程，从一场概率游戏转变为一场机器与它试图理解的数据之间的深思熟虑、循环往复的对话。

技术摘要：DoctorAgents

问题陈述

临床机器学习（ML）在应用于小型、异质性强且具有时间复杂性的数据集（如罕见病登记库或单中心研究中的数据）时，面临着显著的障碍。与标准的表格基准测试不同，临床记录通常是异步的、不完整的且采样不规则的，这既反映了潜在的疾病过程，也反映了临床观察过程。传统的自动化机器学习（AutoML）系统依赖于对预定义空间进行暴力搜索（例如，贝叶斯优化、进化策略），在这一领域难以奏效。它们往往需要大量的计算资源，缺乏对数据属性（如泄漏风险或时间有效性）的显式推理能力，并且无法提供可解释的、针对特定任务的患者表征。此外，现有的基于大语言模型（LLM）的 AutoML 智能体通常在缺乏持久记忆的试错机制下运行，导致在为小型临床数据集优化流水线时出现不稳定优化、重复错误以及计算效率低下的问题。

方法论：DoctorAgents

作者提出了 DoctorAgents，这是一个代理式 AI 框架，它将针对小型临床时间数据的 AutoML 从穷举搜索重新定义为由推理驱动的精炼（reasoning-driven refinement）。该系统采用多智能体架构，通过专门的 LLM 智能体协作来构建、验证并迭代优化端到端的机器学习流水线。

核心智能体架构

该框架利用了一个由具有不同角色的专业化智能体组成的团队：

顾问 ( $A_c$ )： 充当高级分析专家，将原始数据集元数据和用户输入转化为结构化的任务规范，并结合领域知识来指导下游合成。
生成器 ( $A_g$ )： 将任务规范转化为初始的可执行机器学习流水线代码，涵盖数据加载、预处理、模型选择、训练和评估。
修复者 ( $A_r$ )： 处理执行失败的情况，通过对代码进行最小化修改来恢复可执行性，而不改变原始的算法意图。
日志记录器 ( $A_l$ )： 维护一个关于迭代间变化、性能结果以及流水线版本间有意义差异的结构化长期记忆日志。它采用一种总结策略（SUMMA）来管理上下文长度并防止“注释爆炸”。
评估器 ( $A_e$ )： 根据性能指标和历史日志，使用自然语言反馈来评估流水线的质量、正确性和潜在缺陷（例如，过拟合、泄漏）。
优化器 ( $A_o$ )： 利用文本梯度下降（Textual Gradient Descent, TGD），将评估器的自然语言反馈转化为具体的代码修改。这使得能够对流水线进行针对性的、局部化的更新，而无需重新生成整个代码库。

工作流

系统在一个闭环迭代过程中运行：

初始化： 顾问分析元数据以定义任务，生成器合成初始流水线。
执行与验证： 执行流水线。如果失败，修复者负责修复。
记忆组合： 日志记录器记录变化和结果，并在检查点处对历史进行总结，以维持上下文效率。
精炼： 评估器对流水线进行批判，优化器根据此反馈应用 TGD 来更新代码。
迭代： 该循环重复进行，直到满足停止标准。

领域特定专业化 (DoctorAgents-DS)

为了应对不规则临床时间数据的独特挑战，作者引入了一个专门的变体 DoctorAgents-DS。该变体通过专门的智能体将优化分解为两个专门的子任务：

数据预处理 (DP) 智能体： 专注于特征工程、时间聚合以及处理不规则时间序列中的缺失值问题。
模型开发 (MD) 智能体： 专注于模型选择、超参数调优和训练策略。
这种分离允许在保留显式、可编辑代码的同时，对特定任务的时间表征进行更深入的探索。

核心贡献

本文声称了以下贡献：

推理驱动的代理式 AutoML： 一个专门为小型临床时间数据集设计的框架，结合了数据集推理、执行验证、持久记忆和迭代精炼。
具备记忆感知能力的优化： 一种使跨迭代实现长期学习的机制，以防止重复失败并确保稳定的精炼过程。
领域专业化设计： 一种针对不规则观测的时间临床数据量身定制的分解策略（DP 和 MD 智能体），从而实现更丰富、更具任务特性的患者表征。
自动临床特征组合： 能够从原始时间数据中自动组合出具有临床意义的变量，超越了固定的预处理模板。
实证验证： 通过广泛的实验证明了其在鲁棒性、效率和可解释性方面优于现有方法。

实验结果

作者在四个时间性临床预测任务上评估了 DoctorAgents：

数据集： 来自公共 MIMIC-IV 数据库的三个任务（ICU 死亡率、ICU 再入院和 ICU 住院时长预测）以及一个来自内部 早期未分化类风湿关节炎 (EUPA） 队列的任务（预测抗 TNF 治疗反应）。
基准模型： 对比对象包括传统机器学习 (TabPFN)、通用型 LLM (GPT-5, GPT-oss, Llama-8B) 以及现有的代理式 AutoML 系统 (AutoML-Agent, ERA)。
性能表现：
- DoctorAgents-DS 在所有基准测试中均取得了最强的平均性能，在 AUROC 和 AUPRC 方面均优于所有基准模型。
- 标准的 DoctorAgents 框架也一致优于已建立的 AutoML 和代理式基准模型。
- 消融实验证实，顾问（改进初始化）和记忆（稳定精炼）模块对于性能至关重要，完整系统实现的验证得分显著高于缺乏这些组件的变体。
可解释性：
- 与基准模型相比，系统生成的特征在技术上更有效，且在语义上更符合临床语境。
- 使用 GPT-5.4 作为评判者的独立评估显示，DoctorAgents-DS 产生的“理由充分”和“临床合理”特征的比例显著更高（较基准模型平均提升约 7-8%）。
- 生成的特征符合临床直觉（例如，捕捉生理稳定性、监测强度和治疗轨迹），而非仅仅依赖通用的聚合方式。

意义与主张

论文指出，DoctorAgents 代表了临床机器学习自动化的范式转变。通过将暴力搜索替换为状态化、推理驱动的过程，该框架解决了小型、不规则临床数据集的特定约束。作者声称，该系统不仅提高了预测性能，还产生了可解释的、针对特定任务的表征，这些表征植根于特征语义和临床严谨性。

其意义在于，该框架能够自主处理临床时间数据的复杂性——例如异步观测、缺失模式以及生理变化与监测伪影之间的区别——而无需人工构建领域专家级的流水线。结果表明，当配备了持久记忆和领域专业化推理能力的代理式 AI 时，它可以作为开发可靠临床预测模型的强大工具，在提高所得模型质量和可解释性的同时，减轻数据科学家和临床医生的负担。