CHARMS and PROBAST+AI: an updated template for Data Extraction and Risk of Bias Assessment in systematic reviews of prediction models
本文介绍了一个更新后的、开放获取的 Excel 模板，该模板将 CHARMS 清单与新的 PROBAST+AI 框架相结合，旨在为传统及 AI 驱动的临床预测模型的系统评价提供一个标准化的、自动化的数据提取与偏倚风险评估工具。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在现代医学领域，医生越来越依赖数学工具来预测患者未来的健康状况。这些被称为临床预测模型的工具，通过分析一个人的症状、测试结果和病史，来估算疾病发生的可能性或治疗成功的概率。多年来，研究人员一直使用标准的统计方法来构建这些模型，但该领域正在发生快速转变。如今，能够从海量数据中学习的强大计算机系统——通常被称为人工智能——正被用于创建更为复杂的预测。虽然这些新方法展现出巨大的潜力，但也引入了新的错误产生方式。一个模型可能在它所使用的训练数据上表现得完美无缺，但在应用于真实患者时却表现糟糕，这种问题通常是由计算机在“测试开始前就看到了答案”而导致的。为了确保这些工具的安全可靠，科学家必须严格检查其构建和测试的每一个步骤。这一过程被称为系统评价（systematic review），即专家收集关于某一主题的所有可用研究，并使用严格的清单来评估其质量。
对于这些评审人员来说，挑战在于旧有的统计模型检查规则并未充分考虑到现代人工智能的特性。来自格拉斯哥大学和阿拉伯美洲大学的研究团队通过开发一种全新的、更新的数字化工具来填补这一空白，旨在简化这项关键工作。他们采用了一个现有的电子表格模板（该模板此前已用于组织数据和检查偏差），并对其进行了彻底的改造，以匹配评估人工智能的最新指南。其成果是一个功能强大且用户友好的 Excel 文件，它允许研究人员将“模型构建过程的评估”与“模型测试过程的评估”区分开来。这种区分至关重要，因为一个模型可能在构建时使用了高质量的数据，但在测试阶段却采用了不当的方法，反之亦然。通过保持这两项评估的独立性，该工具能确保评审人员不会遗漏那些可能导致医疗预测工具变得危险或无效的细微缺陷。
这个新模板的核心创新在于，它能够在不需要评审人员具备计算机科学家背景的情况下，处理机器学习特有的陷阱。该电子表格现在包含了针对性的问题，例如：在训练阶段是否允许计算机“窥探”测试数据（这种错误被称为数据泄露）。它还会询问研究人员是否在数据中健康人群与患病人群比例不均衡时，对模型进行了适当的调整（这是一个可能导致结果偏差的常见问题）。此外，该工具还会检查在测试模型时，整个构建过程是否得到了正确的重复，从而确保最终的数值反映的是现实情况而非偶然的巧合。这些问题被直接编织进电子表格中，因此当评审人员输入研究信息时，工具会自动标出研究可能出错的地方。
该工具之所以特别强大，在于它管理信息流的方式。该电子表格通过将所有内容链接在一起，避免了评审人员被迫在不同文档之间反复切换以寻找相同信息的情况。当评审人员在一个部分输入关于研究参与者或其使用数据的细节时，这些信息会自动出现在判断模型质量的相关部分。这减少了人为错误的概率并节省了大量时间。该工具设计为可以在单个文件中处理多达三十个不同的预测模型，因此适用于大规模的系统评价。随着评审人员完成清单工作，电子表格会自动生成汇总表和图表，展示有多少模型通过了质量检查，又有多少未能通过。这些视觉摘要会实时更新，为研究团队提供一个清晰、实时的证据审查全景图。
研究人员强调，该工具并不局限于人工智能；它同样适用于传统的统计模型。这种通用性至关重要，因为许多医学评论现在同时包含新旧两种方法。通过提供一个单一且标准化的框架，该工具确保了无论是用简单方程构建的模型，还是用复杂神经网络构建的模型，都受到同样严格的标准衡量。该电子表格可以免费下载和使用，且无需复杂的计算机编程代码即可运行，这使得那些不具备高级技术技能的研究人员也能轻松上手。作者指出，虽然该工具自动化了数据组织和计算的繁重工作，但它并不能取代人类的判断。评审人员仍需解释答案并判断其对医疗工具安全性及可靠性的意义。
最终，这个更新后的模板代表了医学证据收集与验证方式的一次重大进步。它承认了医学预测领域的格局正在发生变化，并提供了跟上这一步伐所需的配套设施。通过将模型创建的评估与模型测试的评估相分离，并增加针对人工智能独特风险的专项检查，该工具有助于确保指导患者护理的预测模型建立在坚实的基础之上。研究人员希望，通过使检查这些模型的流程变得更加简便和一致，他们将促进更彻底的审查，并最终为全球患者带来更安全、更有效的医疗工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。