Identical results, hidden data problems: running CMS's digital quality measures on real hospital data
本研究表明,尽管 CMS 关于严重低血糖和高血糖的数字化质量指标可以利用 FHIR 在真实的医院数据上高效且一致地执行,但所得指标对底层数据质量问题(例如缺失单位和入院状态分类)高度敏感,而非源于执行引擎错误,这强调了在强制执行 FHIR 报告之前进行数据就绪性测试的至关重要性。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
医院正日益依赖计算机来追踪其护理患者的效果。过去,医生和护士需要手动审查病历以统计错误或并发症的数量;而现在,软件可以直接扫描电子健康记录,自动生成质量评分。这些评分决定了医院的表现,甚至会影响其从政府项目中获得的资金数额。为了使这一过程更快速、更具一致性,卫生官员正转向一种新系统,即通过标准化的数字格式来组织数据,使不同的计算机系统能够使用同一种语言进行交流。其目标是让这些数字化指标实现自动化运行,从而提供一个清晰、实时的患者安全图景。然而,一个关键问题仍然存在:如果计算机完全按照记录的内容进行读取,那么结果反映的是患者护理的真实情况,还是由于数据记录方式中的隐藏缺陷而导致了误导性的数字?
研究人员 Sai Sharan Kasa 为了回答这个问题,通过在一个大规模的真实世界医院记录数据库上测试两项特定的安全指标开展了研究。这些指标旨在捕捉两种危险状况:严重的低血糖和严重的高血糖,这两种情况都可能发生在住院患者身上。研究人员使用了一组来自波士顿一家主要教学医院的去标识化完整记录,涵盖了十多年间数十万次住院治疗的情况。这些记录已被转换为新的标准数字格式,但仍保留了医院工作人员输入信息时原始且杂乱的细节。研究人员构建了一个系统来运行官方政府软件处理这些数据,但有一个关键的改进:该系统被设计为按每个住院阶段(而非一次性读取患者一整年的历史记录)将数据分成易于处理的小块进行处理。这种方法使研究人员能够在短短几小时内完成对所有 431,231 次住院治疗的复杂计算,而使用旧方法则可能需要数周甚至数月。
第一个重大发现是,当在相同数据上运行时,这种新的“分块”系统产生的计算结果与原始未修改的软件完全一致。这是一个至关重要的发现,因为它证明了新的处理方式并没有引入任何错误或改变逻辑本身。计算机完全按照预期的指令在运行。然而,当研究人员深入观察计算机实际发现了什么时,他们发现结果完全取决于输入数据的质量。软件是一个忠实的镜子,但它所呈现的倒影却因数据最初的记录方式而发生了扭曲。
发现的最显著问题与血糖水平的记录方式有关。在许多情况下,床边血糖仪虽然产生了一个数值,但未能包含测量单位(例如毫克/分升)。由于安全指标要求必须具备特定的单位才能判断数值是否处于危险的过高或过低水平,因此计算机无法将这些数值与安全阈值进行比较。结果,近一半的严重低血糖事件在系统中完全“隐形”了。当研究人员手动为这些缺失单位的条目分配正确的单位时,检测到的严重低血糖事件数量大幅增加,这表明原始数据掩盖了大量此类危险事件。同样,由于系统无法将患者的糖尿病诊断与其实际住院过程关联起来,导致计算机无法获取计算正确所需的背景信息,因此也遗漏了许多严重的高血糖天数。
研究还检查了计算机如何判定哪些药物应被计入统计。软件依赖一份药物名称清单来识别接受了降糖药物治疗的患者。研究人员测试了将医院本地药物代码匹配到标准清单的不同方法。虽然改变这些匹配规则会改变被计入统计的具体患者名单,但并不会显著改变患者发生不良结局的总百分比。这表明,尽管根据数据映射方式的不同,具体的患者名单可能会有所差异,但在该特定数据集中,整体伤害率保持相对稳定。然而,研究人员发现,如果系统被指示将“观察性住院”(即非正式入院的短期停留)计为正式住院,那么参与安全指标统计的患者人数大约会翻倍。这凸пен了数据中一个简单的分类错误就可能剧烈改变被测量群体的规模,即使该群体内的伤害率保持不变。
或许最令人惊讶的发现是,旨在确保数据质量的标准检查未能发现这些问题。那些验证数据是否符合正确格式的计算机系统报告称一切正常。记录通过了所有关于结构和完整性的技术校验,但它们仍然包含着导致安全指标遗漏危险事件的隐藏错误。一条记录可以既缺少单位又存在诊断链接断裂,却依然能通过所有的验证测试,随后在安全软件尝试计算结果时被直接忽略。这意味着医院不能仅仅依靠标准的数据检查来确保其安全评分的准确性;它们必须针对安全指标本身的逻辑进行审查,以找出这些漏洞。
研究人员得出结论,虽然新的数字化系统在技术上是成熟的,并且能够快速、廉价地处理海量数据,但它所产生的数字仅取决于输入数据的质量。研究表明,隐藏的数据问题(如缺失单位或链接断裂)可能会掩盖近一半的严重低血糖事件,并显著改变高血糖天数的计数。这些错误并非由软件运行失败引起,而是因为数据未能满足软件严格的要求。在医院被要求上报这些数字化安全指标之前,它们需要针对这些指标的具体规则对自身数据进行测试,以确保不会报告出一个虚假的安全感。技术已经准备就绪,但数据必须经过清洗和准备,才能揭示患者安全的真实图景。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。