When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence
本研究表明,与暴露相关的连续性结局(如目测失血量)的差异化记录,可以通过系统性的测量误差而非真实的临床差异,在真实世界证据中制造出看似显著且稳健的治疗效应,因此有必要进行特定的诊断性检查并依赖客观指标,以避免得出伪造的结论。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
数据中的隐藏陷阱:当“猜测”创造出伪科学
想象你是一名侦探,正试图通过一叠巨大的警察报告来破解谜团。你想知道一种新型锁具是否比旧款更能防止盗窃。在现代科学的世界里,研究人员也在做非常类似的事情。他们使用的不是警察报告,而是“真实世界证据”——来自医院(如电子病历)的海量数字记录,用以观察新疗法是否真的有效。这是一个强大的工具,因为它观察的是现实生活中的真实患者,而不是实验室里的受控人群。
但问题在于,有时记录这些报告的人并不是在使用尺子,而是在用眼睛“猜”。如果医生必须猜测一名患者失血了多少,或者伤口有多大,他们可能会写下一个对他们来说看起来“合理”的数字,而不是精确的真相。科学家称之为“估算”。通常,我们认为这些猜测只是增加了一些微小的噪声,就像收音机里的静电。但如果这些静电并非随机呢?如果医生猜测的方式会随着患者接受哪种药物而改变呢?这正是这篇论文所探讨的恐怖问题。它探索了一个隐藏的陷阱:我们记录结果的方式,可能会在无意中发明出一种并不存在的“奇迹疗法”。
“不存在的神药”案例
在这项研究中,研究人员查看了来自台湾某家医院长达 8 年的海量医院记录。他们正在调查一种名为卡贝替欣(carbetocin)的药物,该药物用于帮助控制分娩后的出血。这里有一个转折:由于该药物不属于保险报销范围,患者必须自费购买。这意味着医生完全清楚谁使用了该药物,谁没有使用,从而创造了一个完美的“自然实验”来观察该药物是否有效。
研究人员专注于一个特定的结局指标:阴道分娩过程中产妇的失血量。在许多医院,这个数字并不是用天平测量的,而是由医生或护士进行视觉估算。他们看着血液,然后写下一个数字,比如“150 mL”或“200 mL”。
当研究人员用“标准”方式运行数据时,结果看起来令人惊叹。数据表明,该药物将出血量大幅降低了 62%。这种对数字的信心如此之高,以至于看起来像是一个板上钉钉的科学发现。治疗组的出血量似乎极少,而对照组则失血很多。
但本文的作者并没有止步于此。他们开始扮演侦探,寻找一些可疑的线索。
“整数”线索
他们首先注意到数字中存在一种奇怪的模式,就像犯罪现场留下的指纹一样。在服用药物的组别中,约有 60% 的记录失血值正好是 30 mL 或 50 mL。相比之下,对照组中只有 2.4% 拥有这些精确的低数值。
事实证明,医生经常有将猜测结果取整为漂亮整数(如 50 或 100)的习惯。但在本例中,医生似乎有一个“秘密规则”:如果患者服用了药物,他们几乎总是写下“50 mL”,即使实际失血量更高。就好像医生手里有一个模板,上面写着:“如果他们吃了神药,就写‘50’”。这被称为“数字偏好”或“数值堆积”。治疗组之所以看起来失血更少,并不是因为他们真的失血更少,而是因为他们的记录方式发生了变化。
“时间旅行”测试
为了确保这不仅仅是一个偶然,研究人员检查了这种模式是否随时间变化。如果药物真的有效,其效果应该在逐年保持一致。然而,情况却是这样的!从 2019 年到 2025 年,药物组的中位失血量每年都精准地锁定在 50 mL。与此同时,对照组则在 150 mL 到 200 mL 之间波动。
这是一个巨大的警示信号。真实的生物学效应通常不会在连续七年内都冻结在完全相同的数字上。那种僵化性表明这是一种记录规则,而非生物学奇迹。研究人员还尝试使用标准的统计技巧(如根据年份或患者健康状况进行调整)来修正数据,但那个“62% 的降幅”依然纹丝不动。这证明了问题不在于两组之间存在差异,而在于记录结果的方式不同。
“阈值”现实检验
最致命的证据出现在他们从另一个角度审视数据时。他们问道:“到底有多少女性出现了危险程度的出血(产后出血),定义为失血 500 mL 或更多?”
当他们看这个“是或否”的二元问题时,魔法消失了。
- 药物组: 3.2% 出现严重出血。
- 对照组: 4.2% 出现严重出血。
- 结果: 没有显著差异。
那个“62% 的降幅”只存在于那些混乱的、经过估算的数字中。当他们观察代表危险的实际阈值时,该药物似乎根本没有起到作用。事实上,在极端情况下(失血 1,000 mL 或更多),药物组的病例甚至比对照组略多,这与奇迹药物的表现恰恰相反。
模拟实验:证明幻象
为了证明这种记录习惯本身就能制造出如此虚假的结论,研究人员建立了一个计算机模拟系统。他们创造了一个药物完全不起作用(真实效应为零)的虚假世界。他们编写程序,让计算机在记录“治疗组”的失血量时带有同样的偏差:将低数值锁定在 30 或 50 mL,而让对照组的数据保持自然状态。
结果如何?计算机生成了一个虚假的“62% 降幅”,看起来和真实数据一样令人印象深刻且具有统计学意义。这证实了差异化记录本身就足以凭空制造出一个巨大且极具说服力的治疗效应。
启示:信任尺子,而非猜测
这篇论文并不是在说这种药物肯定无效;它是在说,在基于估算失血量的研究中发现的“62% 降幅”很可能是一个由医生记录数据的方式所制造的谎言。
作者得出结论:当我们使用真实世界数据时,必须对那些仅靠“猜测”或“估算”得出的结局指标保持警惕。如果记录数据的方式会随着患者是否接受治疗而改变,我们可能会在无意中发明一种疗法。
未来的教训:
- 检查“取整”现象: 在相信基于估算数据的重大结果之前,先检查其中一组是否倾向于将数字取整为 50 或 100,而另一组则没有。
- 关注“真实”阈值: 不要仅仅信任平均数。要检查治疗是否真的能帮助患者跨越危险界限(例如 500 mL 失血阈值)。
- 使用客观测量: 只要有可能,应使用机器测量的指标(如血红蛋白检测),而不是人类的直觉猜测。
简而言之,在一项基于人类猜测的研究中,一个看似精确的大型效应,可能仅仅反映了医生的笔尖,而非患者的身体。那份“魔力”存在于笔记本里,而非药物之中。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。