Reproducibility-Aware Evaluation of Hierarchical Multiple- Instance Learning for Patient-Level Thrombosis Detection from Compression Ultrasound
本研究表明，最初报道的层级多实例学习在患者级血栓检测方面优于固定帧基准线的结论，实际上是由于环境不一致性所导致的伪影，且在受控条件下未能复现，从而反驳了关于模型具有稳定优势的说法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
深静脉血栓是一种严重的疾病，指在腿部静脉中形成的血块，该血块可能会脱落并游走到肺部。医生通常使用压力超声波来寻找这些血块。在检查过程中，技术人员将探头压在皮肤上，同时观察屏幕上的实时视频画面。发现血块的关键不仅仅是观察单张冻结的图像，而是观察在施加压力时血管形状随时间的变化过程。如果血管容易塌陷，则可能没有血块；如果血管保持僵硬，则可能存在血块。由于诊断依赖于这种运动，数据是以短视频剪辑的形式呈现，而非静态照片。
近年来，科学家们尝试教会计算机自动读取这些超声视频。其希望是人工智能可以充当第二双眼睛，帮助捕捉人类可能遗漏的血块，或以更快的速度确认诊断。然而，教计算机理解视频是非常困难的。一名患者可能会在腿部的不同部位拍摄多个剪辑，计算机需要将所有这些信息整合为一个关于该患者的最终答案。如果计算机训练不当，它可能会依赖于在训练和测试阶段都出现的患者视频中的特定细节，从而产生虚假的准确度感。要真正发挥作用，系统必须证明它能够从运动模式本身进行学习，而不是仅仅记住它已经看到过的数据。
一个研究小组着手测试一个专门为此任务设计的复杂计算机模型。他们想看看一个能够仔细权衡视频不同部分以及腿部不同位置的复杂系统，是否能始终优于一种简单得多的方法。这种简单的方法只是从每个视频剪辑中提取八个均匀间隔的帧，然后对结果取平均值。而这个研究人员称之为“层级系统”的复杂模型，则试图学习视频中哪些时刻是最重要的，以及如何结合来自多个剪辑的信息来做出最终决策。该研究使用了一个来自数百名患者的公开超声数据集合来进行严格测试。研究人员将患者分为五组，用其中四组进行训练，并在第五组上进行测试，通过轮换直到每位患者都经过了测试。这确保了没有任何单个患者的数据在训练和测试阶段之间发生泄露，而这是人工智能研究中经常导致意外夸大成功率的一种方式。
在第一轮测试中，使用原始的数据设置，复杂模型表现出的性能确实优于简单方法。其准确度的差异是显而易见的，这表明这种复杂的方法可能是一个前进的方向。然而，研究人员并没有止步于此。他们知道，在人工智能领域，计算机软件或实验运行方式的微小变化有时会创造出一种“改进确实存在”的错觉。为了绝对确定，他们从头开始重建了整个实验。他们修正了数据文件中缺失的一项信息，在相同的严格规则下重新运行了整个研究，并在完全相同的计算机环境中将两个系统进行了并排对比。
当他们进行这种受控对比时，故事发生了彻底的变化。复杂模型在第一轮中表现出的优势消失了。事实上，在这次严谨的重测中，简单的方法实际上比复杂系统表现得更好，基准方法的准确度得分高于复杂模型。此外，复杂模型在预测血块确切概率时犯了更大的错误，这意味着它的置信水平不够可靠。研究人员还测试了添加有关扫描位置或身体侧面的特定细节是否有助于模型。他们发现，这些额外细节并没有提供稳定的益处。研究结论认为，最初看到的改进很可能只是由于第一次运行时的特定条件所导致的偶然现象，而非复杂设计带来的真实、持久的优势。
研究结果表明，对于这项特定的医疗任务，一种仅通过平均若干帧信息来实现的简单方法，与试图权衡每一个细节的复杂系统一样有效。复杂模型并未证明自己是处理该数据集中血块查找任务的优越工具。研究人员强调，他们的工作并不是人工智能的失败，而是对我们如何衡量成功的一次必要的检验。他们证明了如果没有极其细致的测试，很容易将随机噪声误认为是突破。这项研究提醒我们，在一种新的医疗人工智能工具被信任进入医院之前，它必须证明自己在严格条件下能够稳定运行，而不仅仅是在单次有利的运行中表现出色。在找到这种一致性的证明之前，简单的办法仍然是此类超声分析中更可靠的选择。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。