ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology
该论文介绍了 ADMIL，一种选择性计算框架，它将基于注意力的多实例学习教师模型的注意力蒸馏到轻量级的 PriorNet 模型中，以仅选择最具信息量的切片进行昂贵的基础模型推理，从而在病理切片分析中实现与全教师模型相当的性能，同时将计算成本降低了 98% 以上。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，数字病理学改变了医生检查组织的方式。病理学家不再是通过显微镜观察单张玻璃载玻片，而是处理被称为“全切片图像”的海量数字图像。这些图像如此巨大且精细，以至于被分解成数千个被称为“图块”（tiles）的小型正方形碎片，每个碎片包含组织的一小部分视图。为了理解患者体内正在发生的情况，计算机系统必须分析这些图块，以寻找疾病（如癌症）的迹象。近年来，强大的人工智能模型（通常称为基础模型）已被训练用于识别这些图块中复杂的模式，其准确率极高。这些模型充当了“专家之眼”，能够识别出健康组织与病变组织之间极其细微的差异。然而，在真实的医院中使用这些模型存在一个显著问题：运行起来极其缓慢且昂贵。因为单张组织切片可能包含数万个图块，计算机必须处理每一个图块才能做出诊断。这种穷举式的方法造成了瓶颈，使得难以将这些先进工具快速应用于日常患者护理。
来自达纳法伯癌症研究所和哈佛医学院的研究人员开发了一种新方法来解决这个问题，且无需牺牲准确性。他们创建了一个名为 ADMIL 的系统，全称是“注意力蒸馏多实例学习”（Attention-Distilled Multiple Instance Learning）。其核心理念简单而强大：并非切片上的每个图块都同等重要。当一个经过训练的人工智能模型观察切片时，它会自然而然地将注意力集中在极少数持有最关键信息的区域，而很大程度上忽略其余部分。这个新系统学会了模仿这种行为。它首先使用一个轻量级、快速的计算机程序扫描整个切片，并预测哪些图块是最重要的。只有被选中的这些图块才会发送给昂贵且缓慢的“专家模型”进行详细分析。通过跳过绝大多数不重要的图块，该系统极大地提高了速度。
研究人员在涉及乳腺癌、前列腺癌和淋巴结转移的三种不同医学挑战上测试了这种方法。在每种情况下，他们都从一个已经通过观察每一个图块来学习诊断疾病的完整训练好的专家模型开始。然后，他们训练这个新的快速预测器，去猜测专家模型会关注哪些图块。一旦预测器掌握了这项技能，他们就构建了第二个版本的诊断系统，该系统仅查看由预测器选出的前几个图块。结果令人瞩目。对于乳腺癌切片，该系统通过仅分析数千个图块中的四个，就达到了与完整专家模型同等的高水平准确度。对于前列腺癌，它仅需要八个图块。即使对于更复杂的淋巴结任务，它也仅需 128 个图块即可达到与穷举式系统相同的性能。这意味着新方法避免了在超过 98% 的图块上运行昂贵的计算机模型，节省了大量的计算能力和时间。
为了确保这种速度提升并非仅仅依靠猜测或运气，研究人员将他们的法与其他几种替代方案进行了对比。他们测试了如果只是随机挑选图块进行分析会发生什么，发现这种方法表现要差得多，尤其是在图块数量较少时。他们还将自己的系统与一个已知确切知道专家模型会选择哪些图块的理论“完美”版本进行了比较。他们的这种新方法非常接近这个“完美”场景，证明了它成功学习了专家模型用于做出决策的特定模式。研究还表明，快速预测器并非在随机挑选图块，而是正确识别了对诊断至关重要的组织形状和结构。当研究人员观察图像时，他们看到新系统选出的图块包含了专家模型所强调的相同癌症特征。
这项研究表明，当前病理学中沉重的计算成本往往是不必要的。专家模型虽然能够找到正确答案，但它们在处理不改变最终结果的背景信息时浪费了能量。通过教一个更小、更快的模型充当“守门员”，系统可以过滤掉噪声，只专注于信号。这种方法并不是要取代强大的专家模型，而是让它们能够更高效地被使用。研究人员发现，该方法在不同类型的癌症和不同大小的组织样本中均能保持一致的效果。他们还测试了系统对训练数据量的敏感性，发现即使在数据较少的情况下进行训练，系统依然保持稳健。虽然该系统在训练阶段引入了少量的额外工作，但在实际使用中的节省是巨大的。这项工作为将高精度人工智能带入对速度和成本至关重要的临床环境提供了一条切实可行的路径，确保患者能够享受到这些强大工具带来的益处，而不必等待缓慢的计算机处理过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。