MUST-PET: MUltimodal Self-supervised learning across Tracers for whole-body PET/CT-based lesion segmentation
本文介绍了 MUST-PET，这是一个多模态自监督学习框架，它利用 FDG 和 PSMA PET-CT 示踪剂的掩码重建，实现了用于癌症分期和治疗规划的高标签效率、泛化性全身病灶分割。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学的广阔领域中，一种被称为 PET/CT 扫描的强大工具让医生能够以卓越的清晰度观察人体内部。这项技术结合了两种不同类型的图像：一种绘制身体结构（如详细的建筑蓝图），另一种则揭示细胞的功能状态，通过点亮高活动区域来显示往往预示疾病的信号。当患者患有癌症时，这些扫描可以显示从头到脚的任何部位的肿瘤，从而帮助医生进行疾病分期、规划治疗并检查疗效。然而，将这些复杂的图像转化为可操作的信息是一项沉重的负担。医生必须手动追踪数百层图像中的每一个肿瘤，这个过程缓慢、令人疲惫且容易出现人为错误。虽然计算机已经学会了自动执行此操作，但当面对新型扫描或不同医院的数据时，它们通常会表现挣扎，因为它们的训练基于非常小且特定的数据集。为了让这些工具对每个人都真正有用，它们需要从更广泛的示例中学习，但为每种可能的情况寻找足够的标注数据几乎是不可能的。
这正是被称为自监督学习的新方法所提供的充满希望的路径。这种方法不再等待医生标注数百万张图像，而是教计算机通过尝试修复或重建被隐藏的部分图像来进行学习。通过在大量的未标注数据上进行练习，计算机学会了身体的底层规则以及不同身体部位之间的相互关系。达特茅斯学院的一支研究小组将这一概念应用于一个极具挑战性的新前沿领域：教计算机识别跨越不同放射性示踪剂和不同机构的癌症病灶。他们开发了一个名为 MUST-PET 的系统，代表“跨示踪剂的多模态自监督学习”（Multimodal Self-Supervised learning across Tracers）。该系统是在一个包含近 6,000 份来自不同患者的全身扫描的大规模集合上进行训练的，这些数据包括来自公共档案库和当地医院的数据。其目标是创建一个能够同时理解结构性 CT 图像和功能性 PET 图像的模型，学习利用另一种图像作为引导来填补其中一种图像的缺失部分。
研究人员设计了他们的训练过程，使其成为对计算机学习通用规则能力的一次严格测试。他们在训练阶段向系统输入 PET 和 CT 扫描对，但会随机隐藏其中一个图像的一半信息，留下另一个图像完全可见的状态。随后，计算机必须根据其伴侣图像的可视部分来推测隐藏部分的样貌。例如，如果 PET 扫描的某个部分被遮蔽了，计算机就会利用相应的 CT 扫描来推断缺失的细节，反之亦然。这迫使系统去学习身体结构与功能之间的深层联系。他们在一个多样化的混合数据上训练了这个模型，其中包括使用两种不同放射性示踪剂的扫描：一种针对广泛的癌症，另一种专门针对前列腺癌。一旦计算机掌握了这些广泛的模式，研究人员就会通过提供少量的标注数据来微调它描绘精确肿瘤轮廓的能力。
结果表明，这种方法显著提高了计算机的性能，尤其是在标注数据非常匮乏的情况下。在对 321 份扫描进行的标准数据集测试中，新模型实现了 0.576 的分割得分，相比于从零开始训练的模型（得分为 0.526）有了显著提升。当模型在从未见过的 200 份前列腺癌扫描组成的全新数据集上进行测试时，这种差异更为明显。在这种具有挑战性的场景下，新模型的得分为 0.601，而传统方法仅为 0.547。这些数字表明，该模型能够更准确地识别肿瘤，且错误更少，例如不会漏掉病灶或将健康组织误认为癌症。该系统还证明了其在数据利用上的高效性：即使仅使用极小比例的有标注样本进行训练，它也展现出了实质性的进步，这表明初始的自监督阶段为其打下了坚实的知识基础。
除了数字之外，研究人员还观察到，新模型在视觉预测方面的误差更少。在侧向对比中，从零开始训练的模型经常会漏掉微小肿瘤或绘制过于宽松的轮廓，而新模型则能以更高的精度捕捉病灶，且误报更少。即使将该模型应用于来自不同医院、使用不同设备和不同患者群体的扫描时，这种改进依然成立，展示了以往系统所缺乏的适应能力。研究表明，通过教计算机理解不同成像类型以及不同疾病标志物之间的关系，我们可以构建出更稳健的工具，而无需海量的手动标注。尽管研究人员指出，由于数据重叠，无法与之前仅针对单一类型示踪剂训练的模型进行直接比较，但他们的发现清楚地表明，跨多种示踪剂和机构的学习能带来更好的泛化能力。这项工作指向了一个未来：自动化系统可以更可靠地辅助临床医生，在处理日益增长的医学影像量时，无需成比例地增加专家时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。