An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation
本文介绍了一种开源的多中心全身 FDG PET/CT 肿瘤分割基础模型，该模型利用早期跨模态融合和专用的掩码自编码目标，在仅需少量标注数据的情况下实现高性能，从而降低了临床肿瘤学对大量人工标注的依赖。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一台计算机利用医学扫描图像来识别患者体内的肿瘤。医生通常会结合两种图像进行观察：一种是CT 扫描（显示身体解剖结构，如同骨骼和器官的详细三维地图），另一种是PET 扫描（显示代谢活动，点亮那些细胞正在消耗能量的区域，这通常意味着癌症）。
长期以来，计算机在有效结合这两种视图方面表现不佳。大多数现有的 AI 模型就像只为某一次特定考试而学习的学生。它们仅基于来自单一医院的小组患者数据进行训练，并且往往将 CT 和 PET 扫描视为两个独立的科目，只在“思考”过程的最后阶段才尝试将它们结合起来。这使得它们非常脆弱；如果计算机看到的扫描图像来自不同的医院或不同的机器，它往往会感到困惑。
本文介绍了一种新的解决方案：一种用于 PET/CT 扫描的**“基础模型”**。不要把它想象成只为一次考试而学习的学生，而要把它想象成一位在见到真实患者之前，已经阅读了来自四个不同国家的数千本教科书的医学生。
以下是他们如何构建它以及它为何有效，以简单的方式解释：
1. 扫描图像的“图书馆”
研究人员没有使用来自单一地点的小数据集，而是从四个不同的公共数据集中收集了4,997 份扫描图像（分别来自德国、澳大利亚、美国和越南）。
- 挑战：这些扫描图像的大小各不相同，且由不同的机器拍摄。这就像试图拼凑一幅拼图，其中有些碎片来自 1000 片装套装，有些来自 500 片装套装，而且图片质量也参差不齐。
- 解决方案：他们创建了一个“标准化流程”。想象一位总编辑，他收集所有这些不同的拼图碎片，修剪边缘，并将它们重新调整大小，使它们都能适配到同一个物理网格中（每片为 2.0 x 2.0 x 3.0 毫米）。关键在于，他们不仅仅是拉伸图像使其看起来相同，而是保留了肿瘤的实际物理尺寸，以便计算机能够学习事物的真实尺度。
2. CT 和 PET 的“早期联姻”
大多数以前的 AI 模型将 CT 和 PET 扫描视为坐在桌子两端的两个人，只有在各自写完报告后才互相交流。
- 新方法：该模型迫使 CT 和 PET 扫描从一开始就“手牵手”。在计算机开始分析它们之前，它们就被并排拼接在一起（按通道拼接）。
- 类比：这就像教孩子识别狗时，同时展示一张狗的图片和狗叫声，而不是先展示图片问“这是什么？”，然后再播放声音问“这是什么？”。通过立即混合解剖学（CT）和代谢（PET）信息，模型从一开始就能学习身体结构与其能量使用之间的关系。
3. “蒙眼”游戏（掩码自编码）
为了在不需人工为每个肿瘤绘制轮廓（这既昂贵又缓慢）的情况下训练该模型，他们使用了一种称为掩码自编码的技术。
- 游戏：想象你向计算机展示一张肿瘤图片，但用“蒙眼布”遮住了其中 50%。计算机的任务是根据可见部分和另一种扫描类型（例如，如果 CT 被遮挡，它就查看 PET 来猜测形状）来猜测被遮挡的部分。
- 创新：通常，当计算机遮挡图像的部分时，会用通用的“占位符”标记（如一个灰色的空白方块）来填充空白区域。研究人员意识到，这会产生“人工边缘”，从而混淆计算机。相反，他们使用了零均值填补。由于他们已经对数据进行了归一化（调整亮度使平均值为零），他们直接用零填充了被遮挡的区域。
- 重要性：这就像用与墙上原有颜色完全相同的灰泥填补墙上的洞，而不是在上面贴一块灰色的补丁。这保持了图像“纹理”的平滑，使计算机能够更好地学习，而不会被虚假的边界分散注意力。
4. 结果：用更少的数据学习
研究人员在一个称为“肿瘤分割”（在肿瘤周围画线）的任务上测试了这个新模型。
- “少样本”奇迹：通常，AI 需要数千个标记示例才能良好学习。然而，该模型首先基于包含 4,997 份扫描的巨大“图书馆”进行了训练。当他们仅使用**10%的常规标记数据（仅 70 份扫描）进行测试时，其表现与使用100%**数据训练的其他模型一样好。
- “极端”测试：他们甚至尝试了"5 样本”测试，即计算机仅看到 5 个标记示例。新模型仍然有效，而旧模型则完全失败。
- 结论：由于该模型从庞大且多样化的数据集中学习了关于 CT 和 PET 中肿瘤外观的通用规则，因此它不需要为每家新医院从头重新学习所有内容。
总结
本文提出了一种开源的医学成像“大脑”，它已经阅读了数千份多样化的扫描图像。通过从一开始就教导它同时观察 CT 和 PET 扫描，并采用巧妙的“填空”训练方法，他们创造了一个具有以下特点的系统：
- 更智能：它更好地理解身体结构与代谢之间的关系。
- 更高效：它可以用极少的标记示例学习识别肿瘤，从而节省医生的时间。
- 更稳健：即使扫描图像来自不同的医院或机器，它也能很好地工作。
作者指出，虽然这是一个强大的工具，但目前它需要同时存在 CT 和 PET 扫描（尚无法处理缺失数据），并且该模型的最大版本有时需要比测试中可用的更多的标记数据来进行完美的微调。然而，它为未来的自动化癌症成像提供了一个强大的开放基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。