POPSICLE: Benchmark Datasets for Segmentation and Localization in CryoET

技术摘要：POPSICLE —— 用于冷冻电子断层扫描（CryoET）分割与定位的基准数据集

问题陈述
冷冻电子断层扫描（cryoET）能够实现对完整细胞内大分子结构的视觉化，从而将分子架构与细胞组织联系起来。然而，实现其全部潜力受到缺乏标准化、经过良好注释的机器学习（ML）基准测试的限制。目前的 cryoET 评估实践是碎片化的：数据集通常规模较小、针对特定任务，并且是在孤立状态下组装且采用非标准化的预处理方式。这导致了不可靠的跨方法比较，模型经常在分布内（in-distribution）测试集上进行评估，从而夸大了其实际应用性能。此外，现有的基准测试通常侧重于密集分割（恢复细胞区室）或稀疏定位（识别单个分子复合物）中的某一方面，未能解决这两类任务的互补性，也未能应对 cryoET 数据特有的挑战，如噪声、各向异性和缺失锥（missing-wedge）伪影。

方法论
作者引入了 POPSICLE（Particle/Object Picking & Segmentation In CryoET Learning & Evaluation），这是一个基于 CryoET Data Portal 构建的统一基准套件，该门户是一个开放的、面向机器学习的存储库。

• 数据构成： POPSICLE 汇总了涵盖真核和原核系统、包括纯化样本和原位（in situ）样本的 2,993 个已注释断层扫描图。该基准涵盖了两个主要的任务范式：
  1. 密集体素级分割： 对细胞结构（如膜、细胞器）进行语义分割，涉及酵母和细菌数据集。
  2. 稀疏大分子定位： 在 Phantom 和 MotorBench 数据集中进行特定分子复合物（如鞭毛马达、类病毒颗粒）的检测和 3D 坐标预测。
• 集成： 该基准可通过 copick 工具包进行访问，该工具包为断层扫描图、密集分割和点注释提供了统一接口，并能与 ChimeraX 和 Napari 等可视化工具协同工作。
• 评估协议： 本研究在共享训练协议下评估了一组具有代表性的架构，包括：
  • 通用体积模型：3D nnU-Net、nnU-Net ResEnc、MedNeXt 和 SwinUNETR。
  • CryoET 特定模型：Octopi。
  • 社区基准：Kaggle 竞赛（Phantom 和 MotorBench）中的顶尖提交结果以及已发表的领域内方法（DeepFinder、DeepETPicker）。
• 指标：
  • 分割： 体素级 Dice 分数，在所有断层扫描图中取平均值。
  • 定位： 召回率加权的 $F_\beta$ 分数。Phantom 数据集使用 $F_4$ 以优先考虑召回率（由于注释存在不确定性），而 MotorBench 使用 $F_2$，其中假阳性更为关键。

核心贡献

1. 统一基准： POPSICLE 是第一个在单一框架内评估密集区室分割和稀疏大分子定位，并涵盖多样化生物和实验设置的基准。
2. 扩展覆盖范围： 发布的内容包括新的细菌分割注释，扩展了细胞尺度评估的范围。
3. 动态资源： 通过将基准锚定在 CryoET Data Portal 上，POPSICLE 被设计为随着新数据集和注释的存入而动态扩展，避免了以往挑战赛发布的“一次性”性质。
4. 社区参考点： 该基准整合了来自两个公开 Kagble 竞赛的顶尖结果，为多类别和单类别定位任务提供了强大的、基于挑战赛的基准。
5. 对比分析： 作者对卷积、Transformer 以及 CryoET 特定架构进行了系统性评估，揭示了模型排名高度依赖于特定的任务和数据集范式。

结果

• 任务依赖性： 没有一种单一的模型架构能在所有任务中持续优于其他架构。分割性能并不能可靠地迁移到定位任务。例如，在 Phantom 定位挑战赛中，表现强劲的 nnU-Net 排名约为 931 名中的第 580 名（$F_4$ 分数为 0.648），而专门的挑战赛提交作品则取得了显著更高的分数（例如 0.788）。
• 数据集变异性：
  • 细菌分割： 模型在大多数区室中的表现相当，困难主要源于低体积结构（如鞭毛和包涵体）。
  • 酵母分割： 不同模型和区室之间的表现差异极大。虽然大型结构（细胞质）可以被可靠分割，但较小或稀疏的结构（细胞核、囊泡）显示出 Dice 分数的显著下降，这归因于酵母数据中更强的缺失锥伪影和各向异性。
  • 定位： 表现具有高度的类别依赖性。大型、高对比度的区域可以被可靠检测，而薄、低对比度或空间稀疏的结构对所有方法来说仍然具有挑战性。
• 架构趋势： 与医学成像基准（其中特定架构如 U-Net 变体始终占据主导地位）不同，cryoET 的性能在不同任务间是不稳定的。针对密集体素级预测优化的模型，在处理稀疏定位所需的极端类别不平衡和实例分离时表现挣扎。

意义与主张
本文认为，POPSICLE 为 cryoET 中可重复的机器学习评估提供了一个开放且可扩展的基础。其主要意义在于证明，由于 cryoET 独特的数据特征，从相邻生物医学成像领域借鉴的评估实践是不充分的。

作者主张，稳健的评估需要通过多任务测试来暴露互补的优势和失效模式，因为一个模型的能力不能仅凭其在单一数据集或任务上的表现来判定。通过将分割和定位视为互补而非孤立的问题，POPSICLE 旨在促进未来能够跨越全谱系进行分析的多任务学习模型的发展。该基准并非作为一个固定的终点，而是作为一个不断增长的资源“快照”，旨在支持更一致的方法比较，并推动能够跨越 cryoET 多尺度、异质结构的模型的开发。