POPSICLE: Benchmark Datasets for Segmentation and Localization in CryoET

技術要約：POPSICLE – 構造解析におけるセグメンテーションおよびローカライゼーションのためのベンチマーク・データセット

問題提起
クライオ電子トモグラフィー（cryoET）は、完全な細胞内における高分子構造の可視化を可能にし、分子アーキテクチャと細胞組織の関連付けを実現する。しかし、その潜在能力を最大限に引き出す上でのボトルネックは、機械学習（ML）のための標準化された、かつアノテーションが詳細になされたベンチマークの欠如にある。現在のcryoETにおける評価手法は断片的である。データセットは小規模でタスク特化型であり、非標準的な前処理を用いて個別に構築されていることが多い。これにより、モデルがイン分布（in-distribution）のテストセットで評価され、実世界の性能を過大評価してしまうといった、信頼性の低いクロスメソッド比較が生じている。さらに、既存のベンチマークは、高密度なセグメンテーション（細胞区画の復元）か、あるいは疎なローカライゼーション（個々の分子複合体の特定）のいずれかに焦点を当てており、これら両タスクの相補的な性質や、ノイズ、異方性、欠損ウェッジ（missing-wedge）アーティファクトといったcryoETデータの特有の課題に対処できていない。

手法
著者らは、ML対応のリポジトリであるCryoET Data Portalに基づいた、統一ベンチマークスイートであるPOPSICLE（Particle/Object Picking & Segmentation In Cryo-ET Learning & Evaluation）を導入する。

• データ構成: POPSICLEは、真核生物および原核生物の系、ならびに精製サンプルおよびin situサンプルを含む、2,993個のアノテーション済みトモグラムを集約している。このベンチマークは、主に2つのタスク領域をカバーしている：
  1. 高密度ボクセル単位セグメンテーション: 出芽酵母および細菌のデータセットにおける細胞構造（例：膜、オルガネラ）のセマンティック・セグメンテーション。
  2. 疎な高分子ローカライゼーション: PhantomおよびMotorBenchデータセットにおける特定の分子複合体（例：鞭毛モーター、ウイルス様粒子）の検出および3D座標予測。
• 統合: このベンチマークはcopickツールキットを介してアクセス可能であり、トモグラム、高密度セグメンテーション、およびポイント・アノテーションのための統一インターフェースを提供し、ChimeraXやNapariなどの可視化ツールとの相互運用を実現している。
• 評価プロトコル: 本研究では、以下の共通トレーニングプロトコルの下で、代表的なアーキテクチャを評価している：
  • 汎用ボリュームモデル: 3D nnU-Net, nnU-Net ResEnc, MedNeXt, SwinUNETR。
  • CryoET特化型モデル: Octopi。
  • コミュニティ・ベースライン: Kaggleコンペティション（PhantomおよびMotorBench）の上位提出モデル、および発表済みのフィールド手法（DeepFinder, DeepETPicker）。
• 指標:
  • セグメンテーション: トモグラム間で平均化されたボクセルレベルのDiceスコア。
  • ローカライゼーション: 再現率（Recall）で重み付けされた$F_\beta$スコア。Phantomデータセットでは、アノテーションの不確実性を考慮して再現率を優先する$F_4$を使用し、MotorBenchでは偽陽性がより重要となるため$F_2$を使用している。

主な貢献

1. 統一されたベンチマーク: POPSICLEは、単一のフレームワーク内で、多様な生物学的および実験的設定にわたって、高密度な区画セグメンテーションと疎な高分子ローカライゼーションの両方を評価する初のベンチマークである。
2. 範囲の拡大: リリースには細菌のセグメンテーションに関する新しい高密度アノテーションが含まれており、細胞スケールの評価範囲を拡張している。
3. 「生きた」リソース: ベンチマークをCryoET Data Portalに紐付けることで、POPSICLEは新しいデータセットやアノテーションが投入されるたびに動的に拡張できるように設計されており、従来のコンペティションによる「使い捨て」の性質を回避している。
4. コミュニティの参照点: 2つの公開Kaggleコンペティションのトップ結果を取り入れており、マルチクラスおよびシングルクラスのローカライゼーションタスクの両方に対して、強力なチャレンジ由来のベースラインを提供している。
5. 比較分析: 著者らは、畳み込み、トランスフォーマーベース、およびCryoET特化型アーキテクチャの系統的な評価を提供し、モデルのランキングが特定のタスクやデータセットのレジームに強く依存することを明らかにしている。

結果

• タスク依存性: 単一のモデルアーキテクチャがすべてのタスクにおいて一貫して他を凌駕することはない。セグメンテーションにおける性能は、ローカライゼーションへと信頼性を持って転移しない。例えば、セグメンテーションにおいて強力な性能を示すnnU-Netは、Phantomローカライゼーション・チャレンジにおいて（$F_4$スコア0.648で）931モデル中約580位となり、特化したコンペティションの提出物（例：0.788）は大幅に高いスコアを達成した。
• データセットの変動性:
  • 細菌セグメンテーション: モデルはほとんどの区画で同等の性能を示したが、鞭毛や封入体のような低ボリュームの構造において困難が生じた。
  • 酵母セグメンテーション: 性能はモデルや区画によって大きく変動した。大きな構造（細胞質）は確実にセグメントされたが、小さな構造や疎な構造（核、小胞）では、欠損ウェッジによる強いアーティファクトや異方性に起因して、Diceスコアが著しく低下した。
  • ローカライゼーション: 性能はクラスに強く依存した。大きくコントラストの高い領域は確実に検出されたが、細い、あるいは低コントラスト、または空間的に疎な構造は、すべての手法にとって依然として困難であった。
• アーキテクチャの傾向: 特定のアーキテクチャ（例：U-Netのバリアント）が一貫して支配的となる医学用画像ベンチマークとは異なり、cryoETの性能はタスク間で不安定である。ボクセル単位の密な予測に最適化されたモデルは、疎なローカライゼーションに求められる極端なクラス不均衡やインスタンス分離において苦戦する。

意義と主張
本論文は、POPSICLEがcryoETにおける再現可能なML評価のためのオープンで拡張可能な基盤を提供すると断じている。その主要な意義は、隣接するバイオメディカル画像分野から適応された評価手法が、その特有のデータ特性とタスクの異質性により、cryoETには不十分であることを示すことにある。

著者らは、モデルの能力を判断するには単一のデータセットやタスクの性能だけでは不十分であり、複数のタスクにわたってテストすることで、相補的な強みと失敗のモードを明らかにすることが不可欠な堅牢な評価に必要であると主張している。セグメンテーションとローカライゼーションを孤立した問題ではなく、相補的なものとして扱うことで、POPSICLEは、cryoET分析の全スペクトラムにわたって動作できる将来のマルチタスク学習モデルの開発を促進することを目指している。このベンチマークは、固定された終着点ではなく、より一貫した手法比較と、cryoETデータのマルチスケールかつ不均質な構造全体に汎化できるモデルの開発を支援するために意図された、成長し続けるリソースの「スナップショット」として提示されている。