How reliable is deep learning segmentation of the infant brain? Variability and failure analysis of segmentation pipelines under a common protocol in 51 infants aged 1 to 9 months

技術要約：乳児脳MRIにおけるディープラーニング・セグメンテーションの信頼性と変動性

問題提起
ディープラーニングによるセグメンテーションは、乳児の脳容積や形態計測データを導出するためにますます活用されている。しかし、生後1年目は特有の課題を提示する。それは「等強度の時期（isointense period）」（およそ生後4〜8ヶ月）であり、T1強調およびT2強調MRIの両方において灰白質と白質のコントラストが低く表現されるため、成人の脳向けに設計された手法は精度が低下する。現在の評価慣行は、多くの場合、パイプラインの順位付けに単一の平均Diceスコアに依存している。著者らは、このアプローチが、再学習による変動、交差検証の分割効果、そしてコホートの平均値に不釣り合いな影響を与えかねない稀ではあるが壊滅的なスキャン単位の失敗といった、重要な変動性を覆い隠してしまうと主張している。本研究の目的は、観察されたパイプライン間の差異が、真の性能差を反映しているのか、それとも統計的なノイズや失敗モードを反映しているのかを定量化し、そのようなツールを検証するための堅牢な報告テンプレートを導出することである。

手法
本研究では、51名の乳児（年齢1.0〜9.4ヶ月）から得られた71件のT1強調およびT2強調MRIの訪問データを含む、公開データセット「Baby Open Brains (BOB)」を用いた遡及的な計算機評価を実施した。これには31件の専門家による修正済み参照セグメンテーションが含まれる。

• 評価対象パイプライン: 以下の4つの異なるディープラーニング・パイプラインをエンドツーエンドのシステムとして比較した：
  1. nnU-Net: 自己構成型の3D CNN。
  2. 3D TransUNet: 畳み込みとTransformerのハイブリッド。
  3. Swin UNETR: シフトウィンドウ（shifted-window）Transformer。
  4. STSNet: 小さなターゲットに適応させた2.5D CNN（隣接スライスのコンテキストを使用）。
  • また、これら4つのアウト・オブ・フォールド予測のボクセル単位の多数決による**クロスフィット・コンセンサス（cross-fitted consensus）**も生成された。
• 実験設計:
  • 被験者分離型交差検証（Subject-Disjoint Cross-Validation）: データ漏洩を防ぐため、同一の乳児からのすべての訪問データを同じフォールドに割り当てる5分割法を用いた。
  • 被験者重み付け集計: 各乳児内で指標を平均した後、繰り返し訪問のある乳児が結果を支配しないよう、51名の乳児に対して等しく重み付けして平均した。
  • 指標: Dice類似係数（Dice）、正規化表面Dice（NSD@1mm）、95パーセンタイル・ハウスドルフ距離（HD95）、および平均対称表面距離（ASSD）。空の予測（empty predictions）については、定義済みのポリシーに従って処理した（重複指標についてはゼロを割り当て、表面指標からは除外）。
• 統計解析: ペア・ウィルコクソンの符号付順位検定（Holm補正付き）、Cohen's d 効果量、および線形モデリングを用いて、パイプライン項の寄与度と他の要因（体積、表面積対体積比、年齢）を評価した。再学習による変動は、同一フォールド上での反復実行によって測定し、分割による変動は、フォールド間の差異を比較することで評価した。

主な結果

• 精度性能: コンセンサス・パイプラインが最も高い平均Dice（0.8867）を達成し、次いで3D TransUNet（0.8805）、Swin UNETR（0.8772）、nnU-Net（0.8722）となった。STSNet（2.5D）は有意に低い性能（0.7868）であった。
• パイプラインの変動性: 3つの3Dパイプラインの間で、「パイプライン」項がDiceの分散に寄与する割合はわずか 0.134% であった（$p=0.177$）。すべてのペアの平均差の信頼区間にゼロが含まれており、標準化された効果量は小さかった（$|d| \le 0.22$）。
• 分散の要因:
  • 再学習による変動: 極めて小さい（フォールド平均の標準偏差 $\approx 0.0005–0.0016$）。
  • 分割による変動: 有意に大きい（フォールド間の標準偏差 $\approx 0.0258$）。nnU-NetとSwin UNETRの間の性能差の方向性は、フォールドによって逆転した。
• 失敗分析:
  • 稀な失敗: 2つの特定のスキャンが、失敗と統計的異常の大部分を引き起こした。1つのスキャンはnnU-Netにおける5件すべての空の予測の原因となり、もう1つのスキャンは3D TransUNetにおける唯一の空の予測の原因となった。
  • 平均値と中央値の不一致: nnU-NetとSwin UNETRの比較において、平均差は負（$-0.0050$）でありSwin UNETRの方が優れていることを示唆していたが、中央値は正（$+0.0072$）であり、51名中42名の乳児においてnnU-Netが勝利していた。この逆転は、これら2つの影響力の強いスキャンによって完全に引き起こされた。
• コンセンサスの有用性: クロスフィット・コンセンサスは、すべての空の予測を排除し、3D TransUNetに対してわずかな平均Diceの向上を実現したが、その向上の信頼区間にはゼロが含まれていた。
• 幾何学的および年齢の影響: Diceスコアは、構造物の表面積対体積比と強い負の相関を示した（$\rho = -0.836$）。等強度の時期におけるコントラストの変化にもかかわらず、セグメンテーション性能と暦年齢または画像コントラストとの間に有意な関連は見られなかった。

主な貢献

1. 変動性の定量化: 本研究は、適切に構成された3Dパイプラインにおいて、平均性能の差はフォールドごとの分割変動や稀で壊滅的な失敗の影響によって、本来の性能差を圧倒してしまうことを示している。
2. 失敗モードの特定: 単一のスキャンがコホートレベルの統計を左右し、平均、中央値、あるいはランクに基づく指標のいずれを用いるかによって結論が矛盾し得ることを浮き彫りにした。
3. 報告テンプレート: 今後のベンチマークのために、9項目からなる報告テンプレート（表6）を提案した。これには、被験者分離型分割、明示的な空の予測に関するポリシー、再学習/分割の変動の報告、および失敗の集中度の調査が含まれる。
4. コンセンサスのベースライン: 単純な多数決コンセンサスが、追加の学習なしに全セグメンテーション失敗（空のマスク）を排除できることを示し、ロバスト性のベースラインとして確立した。

意義と主張
本論文は、適切に構成された3つの3Dディープラーニング・パイプラインが、困難な1〜9ヶ月齢の範囲において、高い精度（平均Dice > 0.87）で乳児の脳をセグメントできることを主張している。また、年齢やコントラストへの依存性は検出されなかったとしている。

しかし、著者らはこれらの知見の一般化可能性について、慎重かつ控えめな姿勢を維持している：

• 同等性の証明ではない: 3Dパイプライン間に統計的に有意な差が見られなかったことは、同等性を証明するものではない。なぜなら、事前に設定された同等性マージンが存在しないからである。
• 評価による信頼: AIセグメンテーションツールの信頼性は、単なるヘッドラインの平均スコアではなく、どのように評価されているか（例：変動、失敗数、および分割の安定性の報告）に依拠すべきであると著者らは主張している。
• 限界: 本研究は単一のサイトからの単一のコホートに限定されており、外部検証は行われていない。また、このサンプルにおいて年齢効果が検出されなかったことは、他の場所でもそのような効果が存在しないことを証明するものではないと明記されている。
• 臨床的安全: 本研究は公開データセットを用いた研究評価であり、著者らは臨床的な安全性や展開の準備態勢については一切主張していない。

結論として、本論文は、現在の3Dディープラーニング・パイプラインは乳児神経画像研究において有望であるが、信頼できる形態計測推論を保証するためには、単一のスコアによるリーダーボードを超えて、変動性、失敗モード、およびロバスト性を報告する体制へと移行しなければならないと示唆している。