CiUNet: A Hybrid Swin-CNN UNet for Medical Image Segmentation

CiUNetの技術的要約：医療画像セグメンテーションのためのハイブリッドSwin-CNN UNet

問題提起
医療画像のセグメンテーションには、特にプライバシー保護が重要となる商用展開において、高い精度、堅牢性、および計算効率のバランスが求められます。U-Netアーキテクチャは長らく標準となってきましたが、純粋な畳み込みニューラルネットワーク（CNN）は、畳み込み固有の局所性により、長距離のグローバルな依存関係を捉えることに苦慮します。一方、Swin-UNetのような純粋なTransformerベースのアーキテクチャは、自己注意機構（self-attention）を通じて長距離の依存関係をモデル化することに長けていますが、以下の3つの具体的な制限に直面します：畳み込みによる帰納バイアス（inductive bias）の欠如による局所的なテクスチャ詳細の保持不足、スキップ接続における不適切な特徴伝播による空間再構成の不正確さ、そして深いデコーダアーキテクチャにおける解釈性の限定および学習の不安定性です。

手法
著者らは、純粋なTransformer設計の欠点を軽減しつつ、U-Netパラダイムの効率性を維持するように設計された軽量なハイブリッドU字型アーキテクチャであるCiUNetを提案しています。コアとなる手法は、以下のコンポーネントで構成されます。

1. 非対称デュアルエンコーダフレームワーク： 単一のSwinエンコーダの代わりに、CiUNetは並列アーキテクチャを採用しています。

   • Swinブランチ： グローバルな意味論的推論の主要なバックボーンとして機能するために、Swin Transformerエンコーダ（Swin-Tinyの学習済み重みで初期化）を利用します。
   • CNNブランチ： 局所的な空間詳細と高解像度のテクスチャを明示的に捉えるために、並列の軽量なResNetエンコーダを統合します。
   • 凍結戦略： 学習済みの視覚的事前知識を活用するため、両ブランチの初期層の特長抽出モジュールを凍結し、学習可能なパラメータを後続のダウンサンプリング層に限定します。
   • 動的融合： 専用の融合モジュールが両ブランチからの特徴を統合します。これは動的に動作し、両方のブランチから特徴が提供される場合は結合して軽量なネットワークを通じて処理され、片方のみが存在する場合は恒等写像（identity mapping）を介して伝播されます。注目すべき点として、ボトルネック層はSwinブランチのみから派生し、最も浅い層（Layer0）はCNNブッチのみによって提供されます。

2. XSkipメカニズム（Cross-Skip）： 意味的なギャップに対処し、失われた空間解像度を回復するために、著者らは標準的なスキップ接続をXSkipモジュールに置き換えています。このメカニズムは、空間アテンションを用いて浅いCNNの特徴を深いデコーダ層へと整列・伝播させます。これには、深いデコーダの特徴と融合する前にチャンネルを圧縮するためのバイリニア補間と1×1畳み込みが含まれており、より鮮明な境界確定を保証します。

3. 強化されたデコーダとアテンション： デコーダは、デュアルエンコーダ設計に対応するために非対称に構築されています。これは、バイリニア補間を用いた洗練されたアップサンプリング操作と、軽量な動的重み付けメカニズムを組み込んでいます。さらに、アテンションメカニズムは、異なる入力スケール間での汎化性能を向上させるために、離散的な座標インデックスを連続的な回帰アプローチに置き換えた、Swin Transformer V2のLogSpacedCPB（Log-Spaced Continuous Positional Bias）を採用しています。

4. マルチレベル補助監督（Multi-Level Auxiliary Supervision）： 学習の安定性と深い特徴の解釈性を向上させるため、中間デコーダ出力（具体的にはLayer1およびLayer2）に**補助監督ヘッド（Aux-Head）**を装着しています。これらのヘッドは、中間レベルでのセグメンテーション予測を生成するために軽量な残差ブロックを利用し、マルチレベルの勾配ガイダンスを提供します。この設計は、並列CNNブランチによってもたらされる深い特徴の強化された解釈性によって可能となります。

5. 学習戦略：

   • カリキュラム学習： 学習セットの複雑さを段階的に増加させるマルチステージ戦略が採用されています。初期段階では焦点となる臓器（膵臓、胆嚢）を含むスライスに焦点を当て、後半の段階では背景が支配的なスライスおよび全データセットの分布を取り入れます。
   • 損失関数： 最適化目標は、ピクセルレベルの分類（Focal Loss）、リージョンレベルの重複（動的な境界重み付けを伴うWeighted Dice Loss）、および境界整合性（HausdorffER Loss）の3つの幾何学的制約を組み合わせたものです。

主な貢献
本論文は、3つの主要な貢献を概説しています。

1. 非対称デュアルエンコーダフレームワーク： ローカルな空間詳細を明示的に捉えるための並列ResNetエンコーダをSwin Transformerに補完させる導入。
2. XSkipメカニズム： 高解像度の詳細を回復し境界精度を向上させるために、空間アテンションを介して浅いCNN特徴を選択的に整列・伝播させる新しいデコーダ拡張。
3. マルチレベル補助監督： CNNブランチによって提供される意味的な明瞭性を活用し、収束を加速させ、深いTransformerデコーダの解釈性を高めるための補助ヘッドの統合。

実験結果
モデルは、8つの腹部臓器のアノテーションを含む30件の造影CTスキャンで構成されるベンチマーク、SynapseマルチオーガンCTデータセットで評価されました。

• 性能： CiUNetは、平均Dice Similarity Coefficient (DSC) 83.72%、および95% Hausdorff Distance (HD95) 12.13 mmを達成しました。
• 比較： 本モデルは、オリジナルのSwin-UNet (79.13% DSC)、TransUNet (77.48%)、およびMISSformer (81.96%)を上回りました。また、大幅に少ない学習パラメータ数（31.68M）でありながら、Swin-UNETR (83.48%)やHiFormer-L (80.69%)といった強力なベースラインと同等の性能を維持しました。しかし、論文では、CiUNetの性能はnnFormer (86.57% DSC)やUNETR++ (87.22%)のような最先端（SOTA）の手法と比較すると最適とは言えないことが指摘されています。
• 臓器別性能： CiUNetは、胆嚢 (79.47%) および両側の腎臓 (左: 91.39%、右: 91.27%) において優れた性能を示しました。膵臓 (59.31%) と胃 (76.00%) に関する性能は、3Dモデルと比較して最適ではないことが記されています。
• アブレーション研究： 実験により、フレームワークのアップグレードのみでDSCが81.40%に向上したこと、XSkipメカニズムが境界精度をさらに高めたこと（HD95が11.26 mmに低下）、および補助監督が最終的なピーク性能への収束を加速させたことが確認されました。

意義と主張
論文は、CiUNetを、臨床展開に適した正確、効率的、かつ解釈可能なソリューションとして位置付けています。その商業的実現可能性に関する重要な主張は、エンコーダとデコーダの固有の分離によって可能となるプライバシー保護型SaaSモデルです。著者らは、機密性の高い患者のCT画像を軽量なエンコーダ層でローカルに処理し、重いデコーダ計算のために高レベルの意味的特徴ベクトルのみをクラウドに送信することで、安全な病院・クラウド間のコラボレーションを促進できると主張しています。

著者らは、偽陽性への指標の偏り、スライス間のコンテキストを欠く2D処理による小臓器に対する性能差、およびドメイン固有の医療用事前学習ではなく自然画像用の学習済みバックボーン（Swin-TinyおよびResNet）を使用していることによる最適ではない側面など、限界についても認めています。結論として、CiUNetは精度と効率の良好なバランスを提供しているものの、今後の課題として、スライス間の認識能力の向上および専用の医療用事前学習戦略への対応が挙げられています。

注：商業的な理由により、著者らは、Synapseデータセットで学習された重みと軽量なデモ予測器のみを公開しており、完全な実装は公開していないと述べています。