$μ$Match: Foundation Models for Semi-supervised Learning and Domain Adaptation in EM

µMatchのテクニカルサマリー：電子顕微鏡における半教師あり学習およびドメイン適応のための基盤モデル

問題提起
電子顕微鏡（EM）は、ナノスケールでの細胞微細構造を解析するための極めて重要なモダリティである。しかし、光顕微鏡やコンピュータ断層撮影（CT）といった他のイメージングモダリティと比較して、ビジョン基盤モデル（VFM）をEMに適用することは限定的であった。この制限は、セグメンテーション・タスクの多様性（核、ミトコンドリア、神経突起など）と、包括的にアノテーションされたデータの不足に起因している。その結果、EMのセグメンテーションは依然として教師あり学習に大きく依存しており、これは広範な手動アノテーションを必要とし、微細構造解析のスケールアップを阻害している。特定のオルガネラ（ミトコンドリアなど）に対する初期の基盤モデルは存在するものの、多様なEMオルガネラのための包括的な基盤モデルは存在せず、既存の手法はEMドメインにおけるVFMを半教師あり学習（SSL）およびドメイン適答（DA）のフレームワークへと体系的に統合できていない。

手法
著者らは、VFMを活用してEMにおける半教師あり学習とドメイン適応を可能にする統一フレームワークであるµMatchを提案する。その手法は、以下の3つのコアコンポーネントで構成される：

1. 基盤モデルによる初期化： 本フレームワークは、セグメンテーション・ネットワーク（具体的にはUNETRアーキテクチャ）のエンコーダを、SAM、SAM2、µSAM（光顕微鏡およびEM用のドメイン特化型バリアント）、およびDINOv2/v3を含む様々なVFMの重みを用いて初期化する。これらを、スクラッチから学習させた標準的なUNetと比較する。
2. 生徒・教師学習（Student-Teacher Learning）： µMatchは、EM向けに適応させた3つの最先端の生徒・教師手法を実装している：
   • Mean Teacher： 生徒と教師の両方に弱い拡張（weak augmentations）を用い、生徒の重みの指数移動平均（EMA）を通じて教師を更新する。
   • FixMatch： 教師には弱い拡張を加えたビューを、生徒には強い拡張（strong augmentations）を加えたビューを入力し、重みを共有し、疑似ラベル生成のために信頼度閾値を使用する。
   • UniMatch v2： 教師には1つの弱いビューを、生徒には2つの強いビューを使用し、特徴マップへの補完的なドロップアウトを取り入れることで堅牢性を高める。
   • 学習戦略： フレームワークは、疑似ラベル化されたピクセルに対して無監督損失（Dice loss）を適用する前に、意味のある教師の予測を確保するための教師ありウォームアップフェーズ（1,000イテレーション）を採用する。ここで、信頼度閾値（$t_c$）を超えるもののみが対象となる。
3. 学習設定： フレームワークは以下の3つの設定で評価される：
   • 教師あり学習： ラベル付きデータのみで学習。
   • 半教師あり学習（SSL）： 同一ドメイン内の少量のラベル付きデータと、より大規模なラベルなしデータを用いて学習。
   • ドメイン適応（DA）： ラベルが完全に付与されたソースドメインで事前学習を行い、その後、UDA（ラベルなしのターゲットドメイン）またはSSDA（少量のラベル付きターゲットドメイン）のいずれかを用いてターゲットドメインで学習を行う。

主な貢献

• VFMの体系的な評価： 核、ミトコンドリア、および神経突起のセグメンテーションにおいて、複数の基盤モデル（SAM、SAM2、µSAM、DINOv2/v3）を、教師あり、SSL、およびDAの設定を横断して包括的に評価した。
• SSL/DA手法の実装： 境界およびアフィニティ出力に対する特有の拡張戦略などのEMデータの特有の課題に対処するため、Mean Teacher、FixMatch、およびUniMatch v2をEMタスク向けに適合させ、評価した。
• アブレーション研究： 信頼度閾値戦略（固定 vs 動的スケジューリング）の影響と、ラベル付きデータの量の変化による影響を調査した。
• 多様なデータセットによるベンチマーク： Drosophila、マウス、ヒトを含む異なる生物種や撮像条件をカバーする、Seymour（核）、MitoEM（ミトコンドリア）、CREみ（神経突起）、および様々なMitoEM v2条件を含む幅広いデータセットを用いて実験を行った。

結果

• 教師あり学習： VFMによる初期化は、スクラッチからの学習を大幅に上回る。具体的には、SAMベースの重み（SAM、SAM2、µSAM）で初期化されたUNETRモデルが最良の結果を得た。核のセグメンテーションでは、最良のUNETR（DINOv3）は、スクラッチ学習のUNetのmSA 0.097に対し、0.456に達した。ミトコンドリアについては、µSAM-lmによる初期化がUNetベースラインより11%向上した。DINOv2/v3バックボーンは、概してSAMベースのモデルよりも性能が低かった。
• 半教師あり学習（SSL）： SSLはすべてのタスクとデータセットにおいて一貫して性能を向上させた。
  • 核： µSAM-emバックボーンを用いたUniMatch v2が最高のmSA（0.574）を達成し、教師ありベースライン（0.375）から大幅に向上した。
  • ミトコンドリア： SAM初期化を用いたMean Teacherが最良の結果（mSA 0.503）をもたらし、教師ありモデルより約7.6%、UNetベースラインより約16%向上した。
  • 神経突起： SAM初期化を用いたUniMatch v2が最高のCREMIスコア（0.435）を達成した。
  • 観察事項： これらのEMタスクにおいては、FixMatchは一貫して教師ありベースラインと比較して性能の低下を招いた。
• ドメイン適応（DA）： 著しく異なるデータセット間（例：SeymourからFAFB/MICrONSへ）の転移においては、ターゲットドメインで直接学習した純粋なSSLが、DAアプローチ（UDAおよびSSDA）よりも優れた性能を示した。これは、現在のEMにおける大きなドメインシフトが、標準的なDA戦略の有効性を制限していることを示唆している。しかし、分布のずれが小さい場合（例：特定のMitoEM v2条件）には、SSDAが改善を示した。事前学習済みモデル（MitoNet、µSAM）のゼロショット性能は概して低く、ファインチューニングの必要性を浮き彫りにした。

意義と主張
本論文は、VFDを半教師ありおよびドメイン適応のフレームワーク内で効果的に活用することで、EMにおけるアノテーションの労力を大幅に削減する道筋を確立したと主張している。著者らは、VFMが教師あり設定において莫大なブーストを提供する一方で、それらを生徒・教師型のSSLフレームワークに統合することが、強力なベースラインに対して一貫した、かつ有意な改善をもたらすと強調している。

本研究は以下のように結論付けている：

1. SAMベースのモデルは、EMセグメンテーションタスクにおいて最も効果的な初期化手法であるが、DINOバリアントはこの文脈では恩恵をもたらさない。
2. 生徒・教師型SSLはEMにとって非常に有益であり、Mean Teacherは性能と計算コストの堅牢なトレードオフを提供し、UniMatch v2は計算リソースが許容する場合に最良の結果を提供する。
3. EMにおけるドメイン適応は、大きなドメインシフトによって現在制限されており、ソースドメインからのDAよりもターゲットドメインでのSSLの方が優れた結果をもたらすことが多い。しかし、この手法はドメインシフトが小さいシナリオにおいては有望である。
4. 本フレームワークは、ユーザーがアノテーションしたデータに対するファインチューニングを容易にするため、既存の顕微鏡ツール（µSAMなど）に統合できるように設計されており、それによって微細構造解析における手動アノテーションのボトルネックに対処する。