Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

技術要約：分類を超えて：核分裂像検出エンコーダーとしての病理基盤モデル

問題提起
UNI、Virchow、H-Optimusなどの病理基盤モデル（FM）は、膨大なラベルなし病理組織データセットを用いた自己教師あり学習を活用することで、画像レベルおよびパッチレベルの分類タスクにおいて強力な性能を示している。しかし、それらの高密度物体検出タスクにおける有用性は依然として不明である。具体的には、主に画像レベルの自己教師あり学習によって訓練されたこれらのFMの潜在空間が、核分裂像（MF）を検出するために十分な識別能と空間的解像度を備えた特徴量を保持しているかどうかは分かっていない。核分裂像の検出は腫瘍学における予後層別化のために極めて重要なタスクであるが、それは意味的な要約ではなく、微細な空間的局在化を必要とする。細胞レベルのパイプラインへのFMの統合に関する過去の試み（CellViT++など）では、強力な分類表現が必ずしも検出へと転移するわけではなく、ゼロから訓練されたモデルに劣る場合があることが示されている。本研究では、凍結されたFMバックボーンが、核分裂像検出においてエンドツーエンドで完全に訓練された畳み込みベースラインに対抗できるかどうかを調査する。

手法
著者らは、マルチドメインのMIDOG++データセットおよびアウトオブドメイン（OOD）のTUPAC16データセットを用いて、凍結された病理FMと従来の畳み込みベースラインを比較する体系的な評価を行った。

• バックボーン: 6種類のViTベースのFMを、厳密に凍結された特徴抽出器として評価した（UNI、UNI2-h、Virchow、Virchow2、H-Optimus-0、H-Optimus-1）。これらを、エンドツーエンドで完全にファインチューニングされたものと、凍結されたものの2種類のResNet-50ベースラインと比較した。
• 検出ヘッド: 各バックボーンは、異なるパラダイムを代表する3つの異なる検出アーキテクチャと組み合わされた：
  • シングルステージ：RetinaNet
  • ツーステージ：Faster R-CNN
  • トランスフォーマーベースの集合予測：Deformable DETR
• アーキテクチャの適応: ViTバックボーンは単一スケールの特徴マップを出力するのに対し、検出器はマルチスケールの階層を必要とするため、凍結されたバックボーンと検出ヘッドの間に、軽量な特徴ピラミッドネック（ViTDetのデザインに基づく）を挿入した。このネックは、単一スケールの表現をマルチスケールの高密度予測に適応させる役割を担う、唯一の学習可能なコンポーネントであった。
• 訓練プロトコル: すべてのモデルは、同一のデータ拡張（反転、アフィン変換、染色ジッターリング）および最適化設定（AdamW、コサイン/ステップ学習率スケジュール）を用いてMMDetectionフレームワーク内で訓練された。評価指標には、マイクロ平均F1、適合率、再現率、および自由範囲動作特性曲線下の面積（FROC-AUC）が含まれた。

主な結果
本研究は、MIDOG++テストセットおよびTUPAC16 OODセットにおいて、以下の性能特性を得た：

1. 凍結FMの競争力: 最良の凍結FM構成（H-Optimus-0とRetinaNetの組み合わせ）は、MIDOG++において0.7718のF1スコアを達成し、完全にファインチューニングされたResNet-50ベースライン（F1 0.7917）に肉薄した。注目すべきは、凍結されたFMが凍結されたResNet-50ベースライン（最良F1 0.7498）を大幅に上回ったことであり、これは、その優位性が単なるバックボーンの凍結という行為ではなく、病理特異的な事前学習に由来することを示している。
2. 検出ヘッドの影響: パフォーマンスは検出ヘッドによって大きく変動した。RetinaNetは最も信頼性の高いヘッドであり、ResNet-50ベースライン、H-Optimus-0、およびVirchowにおいてトップのF1スコアを記録した。Faster R-CNNおよびDeformable DETRは、バックボーンに応じてより変動的な結果を示した。
3. アウトオブドメインへの堅牢性: TUPAC16データセットでは、パフォーマンスの順序が逆転した。最高となるF1スコア（0.7349）は、凍結されたFM（H-Optimus-0とRetinaNet）によって達成され、最良のResNet-50構成（0.7193）を上回った。これは、凍結されたFMの特徴が、ソースドメインで訓練された完全にファインチューニングされた畳み込みネットワークよりも、ドメインシフトに対してわずかに堅牢であることを示唆している。
4. バックボーンのランキング: FMの中では、病理特異的なH-Optimusモデル（0および1）が一般的に高い性能を示し、次いでVirchowファミリーが僅差で続いた。UNIおよびUNI2-hは後塵を拝した。

意義と主張
本論文は、現在の病理FMの凍結された潜在空間は、バックボーンの重みのタスク特異的な適応なしに、核分裂像のような小さな物体の局在化をサポートするのに十分な、豊富かつ空間的に解像されたものであると結論付けている。著者らは以下のことを主張している：

• 空間情報の存在: 画像レベルの自己教師あり学習のみで訓練されているにもかかわらず、これらのモデルは、軽量なネックとヘッドによって回収可能な、核分裂像のような小さな物体を局在化するために必要な空間情報をエンコードしている。
• 堅牢性: 凍結されたFMは、この特定の検出設定において、完全にファインチューニングされたベースラインを超える程度のドメインシフトに対する堅牢性を示す。
• 設計上の示唆: 本研究は、検出ヘッドおよびネックの選択が極めて重要であり、特定の基盤モデル間の差異をしばしば上回ることを強調している。

著者らは、これらの結果は「凍結された」表現における情報を特徴づけている点に注意を払い、パラメータ効率の良いファインチューニング（例：LoRA）を用いることで、エンドツーエンドで訓練されたモデルとの残りの差を埋められる可能性があると考えているが、そのような適応が観察されたアウトオブドメインの堅牢性を維持できるかどうかは依然として未解決の問いである。本研究は、基盤モデルが分類における確立された役割を超え、高密度な病理検出タスクのための実行可能なバックボーンであることを立証している。