技術要約：計算病理学のためのマルチレゾリューション・ピラミッド・トランスフォーマー（MRPT）

問題提起

計算病理学（CPath）は、ギガピクセル規模のホールスライド画像（WSI）の解析に依存しており、これらの画像は本質的に階層的かつマルチレゾリューション（多解像度）な構造を持っています。これらの画像には、細胞形態（核の異型性、核分裂像）から組織構造（腺管の組織化）、そしてグローバルなコンテキスト（組織の不均一性）に至るまで、様々な空間スケールおよび解像度の診断パターンが含まれています。熟練した病理医は、これらの様々な空間スケールと解像度（例：10×、20×、40×）にわたる証拠を日常的に統合して、正確な診断を下します。

しかし、既存の最先端（SOTA）の基盤モデルには、以下のような重大な限界があります：

1. 単一解像度へのバイアス： ほとんどのVision Transformer（ViT）や基盤モデル（UNI、CONCH、QuiltNetなど）は、単一解像度のパッチで事前学習されており、WSIの解釈に不可欠な「粗から細へ」のコンテキストの階層構造を捉えることができません。
2. グローバル・コンテキストの喪失： パッチレベルのモデルはWSI全体のグローバルな空間コンテキストを欠いており、一方でWSIレベルのモデル（GigaPath、SlideChatなど）は、固有の階層的組織やマルチレゾリューション間の依存関係を考慮せずにパッチを統合してしまうことがよくあります。
3. 不適切なマルチレゾリューション統合： マルチレゾリューション・データを利用しているモデルもありますが、それらは解像度を独立した入力として扱ったり、病理医の診断ワークフローを模した解像度間の明示的な依存関係をモデル化できなかったりすることが多いです。

手法：MRPT および MRPT-LLaVA

著者らは、細胞から組織、そしてWSIレベルへとマルチレゾリューション情報を階層的に集約するように設計された基盤モデルである、**マルチレゾリューション・ピラミッド・トランスフォーマー（MRPT）**を提案しています。このアーキテクチャは、3段階の自己教師あり学習（SSL）パラダイムに基づいています。

1. 階層的データ構造

モデルは、3つの解像度（10×（粗）、20×（中）、40×（細））における整合された領域のトリプレット（$R_i$）を抽出することで、WSI（$M$）を処理します。各領域はパッチ（$P_j$）に分割され、さらに細胞レベルのトークン（$C_{j,k}$）へと分解されます。この共登録（co-registration）により、異なるスケール間での空間的な整合性とコンテキストの完全性が保持されます。

2. コア・アーキテクチャ：連続的クロスレゾリューション・アテンション（CCRA）

MRPTの中核となる革新は、マルチレゾリューションViTモジュールであるmViTP-C内に実装された**連続的クロスレゾリューション・アテンション（CCRA）**メカニズムです。

• 生物学的インスピレーション： このメカニズムは、病理医の「ズームイン・ズームアウト」を行うワークフローを模倣しており、解像度をスキップするのではなく、連続する解像度のペア（10× ↔ 20× および 20× ↔ 40×）に対してクロスアテンションを制限します。これにより、セマンティックな連続性が確保され、ミスマッチが最小限に抑えられます。
• メカニズム： CCRAモジュールは、連続する解像度の[CLS]トークンの平均化と、それをより細かいシーケンスへの追加を通じて、解像度間の情報を融合します。これらの平均化されたトークンは情報キャリアとして機能し、アテンションを介してパッチ・トークンと相互作用することで、粗い表現と細かい表現の両方を豊かにします。
• 効率性： 平均化された[CLS]トークンに対して単一のベクトル・クエリを使用することで、計算量は二次関数的ではなく線形に保たれます。

3. 3段階の事前学習パイプライン

MRPTは、6億2,400万個のパッチ、240万個の領域、および3万6,000個のWSI（TCGAおよびCPTACから）を含む大規模なデータセットを用いて事前学習されています。

• ステージ1（細胞レベル）： mViTP-Cモジュールは、CCRAを用いてマルチレゾリューション表現を学習します。生徒ネットワークは、3つの解像度すべてにわたるローカルおよびグローバルなビューを処理するDINOベースのSSLを介して、教師ネットワークと整合を図ります。
• ステージ2（パッチレベル）： 学習された細胞レベルの埋め込みは、パッチレベルのトークンへと集約され、ViTR-Pに投入されます。このステージでは、より広い組織レベルのコンテキスト関係を学習します。
• ステージ3（領域/WSIレベル）： パッチレベルの特徴量は領域レベルのトークンへと集約され、ViTM-Rに投入されて、包括的なマルチレゾリューションWSIレベルの埋め込みを生成します。

4. MRPT-LLaVA：マルチモーダル推論

MRPTを複雑なタスクへ拡張するために、著者らはマルチモーダル大規模言語モデル（MLLM）であるMRPT-LLaVAを導入しています。

• 統合： これは、MRPTのマルチレゾリューション階層表現をLLaVAアーキテクチャと組み合わせたものです。
• 学習： 3段階のパイプライン（クロスモーダル・アライメント（WSI-レポート対）、特徴空間のアライメント、およびWSI-Benchデータセットを用いた視覚的指示チューニング）に従います。これにより、モデルは視覚的質問応答（VQA）、キャプション生成、およびレポート生成を実行できるようになります。

主な貢献

1. マルチレゾリューション階層的SSL： マルチレゾリューション表現と階層的表現を共同でモデル化する3段階のSSLパラダイムの導入により、微細な細胞特徴とグローバルな組織コンテキストの両方の学習を可能にしました。
2. CCRAメカニズム： ViTアーキテクチャ内における、生物学的に着想を得た新しい連続的クロスレゾリューション・アテンションメカニズム。これは、セマンティックな一貫性を維持しながら、解像度を横断して細胞情報を効率的に統合します。
3. MRPT-LLaVA： マルチレゾリューション階層WSI表現を活用して複雑なVQAタスクを実行する、CPath特化型のMLLMの開発。これにより、既存のパッチレベルおよび単一解像度WSIレベルのモデルを凌駕しています。

実験結果

著者らは、分類、VQA、キャプション生成、およびレポート生成をカバーする34の多様なデータセットを用いて、MRPTおよびMRPT-LLaVAを評価しました。

• パッチレベルの性能：

  • ゼロショット分類： MRPTベースのモデルは平均精度**83.66%を達成し、次点のSOTAであるPathGen-CLIP（73.60%）を約10%**上回りました。
  • リニアプローブ： 平均精度**92.75%を達成し、GigaPath（86.12%）を6.63%**上回りました。
  • VQA： 既存のMLLMと比較して、クローズドエンドVQAタスクで約23%、オープンエンドVQAタスクで約20%の大幅な向上を示しました。

• WSIレベルの性能：

  • 分類： MRPT-LLaVAはゼロショット設定において0.806のバランス精度を達成し、TITAN（0.751）を上回りました。リニアプローブ設定では、MRPTは0.898のバランス精度を達成し、TITAN（0.845）よりも大幅に高い数値を示しました。
  • VQAおよびレポート生成： MRPT-LLaVAは、WSI VQAにおいて**80.77%**の精度（WSI-LLaVAの72.57%に対し）を達成し、WSI-BenchおよびHistGenデータセットにおけるレポート生成指標（BLEU、ROUGE、METEOR）においても優れた性能を示しました。

• アブレーション研究： 実験により、性能の向上は単なる事前学習データの規模ではなく、構造的設計（マルチレゾリューション入力、CCRA、トークン融合、および3段階のSSL）に由来することが確認されました。

重要性と主張

本論文は、MRPTがWSIの階層的かつマルチレゾリューションな性質を明示的にモデル化することにより、現在のCPath基盤モデルにおける決定的なギャップを埋めるものであると主張しています。専門の病理医の診断ワークフロー（局所的な細胞の詳細とグローバルな組織構造の統合）を模倣することで、モデルは堅牢で汎用性が高く、臨床的に意味のある表現を実現しています。

著者らは、そのアプローチが以下の点において優れていると断言しています：

• 多様なCPathタスクにおいて、最新の基盤モデルおよびMLLMを凌駕していること。
• 単一解像度モデルが本質的に逃してしまう補完的な情報を、スケールを横断して捉える統一されたフレームワークを提供していること。
• CCRAメカニズムを通じて生物学的に解釈可能なアーキテクチャを提供し、解像度間の相互作用がセマンティックに一貫していることを保証していること。

本研究は、MRPTを、患者レベルの包括的な理解に向けた重要なステップとして位置付けており、ゲノミクスや放射線学などのマルチモーダル・データとの統合に向けた将来的な可能性を秘めています。