A Fine-Grained Benchmark for Ophthalmic Foundation Models with Point-Based Classification and Retrieval

技術要約：点ベースの分類と検索を用いた眼科用基盤モデルのための細粒度ベンチマーク

問題提起
汎用的なビジョン基盤モデルは、多様なタスクにおいて汎用性を示しているが、眼科用基盤モデル（例：RETFound、UrFound、OCT-CUBE）の評価は、主に疾患レベルの分類とセグメンテーションという狭い観点から行われてきた。これらの従来のベンチマークは、臨床医が診断に至る前に特定の局所的な臨床徴候（例：網膜出血、網膜下液）を特定するという、実際の臨床的推論プロセスを反映できていない。既存の評価では、モデルがこれらの細粒度な徴候を認識し、それに基づいて画像を検索する能力が見落とされることが多く、その結果、モデルが学習した内容の本質的な限界が隠されてしまう可能性がある。さらに、疾患分類における強力な識別性能が、徴候レベルでの堅牢な画像理解に必ずしも結びつくのか、あるいは汎用モデルがドメイン特化型の事前学習なしに眼科画像に効果的に一般化できるのかについても、依然として不明である。

手法
著者らは、臨床的に関連のある臨床徴候の位置を示すための疎な点アノテーションを利用した、2つの異なるタスクからなる細粒度評価フレームワークを提案している。本研究では、11の基盤モデル（8つの眼科特化型および3つの汎用モデル）を、2つの撮像モダリティ（糖尿病網膜症（DR）および加齢黄斑変性（AMD）のためのカラー眼底写真（CFP）、およびAMDのための光干渉断層計（OCT））にわたって評価した。

• データセット： 評価は、4つの新規にキュレーションされた内部データセット（HYU-DR-CFP、HYU-AMD-CFP、HYU-AMD-OCT、Yonsei-AMD-OCT）と、6つの確立された外部データセット（IDRiD、ADAM、UK Biobank、Beijing Eye Study、Ural Eye and Medical Study、Central India Eye and Medical Study）を含む計10のデータセットに及んだ。
• タスク1：点教師あり疾患分類： モデルを線形分類ヘッドを用いて微調整し、点教師あり損失（モデルのアテンションマップとガウス平滑化された点マップとの間のコサイン類似度）を用いた。これにより、モデルが臨床医によって特定された領域に注目するように促した。性能は、CFPにおけるDRおよびAMDに対するQuadratic Weighted Kappa (QWK)、およびOCTにおけるAMDに対するマクロ平均F1スコアを用いて測定された。
• タスク2：点誘導による臨床徴候ベースの画像検索： このタスクでは、タスク固有の適応を行わずに、事前学習された表現の固有の質を評価した。特定の徴候に対する点アノテーションを持つクエリ画像に対し、モデルは同じ徴候を含むギャラリー画像を検索した。徴候特異的な検索を確実にするため、類似度は画像レベルではなくパッチレベル（空間位置における最大コサイン類似度）で計算された。性能は、Mean Average Precision (mAP) を用いて測定された。
• アブレーションと分析： アテンション・プロービング（凍結された特徴量に対してヘッドを学習させる）および中間層の特徴量分析を含め、性能の差が特徴量エンコーディングによるものか、あるいは検索メカニズムによるものかを判断した。

主な貢献

1. 新しい評価フレームワーク： 疾患レベルの分類を超え、個々の臨床徴候の細粒度な認識と検索を評価するための、点アノテーションに基づくベンチマークを導入した。
2. 包括的なベンチマーク： CFPおよびOCTの両方のモダリティをカバーし、多様な集団と撮像デバイスを含む10のデータセットにわたって11の基盤モデルを評価した。
3. 公開リリース： さらなる研究を促進するため、評価フレームワークおよびキュレーションされたデータセット（HYUおよびYonseiデータセット）を公開した。
4. 点アノテーションに関する実証的証拠： 点アノテーションが、分類の微調整だけでなく、より重要なことに、精密な臨床徴候の検索を可能にする上で有意義な信号を提供することを実証した。

結果

• 分類（タスク1）： 汎用モデル（DINOv3-Large、Perception Encoder-Large）は、内部検証において眼科用モデルに匹敵するか、それを上回る適応性を示した。しかし、外部検証においては、大規模な眼科データセットで事前学習された眼科用モデル（特にRETFound-DINOv2およびVisionFMのバリアント）が優れた一般化能力を示し、ランキングを維持または向上させた。
• 検索（タスク2）： 眼科用基盤モデルは、臨床徴候の検索において明確かつ一貫した優位性を示した。VisionFMのバリアント（CFPおよびOCT）が、データセット内およびクロスデータセットの双方の検索タスクで支配的であった。対照的に、汎用モデルは分類性能は高いものの、検索においては苦戦し、しばしば下位半分にランクされた。
• 徴候レベルの性能： 眼科用モデルと汎用モデルの差は、疾患徴候が稀で不均衡であったUK Biobankの集団スクリーニングコホートにおいて、最も顕著となった。
• 点アノテーションの影響： 点教師あり学習は、すべての設定において分類性能に統計的に有意な向上をもたらし、特に汎用モデルにおいて大きな改善が見られた。検索においては、点アノテーションは極めて重要であり、これがない場合、モデルは特定の徴候を共存する他の特徴から効果的に区別できなかった。VisionFMのバリアントは、検索タスクにおいて点教師あり学習による最大の利得を示した。
• パッチ精度： 検索性能にはばらつきがあったものの、VisionFMのバリアントは、検索されたパッチが実際にクエリされた臨床徴候を含んでいることを保証する上で最も一貫していた。

意義と主張
本論文は、強力な分類性能は、モデルが徴候レベルの特徴量エンコーディングを学習したことを保証するものではないと主張している。疾患分類のみに焦点を当てた従来のベンチマークは、モデルの表現能力における根本的な限界を隠蔽してしまう可能性がある。本研究は以下のことを示している：

• ドメイン事前学習の重要性： 汎用モデルは微調整を通じて眼科タスクに適応できるが、ドメイン特化型の事前学習は、未知のデータに対する極めて重要な一般化の優位性を提供し、堅牢な徴候レベルの検索には不可欠である。
• 理解のプロキシとしての検索： 特定の臨床徴候に基づいて画像を検索する能力は、分類単独よりも厳格な画像理解のテストである。なぜなら、それはモデルに、データセット固有のショートカットに頼るのではなく、特定の情報を分離することを要求するからである。
• 点アノテーションの価値： 点アノテーションは、高密度なセグメンテーションに代わる軽量な手段として機能し、モデルが臨床的に意味のある信号を学習するように効果的に導き、徴候レベルの検索における曖昧さを解消する。

著者らは、基盤モデルがユニバーサルなバックボーンとして位置付けられる中で、評価は分類精度を超えて、学習された表現が診断の根拠となる臨床観察に基づいているかどうかを判断するレベルにまで拡張されるべきであると結論付けている。そして、そのような細粒度な臨床的特徴のエンコーディングを明示的に促進する事前学習目的関数を求めている。