FundusSigns-47: Prompt-Tuned Residual Visual Verification for Multi-Label Ophthalmic Sign Recognition

技術要約：FundusSigns-47 および SCVPT

問題提起
現実世界の眼底写真には、単一の画像内に複数の眼科的徴候が併存していることがよくありますが、自動解析はしばしば二値分類や単一疾患の分類に限定されています。このような抽象化は、網膜出血、硬性白斑、綿花状白斑などの所見が同時に出現するという、臨床的な読影の構成的な構造を捉えきれていません。さらに、マルチラベルの眼科的徴候認識には、以下の3つの具体的な技術的課題が存在します。

1. 微細な不均一性： 徴候は、広範な領域の変化から、小さな局所病変や微妙なテクスチャの変化まで多岐にわたります。
2. 深刻なロングテール分布の不均衡： 一般的な徴候は数千枚の画像に現れますが、臨床的に極めて重要であるにもかかわらず、正例がわずか数個しかない稀な徴候も存在します。
3. ラベル相関： 徴候は統計的および臨床的に相関しています。クラスを独立して扱うことは共起パターンを無視することになり、逆に相関に依存しすぎると、視覚的に類似したカテゴリにおいて偽陽性を増幅させる可能性があります。

既存の大規模ビジョン言語モデル（VLM）は、広範な視覚的・意味論的前知識を提供しますが、ドメイン固有の眼底分布、ゼロショット校正、およびロングテールなマルチラベル決定においては苦戦しています。

手法：FundusSigns-47 データセット
著者らは、47種類の臨床的に観察可能な眼科的徴候（およびメタデータとしてのみ使用される13種類の診断ラベル）が付与された、7,111枚のカラー眼底画像からなる機関内マルチラベルデータセットである FundusSigns-47 を導入しています。

• 統計： このデータセットには16,177個の正の徴候割り当てが含まれており、画像あたりの平均ラベルカーディナリティは2.27です。
• 分布： 47カテゴリのうち15カテゴリが正例画像を100枚未満しか持っており、5カテゴリは20枚未満であるという、深刻なロングテール分布を示しています。
• 多様性： 1,547個のユニークな徴候ラベルセットが存在しており、サンプルレベルの組み合わせにおける高い不均一性を示しています。
• 分割： データは、訓練用5,637枚、検証用727枚、テスト用747枚に決定論的に分割されています。

手法：Selective Candidate-Verified Prompt Tuning (SCVPT)
著者らは、マルチラベル認識における再現率（Recall）と適合率（Precision）のバランスをとるために設計された、二段階の残差視覚検証フレームワークである SCVPT を提案しています。このシステムは、候補生成（Candidate Generation）、視覚検証（Visual Verification）、および決定制約（Decision Constraint）の3つの役割を分離しています。

1. 第1段階：プロンプトチューニングされた候補生成器

   • バックボーン： 画像・テキストのバックボーンとして、事前学習済みの SigLIP2 ViT-g モデルを使用します。
   • 適応： テキストエンコーダは固定されたテキストクエリ（"a fundus photograph of [sign name]"）を用いて凍結されます。画像ブランチには、複数のトランスフォーマー層に学習可能なプロンプトトークンを挿入する Deep Visual Prompt Tuning (dVPT) が適用されます。
   • 出力： この段階では、画像埋め込みとテキストプロトタイプ間のコサイン類似度を介して候補ロジットを生成します。著者らは、ロジットスケール、最終投影、および正規化層を学習可能（"Tuned"）にすることで、標準的なDeep VPTと比較して再現率が大幅に向上することを発見しました。

2. 第2段階：残差視覚検証

   • 検証器（Verifier）： 最も強力な従来の視覚的ベースラインから初期化された、独立した InceptionV3 ブランチが、補完的な視覚的証拠を提供するために訓練されます。
   • 残差形式： 検証器は残差ロジット（$r_i$）を出力し、これは候補ロジットに加算されます。この設計は、検証器をVLMの代替ではなく、追加の視覚的証拠のソースとして扱います。
   • 選択的ルーティング： 検証器が恣意的にラベルを書き換えるのを防ぐため、選択的なクラス別ソフト活性化（selective per-class soft activation） メカニズムが残差を制約します。学習可能な重み（$w_{ic}$）が候補確率に基づいて残差を調整し、頻繁に偽陽性を生じるクラスに対しては厳格な検証を行い、再現率が重要なクラスや稀なクラスに対してはより寛容な活性化を許容します。

3. 融合と決定

   • 最終的なロジットは $s_{ic} = s^{(0)}_{ic} + \alpha w_{ic} r_{ic}$ として計算されます（$\alpha$ は学習可能なスカラー）。
   • 最終予測は、独立したシグモイド閾値処理（デフォルト0.5）によって得られます。
   • 学習は二段階で行われます。まずSigLIP2生成器を適応させ、次にそれを凍結して検証器と融合パラメータを訓練します。

主な結果
実験は、固定されたテストセットに対して、mAP、Macro-F1、Micro-F1、Macro-AUC、およびSample-F1を用いて実施されました。

• ベースライン性能： 標準的なCNN（例：InceptionV3）やTransformerは中程度の結果に留まりました。ゼロショットのSigLIP2は性能が低く（4.82 mAP）、ドメイン適応の必要性を裏付けました。
• 候補生成器： Deep VPTと出力層のチューニングを施したSigLIP2 ViT-gは、55.95 mAPおよび54.30 Macro-F1を達成し、強力なベースラインを確立しました。
• SCVPTの性能： フルモデルであるSCVPTは以下を達成しました：
  • 57.87% mAP
  • 56.15% Macro-F1
  • 65.82% Micro-F1
  • 92.40% Macro-AUC
  • 62.56% Sample-F1
• アンサンブルとの比較： SigLIP2生成器とInceptionV3の単純な独立ロジットアンサンブルは、より高いランキング指標（61.64 mAP, 66.24 Micro-F1）を達成しましたが、Macro-F1、再現率、およびSample-F1では劣りました。
• アブレーション研究の知見：
  • 残差視覚検証器の追加が、バランスの取れた指標において最も顕著な構造的利点をもたらしました。
  • 選択的ルーティングは、集計的な利得を支配するほどではありませんでしたが、強力な再現率を伴う制御された動作点を提供しました。
  • メカニズム解析により、検証器が偽陰性と偽陽念の両方の決定を修正し、特に黄斑孔や硝子体出血のような微細な徴候の性能を向上させていることが示されました。

意義と主張
本論文は、バランスの取れたマルチラベル眼科的徴候認識において、性能向上の主要な原動力は候補ゲーティング（candidate gating）単体ではなく、残差視覚検証（residual visual verification） であると主張しています。

• バランス戦略： SCVPTは、アンサンブルリング（高い適合率/ランキング性能を実現するもの）の普遍的な代替物としてではなく、Macro-F1、再現率、およびサンプルレベルのF1 を向上させるためのバランスの取れた戦略として位置付けられています。これは、併存する病変を見逃さないようにするという点で臨床的に重要です。
• 解釈可能性： 本フレームワークは、VLMが候補を提案し、視覚的検証器が選択的ルーティングメカニズムによって制約された補完的証拠を提供するという、解釈可能な構造を維持しています。
• 限界： 著者らは、本データセットが機関内のものであることを明示しており、臨床展開の前に外部検証が必要であると述べています。また、現在のルーティング規則は最適ではないこと（全ラベル残差制御の方が一部の指標で高い集計スコアを得たこと）や、固定された分割が完全には独立した患者レベルの検証ではないことも指摘しています。

結論として、プロンプトチューニングされた残差視覚検証は、将来の研究が残差ルーティングの改善と外部検証に焦点を当てる限り、微細な眼科的徴候認識に向けた有望な方向性であると述べています。