技術的概要：GazeWorld – 医用画像表現学習のための放射線科医の読影プロセスをモデル化した世界モデル

1. 問題提起

医用画像 AI の臨床応用には、主に 2 つの課題が存在します。一つは、プライバシー規制と専門家によるアノテーションの高コストに起因する、大規模かつ多様なラベル付きデータセットの不足です。もう一つは、現在のモデルが根拠を明らかにすることなく診断ラベルを出力する傾向があり、解釈性が欠如しているという点です。放射線科医の視線追跡データは、専門家の事前知識と証拠収集の時間的順序を符号化することで有望な解決策を提供しますが、既存の手法はこの信号を部分的にしか活用していません。現在のアプローチは、通常、視線を静的な空間的事前情報（例えば、ヒートマップ）として扱うか、診断推論プロセスから切り離された補助的な予測ターゲットとして扱っています。その結果、専門家がどのように検索し、比較し、証拠を蓄積するかという時間的構造は、診断表現の改善のために十分に活用されていません。

2. 手法：GazeWorld

著者は、放射線科医の診断プロセスを、画像によって定義された知覚的世界における軌道として再定義する医用画像世界モデル「GazeWorld」を提案します。視線を静的な地図として扱うのではなく、GazeWorld は読影プロセスを自己回帰的な系列としてモデル化し、放射線科医が画像をナビゲートし、各注視点で局所的な証拠を抽出して次の関心領域を決定するプロセスを捉えます。

コアアーキテクチャ

GazeWorld は、論文の図 1 に示されるように、主に 3 つのコンポーネントで構成されます。

1. パッチ表現と注視系列:

   • オンライン視覚エンコーダ（$\phi$）が医用画像 $X$ をパッチレベルのセマンティック表現の集合 $Z$ にマッピングします。
   • 放射線科医の注視系列 $F$ は、訪問の時間的順序を保持しつつ、同じパッチへの重複訪問を統合した、一意かつ順序付けられたパッチインデックス $S = (s_1, \dots, s_L)$ にマッピングされます。

2. 次注視予測ブランチ（自己回帰的）:

   • 共同埋め込み予測アーキテクチャ（JEPA）のパラダイムに従い、モデルは、これまでに訪問したすべてのパッチに基づいて、次に注視されるパッチの潜在表現を予測します。
   • 注視エンベッダ（$\psi$）は、訪問されたパッチの視覚トークンに、空間的埋め込み、時間的ランク、および注視持続時間を組み込みます。
   • 因果的 Transformer として実装された自己回帰的予測器（$g_\theta$）は、注視トークンのプレフィックスを処理し、次のパッチの表現（$\hat{z}_{s_i}$）を予測します。
   • 予測ターゲットは、オンラインエンコーダの指数移動平均（EMA）コピーであるモメンタム目標エンコーダ（$\bar{\phi}$）から導出され、ターゲットを通じた勾配の逆伝播を伴わずに安定した表現空間のターゲットを確保します。

3. 空間補完ブランチ:

   • 未訪問領域（正常であるためスキップされた場合など、臨床的に有用な場合がある）に対処するため、空間補完ブランチがすべての未訪問パッチの表現を並列に予測します。
   • 軽量なクロスアテンションデコーダは、自己回帰的予測器の出力である完全な視線コンテキスト表現を用いて、未訪問パッチの表現を推論します。

事前学習目的

モデルは、結合損失関数を用いて事前学習されます。
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
ここで、$L_{AR}$ は次注視予測のための自己回帰的損失、$L_{SC}$ は未訪問領域のための空間補完損失です。この目的は自己教師ありであり、診断ラベルは不要で、画像 - テキストペアと視線軌跡のみを必要とします。

3. 主要な貢献

本論文は、主に 3 つの貢献を概説しています。

1. Gaze 世界モデルの定式化: 著者は、放射線科医の読影プロセスを、知覚的世界における軌道として定式化する新しいアプローチを導入しました。このアプローチは、静的なヒートマップや切り離されたスキャンパス予測を超えて、専門家の視線の時間的構造を自己教師あり信号として完全に活用します。
2. GazeWorld アーキテクチャ: 彼らはこの定式化を GazeWorld として具体化し、潜在空間における視線順序の自己回帰的予測と空間補完ブランチをユニークに組み合わせました。これにより、診断コンテンツと専門家の推論の順序構造の両方を捉える表現が形成されます。
3. 表現の二重有用性: 学習された表現は、単一のモデルが正確な診断と解釈可能なスキャンパス復号の両方をサポートし得ることを示しています。凍結された GazeWorld 特徴量上で訓練された汎用デコーダは、専用スキャンパス予測器を上回っており、表現が専門家の視覚検索の順序構造を本質的に符号化していることを示唆しています。

4. 実験結果

著者は、GazeWorld を胸部 X 線写真診断およびスキャンパス予測において、CheXpert、RSNA 肺炎、SIIM-ACR 気胸の 3 つのベンチマークで評価しました。

診断性能

• 教師あり設定: 凍結された GazeWorld 特徴量は、9 つの教師あり設定（3 つのデータセット × 3 つのラベル割合：1%、10%、100%）すべてにおいて、最先端（SOTA）の AUROC を達成しました。特に、EGMA との制御比較（バックボーン、初期化、データを一致させた場合）において、GazeWorld は CheXpert の 1% ラベル設定での AUROC を 71.21 から 78.37 に向上させました。
• ゼロショット性能: GazeWorld は、3 つのベンチマークすべてで最も高いゼロショット精度を達成し、CheXpert と SIIM-ACR では F1 スコアも最高を記録しました。MedCLIP、EGMA、GLoRIA などのモデルを上回りました。
• 定性的分析: Grad-CAM 可視化は、ベースラインモデルと比較して、GazeWorld が臨床的に関連する解剖学領域に対してより集中した活性化を生み出すことを示しました。

スキャンパス予測

• プロービング実験: 凍結された GazeWorld 特徴量上で訓練された汎用デコーダを、GazeSearch ベンチマーク（ChestSearch プロトコル）で評価しました。
• 性能: 視線予測のために明示的に訓練されたわけではありませんが、GazeWorld 特徴量を用いたデコーダは、専用モデルの LogitGaze-Med を ScanMatch で16% 以上、SED（スキャンパスユークリッド距離）で22% 以上上回りました。
• 示唆: これは、世界モデルによる事前学習が、専門家の読影の順序構造を視覚表現に成功裡に符号化していることを示唆しています。

除去実験

• 順序付け: 専門家のスキャンパスをラスタースキャンやランダムな順序に置き換えると、性能が著しく低下し、証拠収集の時間的順序が重要であることを確認しました。
• コンポーネント: 自己回帰的（AR）コンポーネント単独でも強力な性能を提供しましたが、空間補完を追加することでさらに結果が向上しました。空間補完単独では性能が弱く、効果的であるためには自己回帰的コンテキストに依存していることを示唆しています。
• バックボーン: この手法は、異なる医用視覚バックボーン（MGCA、EGMA、MedCLIP）の上に適用された場合、ゼロショット性能を一貫して向上させ、その汎用性を示しました。

5. 意義と主張

本論文は、GazeWorld が、専門家が何を結論付けるかだけでなく、どのように読影するかをモデル化することで、医用画像 AI に対する有望な事前学習パラダイムを実証していると主張しています。画像を世界として、注視系列を軌道として扱うことで、モデルは診断推論の次のステップを予測することを学習します。

著者は、このアプローチが以下の点を実現すると述べています。

• 視線追跡データの豊富で自己教師ありな信号を活用することで、大規模なラベル付きデータセットへの依存を軽減する。
• 静的なアテンションマップでは提供できない解釈性の基盤を提供する。学習された表現は、専門家の推論の順序構造を保持しているためである。
• 既存の医用基盤モデルに対する補完的な微調整目的を提供し、ゼロから完全に再訓練することなく、事前学習済みエンコーダに放射線科医の読影ダイナミクスを注入する。

本研究は、胸部 X 線写真と単一の視線追跡コーパス（MIMIC-EYE）に控えめに限定されており、著者は今後の研究において、より大規模な複数読影者データセットと広範な画像モダリティの探求が必要であると指摘しています。