技術的概要：3D 医療画像における知識転移のスケーリング則

問題定義

統一された 3D 医療基盤モデルの学習には、取得物理、解像度、臨床信号が異なる異質な画像ドメイン（例：CT、MRI、PET）を混合することが必要である。アーキテクチャや自己教師あり目的関数は広く研究されているが、最適なデータ混合設計は未解決の課題である。現在の手法は、すべての画像ドメインを交換可能とみなす均一サンプリングやデータ比例サンプリングなどのヒューリスティックな戦略に依存している。しかし、これらのアプローチは以下の 2 つの重要な経験的観察を考慮していない。

1. 異質なスケーリング：異なる医療ドメインは、学習データが増加するにつれて、異なる改善率（スケーリング）を示す。
2. 非対称な転移：ドメイン間の知識転移は方向性を持つ。あるドメインでの学習が他のドメインに大きく寄与する一方で、その逆の転移は無視できるほど小さい場合がある。

核心的な課題は、網羅的かつ計算的に実行不可能な混合アブレーション研究に頼ることなく、再構成損失を最小化し、下流タスクのパフォーマンスを最大化するために、これらの異質なドメイン間で固定された事前学習トークン予算を最適に配分する方法を決定することである。

手法

著者らは、3D 医療データの混合設計を転移を考慮したスケーリング則最適化問題として定式化した。この手法は、異質な 3D ドメイン全体で一貫して適用される制御された代理目的関数、すなわちマスク付き自動エンコーディング（MAE）の再構成損失に依存している。

1. 転移を考慮したスケーリング則

著者らは、特定のデータ混合 $h$ および総予算 $T$ におけるターゲットドメイン $i$ の MAE 検証損失 ($L_i$) を予測するための閉形式の代理モデルを導出した。このモデルは 2 つの構成要素を組み合わせる。

• ドメイン固有の自己スケーリング：各ドメイン $i$ は、単独で学習された場合、べき則に従う。
  $$L_i(T) = E_i + \frac{C_i}{T^{\beta_i}}$$
  ここで、$E_i$ は漸近的な損失フロア、$C_i$ は削減可能な損失を制御し、$\beta_i$ はスケーリング指数である。重要なのは、$\beta_i$ がドメイン間で著しく変動すること（観測範囲：0.21 から 0.76）であり、これにより一部のドメインが他のドメインよりもはるかに迅速に追加データから恩恵を受けることが示されている。

• 指向性のあるドメイン間転移：著者らは非対称な転移行列 $\tau \in [0, 1]^{K \times K}$ を導入した。ここで、$\tau_{ij}$ はソースドメイン $j$ での学習がターゲットドメイン $i$ の損失削減にどの程度効果的に寄与するかを定量化する。

  • 定義により $\tau_{ii} = 1$ である。
  • $i \neq j$ の場合、$\tau_{ij}$ はソース予算に割引を適用する。ドメイン $j$ からの $T$ サンプルは、ドメイン $i$ に対して $\tau_{ij}T$ の有効サンプルに相当する。

混合 $h$ 下でのターゲットドメイン $i$ に到達する有効予算 ($T_{eff, i}$) は、直接的な寄与と転移された寄与の合計である。
$$T_{eff, i}(h, T) = \sum_{j=1}^{K} \tau_{ij} h_j T$$

ドメイン $i$ における損失の最終的な予測代理関数は以下の通りである。
$$\hat{L}_i(h, T) = E_i + \frac{C_i}{(T_{eff, i}(h, T))^{\beta_i}}$$

2. 推定と最適化

このフレームワークは網羅的な探索を回避するために 2 つの段階で動作する。

1. パラメータ適合：小規模な「プロキシ実行」（純粋ドメイン学習と指向性のあるソースからターゲットへの学習）を用いて、著者らはパラメータ $\{E_i, C_i, \beta_i\}$ と転移係数 $\{\tau_{ij}\}$ を適合させる。これには、小規模予算（1 万〜10 万ボリューム）において $K^2$ 設定（6 ドメインの場合 36 回の実行）が必要となる。
2. 混合最適化：パラメータが推定されると、すべてのターゲットドメインにわたる予測損失の加重和を予算制約（$\sum h_j = 1, h_j \geq \epsilon$）の下で最小化することにより、最適な混合重み $h^*$ が求められる。これは勾配ベースの制約付き最適化（SLSQP）によって解かれる。

主要な貢献

1. データ配分の定式化：本論文は、6 つの異質なドメイン（腹部 CT/MRI、脳 T1/T2 MRI、頭頸部 CT/PET）全体で制御された代理として MAE 再構成損失を利用し、3D 医療画像におけるドメイン間データ配分をスケーリング則最適化問題として定式化した。
2. 転移を考慮したスケーリング則：異質なスケーリング指数 ($\beta_i$) と非対称な転移行列 ($\tau_{ij}$) を共同でモデル化する新しい法則。これは小規模なプロキシ実行から導出された計算依存型の混合最適化のための閉形式の代理関数を与える。
3. ハブと島の構造の発見：学習された配分は、解釈可能な構造を明らかにする。
   • ハブ：広範な外向き転移を持つドメイン（例：ABD-CT）はハブとして機能する。ここで予算を配分することは、同時に複数の他のドメインに利益をもたらす。
   • 島：内向き転移が弱いドメイン（例：HN-PET）は島として機能する。ハブからの知識は効果的に転移しないため、これらには直接的な投資が必要である。
4. 経験的検証：導出された「転移を考慮した」配分は、標準的なヒューリスティック（均一、データ比例、転移無視）を上回り、未見の予算に対して正確に外挿する。

結果

スケーリング則のパフォーマンス

• 損失削減：転移を考慮した配分は、テストされたすべての予算（1 万から 20 万）において最低の MAE 損失を達成する。予算 5 万において、データ比例サンプリングよりも平均 MAE 損失で**58%**上回る。
• 外挿：10 万までの予算で適合させたモデルは、保持された 20 万の予算に対して高い精度で外挿する（予測損失：0.0227 対 観測損失：0.0224；相関係数 $r=0.989$）。
• 効率性：この手法は推定にプロキシ実行 36 回のみを必要とするのに対し、混合単体全体に対する網羅的なグリッド探索には数千回の実行が必要である。

下流の臨床タスク

事前学習されたエンコーダは、臓器/病変のセグメンテーションや疾患分類を含む教師ありタスクで微調整された。

• セグメンテーション：転移を考慮した事前学習は、6 つのセグメンテーションベンチマーク（AMOS、BraTS、HECKTOR、BHSD）全体で最良の Dice スコアを達成し、データ比例のベースラインを 0.6 から 4.7 ポイント上回った。
• 分類：この手法は、脳 MRI（OASIS-1）、脳 PET（SynBrain-PET）、腹部 CT（OrganMNIST3D）の分類タスクにおいて、最高精度と AUC を達成した。
• 相関：下流タスクにおけるパフォーマンスの順序は、MAE プロキシ損失の順序と一致しており、プロキシ目的関数の妥当性が検証された。

構造的洞察

• 非対称性：転移行列は高度に非対称である。例えば、ABD-CT は ABD-MRI に対して強く転移する（$\tau=0.56$）が、HN-PET に対しては弱く転移する（$\tau=0.04$）。
• 配分のシフト：最適な戦略は、「ハブ」（ABD-CT、約 24%）と「島」（HN-PET、約 56%）に予算を集中させるが、データ比例サンプリングはデータセットサイズに基づいて配分し、均一サンプリングは均等に配分する。
• 増幅：直接的な配分が低いドメイン（「フロア」ドメイン）は、ドメイン間転移を通じて 3.7 倍から 6.1 倍の有効予算増幅を達成したが、それでもベースラインを上回った。

意義と主張

本論文は、データ配分がスケーラブルな 3D 医療基盤モデルの主要な設計軸であると主張する。ヒューリスティックな混合選択から、分析的で転移を考慮した最適化フレームワークへ移行することで、実務家は以下のことができる。

1. 計算コストの削減：小規模なプロキシ実行を用いて大規模な最適な混合を予測することで、網羅的な混合アブレーション研究の必要性を排除する。
2. 表現の向上：モダリティを超えた多様な臨床タスク（セグメンテーションと分類）により効果的に転移する、より強力な事前学習表現を生成する。
3. ドメイン関係の理解：医療画像ドメインの内在的な「ハブと島」のトポロジーを明らかにし、どのドメインが知識の普遍的なソースとして機能し、どのドメインが専用のデータ収集を必要とするかという実行可能な指針を提供する。

著者らは限界について控えめであり、転移寄与の線形結合は大規模における相乗的な相互作用を捉えきれていない可能性や、転移行列が現在、予算依存ではなく静的として扱われていることを指摘している。しかし、結果は、現在の 3D 医療環境では第一次の転移が支配的であることを示唆しており、提案されたフレームワークは異質な医療データ混合を最適化するための実用的かつ効果的なツールとなっている。