Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction

技術的概要：構造的に欠落した共変量を伴う分布ロバスト転移学習

問題定義
本論文は、多様な医療システムに臨床予測モデルを展開する際の重要な課題に取り組んでいる。すなわち、高リソースの「ソース」環境で訓練されたモデルが豊富な共変量 $(X, A)$ に依存しているが、「ターゲット」の展開環境では、データ収集インフラの構造的な違いにより、特定の予測性の高い共変量 $A$ が完全に欠落しているという状況である。個々の観測値が不完全である標準的な欠損データとは異なり、この「構造的欠損」は変数の集団レベルでの欠如を表す。さらに、ターゲット領域にはラベル付きのアウトカムデータが存在しないことが多く、教師あり適応や再訓練を妨げている。

既存のアプローチはこの設定では失敗する。補完法は、ターゲット領域における $A$ の分布に関する検証不可能な仮定を必要とする。共変量シフトの補正（例えば、重要度重み付け）は、観測された変数 $X$ の違いに対処するだけであり、$A$ の欠如によって失われた情報を回復することはできない。標準的な分布ロバスト最適化（DRO）は通常、全ての変数の同時分布に対して不確実性集合を構築するが、これは過度に保守的であり、安定した観測共変量と構造的に欠落した共変量を区別できない。

手法：DRUM フレームワーク
著者は、DRUM（Distributionally Robust Unsupervised transfer learning with structurally Missing covariates：構造的に欠落した共変量を伴う分布ロバスト教師なし転移学習）を提案する。これは、$A$ が欠落しているラベルなしのターゲット集団に予測モデルを転送するために設計されたフレームワークである。中核となる哲学は、$A$ を補完したり $A|X$ が安定していると仮定したりするのではなく、未知のターゲット条件付き分布 $A|X$ の不確実性集合における最悪ケースの予測性能を最適化することである。

手法は 3 つの段階で進行する。

1. 問題定式化:
   目標は、共有共変量 $X$ のみを用いて予測子 $m(X)$ を学習することである。著者はこれをミニマックス問題として定式化する。
   $$\min_{m(\cdot)} \max_{P_{A|X} \in \mathcal{C}(\delta)} \mathbb{E}_{X \sim Q_X, A \sim P_{A|X}, Y \sim P^S_{Y|X,A}} \left[ Y^2 - (Y - m(X))^2 \right]$$
   ここで、$\mathcal{C}(\delta)$ はロバスト性パラメータ $\delta$ によって制御される、ターゲット領域における $A|X$ の条件付き分布の不確実性集合である。目的関数は、ヌル予測子に対する二乗誤差の最悪ケースでの減少を最大化する。

2. 生成器ベースのパラメータ化と DRO:
   条件付き分布の無限次元空間における直接最適化は扱いにくい。DRUM は、潜在ノイズ $\epsilon$ を用いたニューラルネットワーク生成器 $g_\phi(X, \epsilon)$ によって条件付き分布 $A|X$ をパラメータ化する。

   • 不確実性集合: 不確実性集合は、エネルギー距離（Engression フレームワーク経由）を用いて定義される。集合 $\mathcal{C}_g(\delta)$ には、ソース条件付き生成器 $g^S$ からのエネルギー・スコアの偏差が $\delta$ 以下である生成器が含まれる。これにより、密度推定を必要とせずに、ソースから逸脱する条件付き分布をモデルが探索することを可能にする。
   • 最適化: 問題は双対法（primal-dual approach）によって解かれる。「最悪ケース」の生成器は、エネルギー距離の制約の下で、生成された $A$ について周辺化されたターゲット $X$ における期待二乗予測誤差を最小化するように訓練される。

3. バイアス補正（ネイマン直交性）:
   著者は、「プラグイン」推定量（生成された $A$ に対してソースのアウトカムモデル $\hat{f}(X, A)$ を平均したもの）が、$\hat{f}$ の推定から 1 次のバイアスを継承することを特定した。これを緩和するため、彼らはネイマン直交推定とクロスフィッティングに基づいたバイアス補正推定量を導出した。

   • 彼らは、生成器によって誘導される分布に一致させるために密度比 $\hat{\omega}$ によって再重み付けされたソース残差と、ターゲットのプラグイン予測を組み合わせた疑似アウトカム $F_i$ を構築する。
   • この疑似アウトカムを $X$ に対して回帰させることで、 nuisance 関数（$\hat{f}$ および密度比 $\hat{\omega}$）の 1 次の誤差に対してロバストな推定量が得られ、積率条件下でパラメトリックな収束率を達成する。

主な貢献

1. 構造的欠損のための新たな DRO フレームワーク: DRUM は、不確実性を同時分布ではなく、条件付き分布 $A|X$ に特化して分離し、不確実性集合をパラメータ化するために生成モデルを使用する。これにより、無限次元最適化の扱いにくさを回避する。
2. バイアス補正推定: 本論文は、nuisance 関数の推定誤差に対する感度を低減するバイアス除去推定量を導出した。これにより、シミュレーションおよび実世界応用における有限サンプル性能が大幅に向上する。
3. 国境を越えた OHCA 予測への応用: このフレームワークは、院外心停止（OHCA）後の神経学的予後の予測に応用され、米国 ROC 登録（豊富な救急前データ）からアジアの PAROS 登録（エピネフリン投与量や血液 pH などの救急前変数が構造的に欠落している）へのモデル転送が行われた。

結果

• シミュレーション: 線形および非線形の条件付き関係、および欠落共変量の異なる次元を持つ設定において、DRUM（特にバイアス補正版）は、標準的なベースライン（ERM、DRO、重要度重み付け）および疑似ラベル補完法を大幅に上回った。分布シフトの程度が異なる条件下で、平均および最悪ケースの正規化二乗誤差（MSE）を低く抑えた。
• 実世界応用（OHCA）:
  • 較正: シンガポール、日本、韓国に適用した際、DRUM はベースラインよりも著しく良好に較正された予測を生み出した。標準的なベースラインは、分布のシフトと欠落共変量により、好転する結果を体系的に過大評価するのに対し、DRUM は観測されたイベント発生率により近い値を追跡した。
  • 性能: DRUM-Debiased 版は、すべてのサイトにおいて最低のブライアースコアと期待較正誤差（ECE）を達成した。
  • 臨床的有用性: 臨床的トリアージに関連する固定確率閾値において、DRUM-Debiased は高い精度と特異性を示した。これは、較正された確率が、較正不良により高い偽陽性率に苦しむベースラインと比較して、より信頼性の高い陽性分類をもたらすことを示している。

意義と主張
本論文は、DRUM が臨床 AI 展開における現在の二項対立（同一のデータインフラを持つサイトにモデルを制限するか、欠落共変量を無視して予測情報を捨てるか）に対する原理的な代替手段を提供すると主張している。検証不可能な仮定に依存することなく、未観測の条件付き分布 $A|X$ における不確実性を明示的に考慮することで、DRUM は高リソースモデルを低リソース環境で展開可能にする。

著者は、この手法の主な利点は、二乗誤差を罰する最悪ケースの目的関数と一貫しているグローバルな識別力（AUROC）ではなく、較正とリスク層別化（ブライアースコア、ECE、固定閾値精度）にあることを強調している。このフレームワークは、予測に有用な共変量が訓練時には利用可能だが、展開時には欠落している、あるいは制限されているあらゆる転移学習問題に対する一般的な解決策として提示されており、アルゴリズム的公平性や医薬品の安定性予測への拡張の可能性も示唆されている。

本論文は限界について控えめに述べており、現在の生成器パラメータ化は連続共変量を仮定していること、フレームワークは現在単一のソース集団を処理すること、導出は二乗誤差と交差エントロピー損失に焦点を当てていることを指摘している。将来の方向性としては、離散型/混合型変数の処理、複数のソースを伴うフェデレーテッド学習、および時間-to-イベントデータのような構造化されたアウトカムの処理が含まれる。