技術的概要：コホートベースの能動的モダリティ取得（CAMA）

問題定義

現実世界のマルチモーダル機械学習は、特定のデータモダリティが欠落している、取得にコストがかかる、または入手が侵襲的であるという制約下で動作することが多い。能動学習（AL）、能動特徴取得（AFA）、能動的モダリティ取得（AMA）といった既存のパラダイムは、個々のサンプル（多くの場合、トレーニング中またはテスト時のサンプルレベル）の取得を最適化することに焦点を当てているが、コホートレベルのリソース配分という特定の課題に対処できていないことが多い。

医療などの多くの実用的なシナリオでは、予算は患者ごとに柔軟なものではなく、リソース固有のもの（例えば、MRI スキャンの固定数やプロテオミクス検査の助成金）である。ここで扱われる中心的な問題は以下の通りである：初期段階で利用可能なモダリティのサブセットのみが存在する$N$個のサンプルからなるコホートと、1 つの特定の費用のかかる欠落モダリティを取得するための固定予算$\beta$が与えられたとき、コホート全体のグローバルな性能指標（例えば、AUROC、AUPRC）を最大化するために、どのサンプルのサブセットを選択すべきか？

この設定は**コホートベースの能動的モダリティ取得（CAMA）**と呼ばれ、従来の研究とは異なり、意思決定のレベルを個々のサンプルからコホートへとシフトさせ、個々の予測精度だけでなく、コホートのグローバルな識別性能を最適化することを目指している。

手法

1. 問題定式化

著者らは、CAMA を最適化問題として形式化した。$D = \{(x_i, y_i)\}_{i=1}^N$をデータセットとし、各サンプル$i$は$P$個のモダリティを持つが、観測されるのはサブセット$P^{avail}_i$のみであるとする。目的は、欠落モダリティを取得するために、$|S| = \beta$を満たす部分集合$S \subseteq \{1, \dots, N\}$を選択することである。

• スコア: このフレームワークは以下のスコアを区別する：
  • $s^{avail}_i$: 利用可能なモダリティを用いたスコア。
  • $s^{acquired}_i$: 利用可能モダリティ＋取得モダリティを用いたスコア（「オラクル」スコア）。
  • $\{s^{imp}_{i,k}\}_{k=1}^K$: 生成モデルを用いて$s^{acquired}_i$を推定する$K$個の補間スコアの集合。
• 目的関数: $S$内のサンプルについて更新されたスコアベクトル$s(S)$を用いたグローバル指標$Metric(y, s(S))$を最大化する。

2. 取得関数（AF）戦略

最適化問題を厳密に解くことは計算的に困難であるため、著者らはサンプルをランク付けするためのヒューリスティックな取得関数（AF）を提案する。これらは以下のように分類される：

• オラクル戦略: 真のラベルと$s^{acquired}_i$を完全に知っているという仮定に基づく理論的上限。グローバル指標における最大の限界利益をもたらすサンプルを貪欲に選択する。
• 上限ヒューリスティック: $s^{acquired}_i$は知っているが$y_i$は知らないという仮定に基づくラベル非依存戦略。真の不確実性の減少、ランクの変化、または確率分布間の KL 発散などの指標に依存する。
• 補間ベースの戦略（提案）: これらは、実際にデータを取得することなく、生成モデル$f_{imp}$を用いて反事実的スコア$\{s^{imp}_{i,k}\}$を推定する。戦略には以下が含まれる：
  • 期待 KL 発散: 補間分布が基準から最も大きく乖離するサンプルを優先する。
  • 期待ランク変化: コホートのランクで大きく変化すると予想されるサンプルを優先する。
  • 期待不確実性減少: 不確実性が最も減少すると予想されるサンプルを優先する。
  • 期待確率: 平均的な補間確率が高いサンプルを優先する。
• ベースライン: 取得前の情報のみを使用する戦略（例：ベースラインの不確実性）またはランダム選択。

3. モデルアーキテクチャ

提案されたアーキテクチャは、識別遅延融合モデルと生成補間モジュールを組み合わせたものである（図 2）：

• 識別コンポーネント: モダリティ固有のエンコーダ（画像用 ViT、テキスト用 BERT など）と融合分類器を備えた遅延融合モデル$f$。これは$s^{avail}_i$を生成する。
• 生成コンポーネント: 欠落モダリティの条件付き分布$p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$を近似するように訓練された生成モデル$f_{imp}$（拡散トランスフォーマーまたはベータ条件付き VAE として実装）。
• 訓練: モデルは、二値交差エントロピー（識別用）と生成損失（変分束またはデノイジング目的）の組み合わせ損失でエンドツーエンドに訓練される。重要なのは、訓練中に生成出力が分類器から分離されていることである。分類器はデータ漏洩を防ぐためにアテンションマスクを介して利用可能なモダリティのみで訓練され、一方、生成モジュールは潜在埋め込みの再構成を学習する。

主な貢献

1. CAMA 設定: グローバルな予算制約下で単一の固定モダリティのサンプルを優先する、新しいテスト時・コホートレベルの取得設定の形式化。
2. AF の理論的枠組み: 標準的な評価指標（AUROC、AUPRC）に基づいた取得関数の導出。これには上限ヒューリスティックと補間ベースの戦略の定義が含まれる。
3. 新しいアーキテクチャ: テスト時に反事実的推論を可能にするために、識別遅延融合と生成補間（特に IMDer [64] の概念を適用）を統合したハイブリッドアーキテクチャ。
4. 包括的な評価: 最大 15 のモダリティと 10 万サンプルを有する多様なデータセット（UK Biobank、MIMIC-Symile、MIMIC-HAIM、MOSEI）における広範な実証的検証。

実験結果

著者らは 4 つのデータセットで手法を評価し、二値分類タスクに焦点を当てた。

• 性能: 補間ベースの KL 発散戦略は、ほとんどのデータセットと指標において、不確実性ベースやランダム選択を含むすべての非オラクルベースラインを一貫して上回った。
• ヒューリスティックとの比較: 「True（オラクル知識）」ヒューリスティックは上限を提供したが、補間ベースの KL 発散戦略は、多くの場合、対応するラベル非依存の上限ヒューリスティックに近づき、場合によっては（例えば MOSEI など）それを上回る性能を示した。
• スケーラビリティ: この手法は、UK Biobank データセット（約 10 万サンプル、15 モダリティ）でスケーラビリティを示し、全身性エリテマトーデス（SLE）の予測に対するプロテオミクスデータの取得を効果的に導いた。
• アブレーション研究: レイヤー正規化、ラベルスムージング、訓練中の生成モジュールと分類器の分離など、主要なアーキテクチャ上の決定が、安定性と性能にとって不可欠であることが判明した。
• 効率性: DDPM は強力な性能を提供したが、ベータ条件付き VAE は性能とのトレードオフを伴うものの、より高速な推論の代替手段を提供した。

意義と主張

本論文は、CAMA が、特に単一の高価なモダリティを大規模なコホートに配分する必要がある、リソース制約のある環境におけるモダリティ取得の最適化に対する効果的なアプローチを提供すると主張している。

• 実世界への関連性: 著者らは、固定予算が高価な検査を受ける患者の戦略的選択を必要とした UK Biobank プロテオミクスプロジェクトを主な例として挙げており、彼らの手法はこのような意思決定のためのデータ駆動型の枠組みを提供する。
• リソース効率: 単なる局所的不確実性の減少ではなく、欠落モダリティの取得が最大のグローバル利益をもたらすサンプルを優先することで、限られたリソースの有用性を最大化する。
• 限界: 著者らは、現在の研究は単一の指定されたモダリティと固定コストに焦点を当てており、モダリティとサンプルの両方を同時に選択する、または不均一なコストを扱うというより複雑な問題からは除外されていることを認めている。また、評価には（UKB を除き）合成の欠落パターンが使用されており、専用の公平性分析はまだ含まれていないことも指摘している。

結論として、この研究は、特に期待 KL 発散を活用する補間ベースの取得関数が、コホートレベルのリソース配分を効果的に導き、理論的な取得戦略と実用的な予算制約付きマルチモーダル学習応用の間のギャップを埋めることができることを確立している。