Conformal Calibration for Multi-Modal Regression with Missing Modalities

技術要約：マルチモーダル回帰におけるコンフォーマル・キャリブレーション（欠損モードへの対応）

問題提起
表形式データ、テキスト、画像などの多様な入力ソースを統合するマルチモーダル回帰システムは、信頼性の高い不確実性推定値を生成する上で大きな課題に直面している。これらのソースを融合させることは、点予測の精度を向上させる一方で、標準的なコンフォーマル予測手法は通常、単一のグローバルな分位量を用いて予測区間を構築する。このグローバルなアプローチは、入力データの異なるレジーム間で平均化されてしまうため、ソース間の合意、衝突、あるいはテスト時に特定のモダリティが欠損している場合における、区間の信頼性の系統的な違いを考慮できていない。その結果、単一の周辺被覆率（marginal coverage）の保証は、困難なサブグループ（例：不一致が高い、またはデータが欠損している場合）における過小被覆を隠蔽し、容易なケースにおける効率性を損なう可能性がある。本論文は、入力のパターンやソース間の不一致に基づき、予測区間の幅を適応させつつ、厳密な有限サンプル被覆保証を維持するキャリブレーション層の必要性に取り組んでいる。

手法
提案手法は、固定されたベース予測器と、ソースごとの補助予測器のセットの周囲で動作するモダリティ認識型コンフォーマル・キャリブレーション層を導入する。コアとなるメカニズムは、不一致スコア（disagreement score）とモダリティの可用性によって駆動される2つの補完的な戦略である。

1. 不一致スコアの構築:
   各例 $x$ に対して、各ソースの予測器 $g_k$ は、それぞれのソースブロック $x^{(k)}$ から予測値 $\hat{y}_k$ を生成する。不一致スコア $d(x)$ は、これらソースごとの予測の標準偏差として定義される：
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   ここで、$A(x)$ は利用可能なソースの集合である。ソースが1つしかない場合、$d(x)=0$ となる。

2. 不一致に基づくスケーリング・キャリブレーション（連続的アプローチ）:
   この手法は、不一致スコアに基づいて予測区間の幅を連続的に再配分する。スケーリング関数 $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ が、コンフォーマル化分位点回帰（CQR）のスコアに適用される。パラメータ $\gamma$ はチューニング・スプリット上で選択され、キャリブレーション前に固定される。

   • メカニズム: 非適合度スコアは $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$ として正規化される。
   • 効果: 不一致が高いとスケーリング係数が大きくなり、区間が広がり、不一致が低いと区間が狭まる。
   • 保証: スケーリング規則がキャリブレーション前に固定されているという条件下で、標準的な周辺スプリット・コンフォーマル被覆保証（$1-\alpha$）を維持する。

3. モンドリアン（層化）キャリブレーション（離散的アプローチ）:
   この手法は、不一致スコア（ビン化されたもの）またはモダリティの可用性レジーム（例：「テキスト欠損」、「画像欠損」）によって定義される、事前に指定された層（strata）に対して、個別のキャリブレーション分位量を構築する。

   • メカニズム: キャリブレーション・セットは層 $h$ に分割される。各層に対して、個別の分位量 $\hat{q}_h$ が計算される。
   • 保証: 層の定義がキャリブレーション前に固定されており、かつキャリブレーション・データとテスト・データがキャリブレーション前のデータに対して条件付きで交換可能である場合に、有限層の条件付き被覆保証を提供する。

4. 欠損モダリティの処理:
   本フレームワークは、「レジーム」層を定義することで、欠損モダリティを明示的に扱う。ストレス・テストでは、「マスク一致型（mask-matched）」の再キャリブレーションが使用され、キャリブレーション・サンプルはテスト・サンプルと同じ欠損マスクを用いて変換される。これにより、存在しないソースに対して予測を捏造することなく、特定の欠損データ・レジームに対する被覆率を回復させることが可能になる。

主な貢献
本論文は、主に以下の4つの貢献を行う。

1. 不一致スコアの定義: コンフォーマル・スコアが計算される前に構築される、ソースごとの回帰予測から導出されるモデルに依存しない不一致スコアを定義した。
2. 不一致スケーリング型CQR: このスコアを正規化されたスプリット・コンフォーマルCQRに組み込み、キャリブレーション前のスケーリング決定および妥当性のための厳密なスプリット条件を提示した。
3. モンドリアン構成: モダリティの可用性または不一致レベルに基づく、層内での被覆のための形式的な構成を提供した。
4. 包括的な評価: 様々なベース予測器（XGBoostの点予測/分位点回帰、SEMFアンサンブル）を用い、4つのマルチモーダル・データセット（Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI）を通じて手法を評価した。

実験結果

• 効率と被覆: 60組の実行（4データセット $\times$ 3予測器 $\times$ 5シード）全体において、不一致スケーリング法は、区間連続ランク確率予測誤差（CRPS）において60ケース中59ケースで、区間幅において60ケース中52ケースで、周辺コンフォーマル・ベースラインと同等またはそれを上回る結果を示した。経験的な被覆率は、目標とする95%に近い値（0.949 vs 0.949）を維持した。
• 不一致レジーム: 本手法は、不一致が低い例では区間を狭め、不一致が高い例では区間を広げることに成功し、標準的な周辺キャリブレーション下で見られる高不一致ビンでの過小被覆を修正した。
• 欠損モダリティ: 欠損モダリティを用いたストレス・テストにおいて、「マスク一致型再キャリブレーション」（モンドリアン・キャリブレーションの特殊なケース）は被覆率を大幅に回復させた。最も困難な固定マスク・レジーム（IMDB-WIKIでタブラーデータのみの場合）において、被覆率は（0.758から0.953へと）19.5パーセントポイント回復したが、これに伴い区間幅も増加した（125%）。
• 堅牢性: 結果は、勾配ブースティング決定木やSEMFデコーダーから派生したモンテカルロ・アンサンブルを含む、異なるベース予測器にわたって一貫していた。

意義と主張
本論文は、マルチモーダル回帰システムのためのシンプルでモデルに依存しない信頼性レイヤーを提供すると主張している。その意義は以下の点にある：

• 融合とキャリブレーションの分離: このレイヤーは、あらゆる固定ベース予測器（決定木、ニューラルネットワーク、アンサンブル）と動作し、融合モデルの再学習を必要としない。
• 適応的な不確実性: 「一律の」グローバルな分位量を超え、入力レジーム（合意、衝突、または欠損）の特定の信頼性を反映した不確実性推定を可能にする。
• 厳密な保証: ヒューリスティックな調整とは異なり、すべてのデータ駆動型の選択（不一致スケールや層の定義を含む）をキャリブレーション前に固定する厳格なスプリット・プロトコルに従うことで、厳密な有限サンプル被覆保証（周辺または条件付き）を維持する。
• 実用的な有用性: モダリティの可用性が動的な、展開済みのモデルに対する実用的なソリューションを提供し、入力分布がシフトした場合（例：センサーの欠損やテキストの破損）でも、不確実性推定が有効であることを保証する。

著者は謙虚であり、保証は適合、チューニング、およびキャリブレーション・データの厳格な分離に依存していること、また、スカラーの不一致スコアはすべてのソースを平等に扱うため、クロスモーダルな依存関係やソースごとの信頼性の違いを見逃す可能性があることを指摘している。本手法は、新しい融合アーキテクチャではなく、既存のシステムを改善するためのラッパーとして提示されている。