技術的概要：欠損データ補完における分布シフト

問題定式化

本論文は、欠損データ補完の根本的な課題、特に学習に用いられる観測データの分布と、評価に必要な完全データの分布との間の不一致に焦点を当てている。多くの最先端の補完手法（GAIN、MIWAE、MICE、MissForest など）はリスク最小化の枠組みの下で動作するが、欠損メカニズムによって引き起こされる分布シフトを明示的に補正することなく、観測されたエントリ上で学習を行うことが一般的である。

著者らは、完全データ分布全体にわたる平均二乗誤差（MSE）リスクを最小化する問題を定式化した。欠損の確率がデータに依存する場合（具体的には欠損無視（MAR）の仮定の下）、学習分布（観測データ）と目標分布（完全データ）は異なると示される。これは共変量シフトの問題を生じさせ、観測データ上での標準的な経験的リスク最小化は、完全データリスクに対する偏った推定量をもたらす。

手法

理論的基盤

核心的な理論的貢献は、観測データ上の重要度重み付き期待値として補完リスクを導出することである。

• リスク分解: グローバルな MSE リスクは、座標ごとのリスクの和に分解される。欠損している特定の座標 $i$ について、リスク $J_i(g_i)$ は未観測部分集団（$R_i=0$）上で定義される。
• 共変量シフトとの関連: MAR 仮定（$p(r|x) = p(r|x_{obs})$）と重なり条件の下で、著者らは未観測部分集団上のリスクを、観測部分集団（$R_i=1$）上の期待値として、重要度因子によって重み付けして書き換えられることを示す：
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  この重みは、観測群と未観測群間の共変量の周辺分布のシフトを補正する。既存の手法は、この重み付け項を暗黙的に省略しており、結果として誤った分布の最適化を行っていることが示される。

提案アルゴリズム：重み付き反復補完

この理論を実践化するため、著者らは標準的なラウンドロビン反復アプローチ（例：MICE、HyperImpute）を拡張した重み付き反復補完アルゴリズム（アルゴリズム 1）を提案する。

1. 反復フレームワーク: アルゴリズムは部分的に観測された変数を巡回する。各ステップにおいて、ターゲット変数に対する条件付き補完モデル $g_i$ を、他の全ての変数の現在の値を予測子として用いて適合させる。
2. 代理リスク: 標準的な再構成損失の最小化の代わりに、アルゴリズムは推定された重要度重みを組み込んだ代理リスクを最小化する：
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. 重み推定: 真の重みは未知の分布に依存するため、これらは各反復で（アルゴリズム 2 を用いて）欠損確率 $p(R_i=1 | \hat{X}_{\neg i})$ を推定する二値分類モデル（ロジスティック回帰）を用いて推定される。その後、重みは逆確率比として計算される。
4. 実用的な安定化: 重要度重み付けに伴う高い分散を管理するため、著者らはいくつかの安定化手法を採用する：
   • 重みを 5 パーセンタイルと 95 パーセンタイルでクリッピングする。
   • ほぼゼロの分散を持つ特徴量を除去する。
   • 重みの影響を制御する温度パラメータ $\gamma$（重みが $w_i^\gamma$ となる）を導入し、交差検証を通じて調整する。
   • 計算オーバーヘッドを削減するための $\gamma$ の調整に対する「ウォームスタート」戦略。

主要な貢献

1. 理論的定式化: 本論文は、MAR 下での補完が共変量シフト問題の集合に等価であることを厳密に確立し、観測データ分布を完全データ分布に整合させるために必要な特定の重要度重みを導出した。
2. 新規アルゴリズム: これらの重要度重みを学習目的に統合し、分布シフトを明示的に補正する、実用的なラウンドロビン反復アルゴリズムを導入した。
3. 実証的検証: 本手法は、多様なデータセット（表形式、時系列、画像データ）およびモデルクラス（線形、ランダムフォレスト、MLP）において、重み付けを行わないベースライン（同一の条件付きモデルクラスを使用）および最先端の手法と比較してベンチマークされた。

実験結果

著者らは 8 つのデータセットで自らの手法を評価し、欠損と観測共変量の間の依存関係の強さを変化させた MAR 条件をシミュレートした。

• 性能向上: 重み付けアプローチは、重み付けを行わないベースラインと比較して、一貫して平均二乗誤差（RMSE）とワッサーシュタイン距離（WD）を低減した。
  • RMSE で平均3%、ワッサーシュタイン距離で**7%**の低減。
  • 改善は、より単純なモデル（線形）および強い共変量シフト（高い MAR 依存）の状況で最も顕著であった。
• モデルの表現力: 理論的分析と実証結果は、条件付きモデルの表現力が高まるにつれて（例：ランダムフォレストや MLP）、重み付けの恩恵が減少することを示している。これはバイアス - バランスのトレードオフに起因する。高度に表現力のあるモデルは明示的な重み付けがなくても目標関数をよく近似できるが、単純なモデルはより強くこの補正に依存する。
• 下流タスク: 下流の回帰および分類タスクにおいて、重み付け補完は一般的に予測性能の統計的に有意な改善をもたらし、特に線形モデルや補完を行わないベースラインと比較した場合に顕著であった。
• 頑健性: 本手法は、欠損の主要な要因が観測データに捕捉されている限り、MAR 仮定（MNAR）の違反や重みモデルの誤指定下で、急激な失敗ではなく漸進的な性能低下を示した。
• 効率性: 計算コストは管理可能であり、複雑なモデル（RF/MLP）では実行時間が約 10% 増加するのみで、特定の実装詳細により線形モデルでは大幅な高速化が示された。

意義と主張

本論文は、分布シフトがリスクベースの補完において本質的かつしばしば見過ごされている課題であると主張する。補完を共変量シフト問題として枠組み化することで、著者らは重要度重み付けの使用に対する原理的な正当性を提供する。

• 意義は、観測データ分布と完全データ分布の間のシフトを明示的に考慮することが、より正確な補完と、基礎となるデータ分布のより良い保存（忠実度）につながることを実証している点にある。
• 著者らは自らの研究を既存のリスク最小化フレームワークに対する必要な洗練として位置づけ、この補正がなければ、補完モデルは真の推論に必要な真のデータ分布ではなく、観測データ分布に対して最適化されると論じている。
• 論文は限界について控えめであり、弱い MAR 領域や近似誤差が既に低い高度に表現力のあるモデルでは手法が限定的な利益しか提供しない可能性、および性能が重み推定の質に依存することを認めている。