Semi-supervised linear regression with missing covariates

この論文「Semi-supervised linear regression with missing covariates（欠損共変量を伴う半教師あり線形回帰）」は、ラベル付きデータに欠損値が含まれる場合、かつラベルなしデータ（または共分散行列の知識）が利用可能な場合の線形回帰問題に対する統計的推定手法と理論的限界を研究したものです。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記します。

1. 問題設定と背景

• 背景: 実世界のデータセットでは、応答変数（$Y$）の欠損と共変量（$X$）の欠損が同時に発生することが一般的です。しかし、既存の研究の多くは、欠損を「応答変数のみ」または「共変量のみ」として別々に扱っており、両方が混在する状況、特にラベルなしデータを活用する半教師あり学習の文脈での理論的考察が不足していました。
• 欠損パターン:
  • 非構造化欠損 (Unstructured): 各変数が独立して欠損する sporadic なパターン（例：アンケートの回答漏れ）。
  • 構造化欠損 (Structured/Blockwise-missing): 変数のグループ（モダリティ）単位で欠損するパターン（例：MRI と PET 画像など異なる検査ソースからのデータ統合、電子カルテのプライバシー制限によるデータ欠落）。
• 目的: ラベル付きデータ（欠損あり）とラベルなしデータ（完全観測または共分散行列既知）を組み合わせて、回帰係数 $\beta^*$ を推定し、その minimax リスク（最悪ケースの推定誤差）を特徴づけること。

2. 提案手法

論文では、低次元（パラメータ数 $p$ がサンプル数 $n$ より小さい）と高次元（$p \gg n$、スパース性あり）の両方の設定に対して推定量を提案しています。

A. 低次元設定 (Low-dimensional setting)

• 基本アプローチ: 欠損データを補完（Imputation）し、重み付けを行う手法。
• 推定量の構成:
  1. 補完: 欠損している共変量 $X_{M_k}$ を、観測された共変量 $X_{O_k}$ と共分散行列 $\Sigma$ を用いて条件付き期待値 $\hat{X}_{M_k} = \Sigma_{M_k O_k}\Sigma_{O_k O_k}^{-1} X_{O_k}$ として推定（補完）します。
  2. 重み付け: 単なる補完だけではバイアスが生じるため、各欠損パターン $k$ に対して重み $D_k$ を導入した重み付き最小二乗法を解きます。
     $$\hat{\beta} = \arg \min_{\beta} \sum_{k=1}^K \sum_{i \in I_k} \hat{D}_k \left( Y_i - (X_i)_{O_k}^T \hat{P}_k \beta \right)^2$$
     ここで、$\hat{P}_k$ は共分散行列の推定値を用いた変換行列です。
  3. 重みの決定: 理想的な重み（Oracle weights）は、完全ケースの分散と欠損ケースの分散の比率に基づきます。ラベルなしデータから共分散行列を推定することで、この重みをデータ駆動で推定可能です。
• 半教師あり (OSS) と理想半教師あり (ISS):
  • OSS: ラベルなしデータから共分散行列 $\Sigma$ を推定して使用。
  • ISS: 共分散行列 $\Sigma$ が既知であると仮定（理論的な洞察のため）。

B. 高次元設定 (High-dimensional setting)

• スパース性: 回帰係数 $\beta^*$ がスパース（非ゼロ成分が $s$ 個）であると仮定。
• 手法: LASSO の代わりに、Dantzig Selector の修正版を使用します。
  • 従来の LASSO 型アプローチは、欠損データによる共分散行列の推定が非凸問題になったり、正則化パラメータの調整が困難になる課題がありました。
  • 提案手法は、Wang et al. (2019) の Dantzig Selector を拡張し、ラベルなしデータから得られる共分散行列の推定値 $\hat{\Sigma}$ と、ラベル付きデータから得られる $\hat{\gamma} = \widehat{E[XY]}$ を用いて以下の線形計画問題を解きます。
    $$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
  • この手法は、構造化・非構造化の両方の欠損パターンに対応可能です。

3. 主要な貢献と理論的結果

論文は、提案された推定量のリスク上限（Upper Bound）と、その最適性を示すリスク下限（Lower Bound）を導出しました。

A. 低次元における結果

• リスク上限: 提案推定量の MSE が、以下の項に比例することを示しました。
  $$\text{Risk} \asymp \frac{\sigma^2 p}{\rho n_L} + \frac{\|\beta^*\|^2 p}{\rho^2 n_L + N}$$
  ここで、$n_L$ はラベル付きサンプル数、$N$ はラベルなしサンプル数、$\rho$ は欠損率に関連するパラメータです。
• ラベルなしデータの効果:
  • 非構造化欠損の場合、ラベルなしデータ $N$ を利用することで、実効的な観測率が $\rho$ から $\rho^{1/2}$ に向上します。
  • 構造化欠損（単純な単調欠損パターン）の場合、ラベルなしデータを利用することで、実効的な次元数が $p$ から欠損している変数の数 $p_0$ に減少します。これは、ラベルなしデータがない場合（完全ケース分析）には達成できない改善です。
• 下限の一致: 導出した上限は、新たに証明した Minimax 下限と一致しており、推定量のレート最適性が確認されました。

B. 高次元における結果

• レート最適性: 高次元スパース設定においても、提案する Dantzig Selector 型推定量が Minimax レートに達することを示しました。
  $$\text{Risk} \asymp \frac{s \log p}{\rho n_L} + \frac{s \log p}{\rho^2 n_L + N}$$
• Wang et al. (2019) の予想の解決: ラベルなしデータがない場合（$N=0$）の下限について、Wang et al. (2019) が提起した予想を解決し、欠損パターンに依存した厳密な下限を導出しました。
• 既存手法との比較: 既存のブロック欠損用推定量（例：DISCOM）と比較して、提案手法はより強い保証（より低いリスク上限）を提供し、特にモダリティ間のサンプル数に偏りがある場合や、3 つ以上の欠損パターンがある場合に優位性を示します。

4. 実験と実データ適用

• シミュレーション:
  • 単調欠損パターンや非構造化欠損パターンにおいて、提案手法が完全ケース分析（CC）、単純な補完法、既存の半教師あり手法（SS）、Robins et al. (1994) の手法などを上回る性能を示しました。
  • 特に、重み付けステップ（reweighting）の重要性と、ラベルなしデータが推定精度を大幅に向上させることを確認しました。
• 実データ適用（カリフォルニア住宅データ）:
  • 合成欠損を導入した California housing dataset に対して手法を適用しました。
  • 結果、ラベルなしデータを利用する OSS 推定量は、完全ケースの最小二乗推定量よりも係数推定誤差（MSE）を有意に減少させました。特に、欠損変数以外のモダリティ（地理的変数など）の推定精度が向上しました。

5. 意義と結論

• 理論的意義: 欠損データと半教師あり学習を組み合わせた線形回帰の Minimax レートを初めて体系的に特徴づけました。ラベルなしデータが、欠損データの問題において「次元の削減」や「観測率の向上」という形でどのように寄与するかを数学的に証明しました。
• 実用的意義: 医療データ（ADNI, MIMIC など）や環境データなど、多様なソースから集められ、欠損パターンが複雑でラベル取得コストが高い分野において、利用可能なデータ（ラベルなしデータ）を最大限に活用するための堅牢な手法を提供します。
• 手法の汎用性: 非構造化・構造化の両方の欠損パターン、低次元・高次元の両方の設定に対応する統一的な枠組みを提示しました。

総じて、この論文は欠損データと半教師あり学習の交差点における統計的推論の基礎を確立し、実用的なアルゴリズムと理論的保証を提供する重要な研究です。