Deep learning with missing data

技術要約：欠損共変量を伴う非パラメトリック回帰のためのパターン埋め込みニューラルネットワーク（PENN）

問題設定
本論文は、共変量に欠損値が含まれる多変量非パラメトリック回帰における、教師ありディープラーニングの課題に取り組んでいる。欠件値がMCAR（完全ランダムな欠損）であると仮定したり、特定のパラメトリックな欠損モデルに依存したりすることが多い従来の研究とは異なり、本研究では、欠損メカニズムが任意であり、共変量に依存する可能性がある（MNAR：非ランダムな欠損）一般的な設定を考慮している。目的は、予測、すなわち、補完された共変量 $z$ と、観測指標を表す明示ベクトル（revelation vector）$\Omega$（どのエントリーが観測されたかを示す）を用いたベイズ回帰関数 $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$ の推定である。

本研究で特定された中心的な困難は、明示ベクトルには欠損構造に関する重要な予測情報が含まれているものの、補完された共変量を明示ベクトルと共に単純にニューラルネットワークへの入力として結合すると、性能が悪化しやすい点である。これは、次元 $d$ に対して可能な観測パターンが指数関数的（$2^d$）に増大することで過学習を招くこと、および、ハイパーキューブ $\{0,1\}^d$ のユークリッド幾何学と実際の予測構造との間の不一致に起因する。

手法：パターン埋め込みニューラルネットワーク（PENN）
著者らは、特定の補完技術に依存することなく、観測パターンをディープラーニングのフレームワークに統合するために設計された新しいアーキテクチャである、パターン埋め込みニューラルネットワーク（PENN）を提案している。PENN 推定器は以下の形式をとる：
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
ここで：

1. $f_1$: 補完された共変量 $z$ の特徴マップとして機能するニューラルネットワーク。
2. $f_2$: 明示ベクトルの埋め込み関数として機能するニューラルネットワーク。これは、高次元で離散的な観測パターンを、予測的な挙動の類似性を幾何学的な近接性に反映させた低次元の連続空間へと写像する。
3. $f_3$: 学習された共変量特徴とパターン埋め込みを結合して予測を生成する、最終的なニューラルネットワーク。

このアプローチにより、モデルは類似した観測パターン間で「強みを共有（borrow strength）」することが可能になり、明示ベクトルの情報を効果的に圧縮できる。本手法は、学習前に適用されるあらゆる既存の補完技術（例：平均補完、MissForest、MICE）と互換性がある。

理論的貢献
著者らは、データ生成と欠損メカニズムの間の独立性を仮定せずに、有限サンプルにおける超過リスク（excess risk）の境界を確立することで、PENN 推定器の厳密な理論的分析を提供している。

• オラクル不等式（Oracle Inequality）: 最適化誤差、近似誤差、および推定誤差に分解される一般的なオラクル不等式が導出されている。これは、任意のニューラルネットワーク推定器および劣ガウス応答に対して成立する。
• ミニマックス最適性（Minimax Optimality）: 「区分的な滑らかさ（piecewise smoothness）」という仮定（仮定1）の下で、ベイズ回帰関数は、関数が同様の挙動を示すセルに分割される。各セル内において、関数は合成的なヘルダー級（compositional Hölder class）に属する。
  • 定理2 は、超過リスクの上限を確立している。この境界は、各セルの有効サンプルサイズによってスケールされた、各セルのミニマックスレートの加重平均である。決定的なのは、分割が事前に既知であった場合と比較して、サンプルサイズに対する多項式対数因子（poly-logarithmic factor）の差を除いて、そのレートが達成される点である。
  • 定理3 は、一致するミニマックス下限を提供し、PENN 推定器がこの問題設定において最適な収束レートを達成することを確認している。
• 新規性: 理論は、観測パターンの分割に対する F-分離可能性（F-separability） の概念を導入しており、これによりニューラルネットワークが、同様の回帰関数を共有するパターンのグルーピングを学習することを可能にしている。これは、$2^d$ 通りの可能な欠損パターンに関連する「次元の呪い」に対処するものである。

実証結果
シミュレーション、半合成、および実世界のデータセットを用いて、広範な数値実験が行われた。

• シミュレーションデータ: MCAR および MNAR のシナリオをカバーする4つのモデル（変動する相関関係を含む）において、PENNs は標準的なニューラルネットワーク（パターン埋め込みなしの補完データで学習したもの）、XGBoost、およびランダムフォレストを一貫して上回った。改善は、標準的な手法が苦戦する MNAR 設定において特に劇的であった。
• 半合成データ: CT 相対位置データセット（回帰）および MNIST（分類）を用いた実験では、PENNs がベースラインと比較して、特に MNAR メカニズムの下で、予測誤差（説明されない分散の割合および誤分類エラーで測定）を大幅に減少させることを示した。
• 実データ: 本来の欠損を含むクレジットスコア予測データセットにおいて、PENNs は標準的なニューラルネットワークや決定木ベースの手法と比較して、一貫して顕著な改善を示した。
• 可視化: 学習された観測パターンの埋め込みを可視化したところ、ネットワークが類似した予測的挙動を持つパターンを適切にクラスタリングしていることが明らかになり、パターン埋め込みが関連する構造的情報を捉えているという理論的前提が検証された。

意義と主張
著者らは、本研究が、一般的な欠損メカニズムの下での多変量非パラメトリック回帰に対して ミニマックス最適性の保証 を提供する初めての試みであると主張している。本研究の意義は以下の点にある：

1. 手法的な革新: ディープラーニングにおける欠損値処理のメカニズムとして「パターン埋め込み」を導入し、補完ベースのアプローチと、欠損インジケーターを直接モデリングするアプローチとの間の溝を埋めたこと。
2. 理論的な厳密性: 回帰関数が区分的な合成的滑らかさを持つ限り、PENN が最適な収束レートを達成できることを証明したこと。
3. 実用的な有用性: 本手法が標準的な補完ツールと互換性があり、合成および実世界のシナリオの両方において、既存の最先端手法に対して実質的な経験的利点をもたらすことを示したこと。

結論として、PENNs は、欠損共変量を伴うディープラーニングに対する、原理に基づいた効果的なソリューションを提供し、欠損インジケーターを単なる生の追加特徴量として扱うことの限界を克服している。