技術的概要：欠損データを伴う順序非依存自己回帰モデル

問題定義

現実世界の学習システムは、センサーの故障、取得コスト、またはプライバシー制約により特徴量が欠損する、部分的な観測性の下で頻繁に動作します。これらの分野における効果的なシステムは、以下の 3 つの中核的な課題に対処する必要があります：(i) 不完全なデータからの学習、(ii) 推論時における欠損値の補完、および (iii) 観測にコストがかかる場合、どの未観測変数を取得するかを決定すること（能動特徴量取得）。

深層生成モデルは理論的には完全な結合分布をモデル化することで統一的なアプローチを提供しますが、既存の手法は重大な限界に直面しています。変分オートエンコーダ（VAE）は近似推論に依存しており、条件付き精度が制限されます。生成敵対的ネットワーク（GAN）は、しばしば扱いやすい尤度や原理的な条件付き密度を欠いています。拡散モデルは高品質なサンプルを生成しますが、反復的なサンプリングチェーンを必要とし、観測された変数の任意の部分集合に対して正確に条件付けることに苦慮します。古典的な自己回帰モデル（ARM）は扱いやすい尤度を提供しますが、固定された生成順序に依存しており、変数の任意の部分集合に対する条件付けを妨げます。

手法：MO-ARM

著者らは、欠損データの観点から順序非依存自己回帰モデル（OA-ARM）を再解釈するフレームワークである「欠損認識型順序非依存自己回帰モデル（MO-ARM）」を導入します。

1. 理論的洞察：OA-ARM と MCAR

本論文はまず、標準的な OA-ARM 学習と完全に欠損無作為（MCAR）補完との間の理論的関連性を確立します。OA-ARM は変数のランダムな順列で訓練され、実質的に生成順序を潜在変数として扱います。著者らは、以前に明らかにされた変数のランダムに選択された部分集合に基づいて変数を予測する標準的な訓練目的が、暗黙的に MCAR 汚染プロセスをシミュレートすることを示しています。その結果、完全に観測されたデータのみで訓練された OA-ARM は、修正なしに MCAR メカニズム下での補完タスクに自然に一般化します。

2. MO-ARM フレームワーク

この洞察に基づき、著者らは一般的な欠損メカニズム（MCAR から欠損非無作為、すなわち MNAR までを網羅）の下で不完全データセットに対して直接 OA-ARM を訓練するための原理的なフレームワークを提案します。

• 確率的定式化: モデルは、観測データ ($x_{z_o}$)、欠損データ ($x_{z_m}$)、および欠損マスク ($z_o$) の結合分布を以下のように因数分解します：
  $$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$$
  ここで、$p_\theta$ は生成モデル（OA-ARM）を表し、$p_\phi$ は学習された欠損メカニズムです。
• 訓練目的: モデルは、変分下限（ELBO）を使用して観測データ対数尤度を最大化します。
  • MCAR の場合、欠損項はデータに依存せず、省略できます。
  • MNAR の場合、モデルはニューラルネットワークでパラメータ化された要素ごとのベルヌーイモデルを用いて、欠損プロセス $p_\phi$ を明示的に学習します。これにより、欠損と未観測値の間の依存関係をモデルが考慮することが可能になります。
• 補完戦略:
  • MCAR: 補完は、モンテカルロサンプリングを用いて欠損変数の可能なアンマスク軌跡を周辺化することによって行われます。
  • MNAR: モデルは自己正規化された重要度重み付けを採用します。完了したサンプルは、学習された欠損モデル $p_\phi$ 下での観測されたマスクの尤度に基づいて再重み付けされ、観測された欠損パターンと整合する完了が優先されます。

3. 能動情報取得

MO-ARM は、その償却条件付き密度推定を活用して能動特徴量取得（AFA）を実行します。現在の観測に基づき、ターゲット変数 $x_\Phi$ と候補特徴量 $x_{z_i}$ との間の条件付き相互情報 $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ を推定することで、モデルは逐次的に最も有益な欠損変数を選択し、下流の予測性能を最大化できます。

主要な貢献

1. OA-ARM の再解釈: 本論文は、標準的な OA-ARM 訓練が暗黙的に MCAR 補完を実行することを示し、欠損データ設定におけるその堅牢なアウトオブサンプル性能を説明します。
2. 不完全データにおける原理的な訓練: 著者らは、正確な尤度を保持し、効率的な条件付きサンプリングを可能にしながら、一般的な欠損メカニズム（MCAR および MNAR）下で不完全データセットに対して直接 OA-ARM を訓練する最初のフレームワークを導入します。
3. 補完と取得の統合フレームワーク: このモデルは、欠損データの補完と能動情報取得を統合し、両方のタスクに同じ償却条件付き分布を利用します。
4. 実証的検証: 提案された MO-ARM は、表形式データ（UCI データセット）および画像インペインティング（CelebA-HQ）を含む現実世界のベンチマークで評価されました。

実験結果

著者らは、MO-ARM を MIWAE、MNAR 用の not-MIWAE、VAEAC、DiffPuter、および MissForest や MICE といった古典的手法を含む確立されたベースラインと比較評価しました。

• 表形式補完: 連続値およびカテゴリカルなど多様な特徴タイプを持つ 7 つの UCI データセット全体において、MO-ARM は MCAR および MNAR の両方の欠損メカニズム下で、確立された生成ベースラインを一貫して上回りました。特に MNAR 下では、このメカニズム用に明示的に設計された唯一の他のベースラインである not-MIWAE を MO-ARM が上回りました。
• 画像インペインティング: CelebA-HQ データセットにおいて、MO-ARM は拡散ベースのベースラインである RePaint と比較して、アイデンティティおよび粗い構造の保持において優れた性能を示し、特に欠損割合が増加する（最大 98% まで）につれて、より高い PSNR スコアを達成しました。
• 能動取得: 逐次的特徴量取得タスクにおいて、MO-ARM はより多くの特徴が取得されるにつれて予測誤差を削減する点でベースラインと同等かそれ以上の性能を示し、意思決定におけるその条件付き分布の有用性を実証しました。

意義と主張

本論文は、MO-ARM が不完全データ下での推論のための強力かつ以前に過小評価されていたツールであると主張しています。著者らは、順序非依存自己回帰モデルが、欠損データ問題に対する潜在変数（VAE）および拡散ベースのアプローチに対する実用的かつ原理的な代替手段を提供すると論じています。強調された主な利点は以下の通りです：

• 扱いやすい尤度: GAN や近似 VAE と異なり、MO-ARM は正確な尤度を提供します。
• 任意の条件付け: 古典的な ARM と異なり、観測された変数の任意の部分集合に対する条件付けをサポートします。
• 効率性: 観測が明らかになるにつれて繰り返しクエリが可能であり、拡散モデルが必要とする長い反復サンプリングチェーンを必要とせずに逐次的な意思決定をサポートします。

著者らは限界を認め、高次元設定では正確な生成が依然として高価であること（ブロック化されたアンマスクによって緩和されるものの）、また観測コンテキストが極めて疎になるにつれて性能が低下することを指摘しています。また、フレームワークは MNAR に拡張可能であるものの、この領域は MCAR よりも依然として挑戦的であり、さらなる研究を要すると述べています。