High-Dimensional Assisted Learning for Vertically Distributed Data with Blockwise Missingness

問題提起

本論文は、データが**垂直方向に分散（vertically distributed）しており、かつブロック単位の欠損（blockwise missingness）**が存在するマルチインスティテューション（多施設）環境における、高次元線形推定および座標ごとの推論という課題に取り組んでいる。

• 垂直方向の分散: 各当事者（ユーザー）は、部分的に重複する個人の集合に対して、異なる特徴量ブロックを保持している。どの当事者も、個人の完全な特徴ベクトルを保有していない。
• ブロック単位の欠損: 垂直方向の分割に加え、特定のレコードにおいて応答変数や特定の機能ブロックが欠損している。その結果、すべての当事者が観測している個人の集合（完全ケース）は小さくなるか、あるいは空になる可能性がある一方で、ペア間または部分的な重複は相当量存在する。
• 制約事項: 解法は分散型（生のレコードを中央サーバーに集約しない）であり、通信効率が高く（コストが高次元 $p$ に依存しない）、かつ完全ケースが存在しない場合でも推論（有効な信頼区間の提供）が可能でなければならない。

既存の手法である垂直型フェデレーテッドラーニング（VFL）は、通常、整列されたサンプルを想定しているか、中央のコーディネーターに依存している。ブロック欠損データに関する手法は、中央集約型の計算を想定していることが多い。高次元のデバイアス推論手法は一般に、すべてのサイトが同じ共変量を観測している行分割されたデータを想定している。本論文は、不等なブロック欠損の重複を持つ分散型・高次元推論の空白を埋めるものである。

手法：ブロック欠損を伴う支援学習（ALB）

著者らは、生のデータを集約することなく、中央集約型の「利用可能ケース（available-case）」推定量を標的とする分散アルゴリズムであるALBを提案している。

1. 標的となる推定量:
本手法は、正則化された損失関数 $Q_n(\beta)$ を最小化する中央集約型の利用可能ケース推定量 $\check{\beta}$ を標的とする。この損失関数は、利用可能なすべての重複サンプル（例：$I_k$ 内のユーザー内共分散、$I_{kl}$ 内のユーザー間共分散、および $I^y_k$ 内の応答と共変量のモーメント）から推定された母集団モーメントを使用する。集約された共分散行列が正定値であることを保証するために、本手法は（DISCOMフレームワークに従い）ユーザー内のブロックとユーザー間のブロックの凸結合を採用している。

2. 分散最適化（循環的ブロック更新）:
$p \times p$ の共分散行列を転送する代わりに、ALBはサンプルレベルの線形要約を使用する。

• メカニズム: 循環的なスイープの中で、ユーザーはフル行列ではなく、サイズ $n_{kl}$（重複するIDの数）の線形予測ベクトル（$X_{l,k}\beta_l$）を交換する。
• 通信コスト: 固定されたユーザー数 $K$ に対して、各更新サイクルでは $O(n)$ 個のスカラーを通信するため、次元 $p$ に依存しない。
• 収束性: イテレートは中央集約型の推定量 $\check{\beta}$ に幾何級数的に収束する。十分な回数のスイープの後、最適化誤差は無視できることが示されている。

3. 分散デバイアスおよび推論:
特定の係数 $\beta^*_j$ に関する推論を行うために、$\ell_1$ ペナルティ付き推定量をデバイアスする必要がある。

• 精度列の推定: ALBは、同じ循環的ブロック更新メカニズムを使用して、精度列 $\theta^*_j = \Sigma^{-1}e_j$ の分散推定を分散化する。
• デバイアス推定量: 推定量は $\hat{b}_j = \hat{\beta}_j - \hat{\theta}_j^\top S_n(\hat{\beta})$ として構築される。ここで $S_n$ は利用可能ケースのスコアである。
• 分散推定: 主要な革新は、中心化を行う前に、異なるユーザー間での同一IDからの寄与を集計するサンプルレベルの分散推定器である。これは、重複するサンプルによって誘発される依存関係を考慮しており、完全ケースが存在しない場合でも有効な標準誤差を保証する。

4. 一回限りの摂動によるプライバシー保護:
線形要約を通じて個々の値を開示するリスクを軽減するために、本論文はALB-Pを提案している。

• メカニズム: 各ユーザーは、開始時に一度だけ、自身の応答および共変量の行にノイズを加える。これらの摂動された値は、その後のすべてのメッセージにおいて再利用される。
• 特性: ユーザー内の共分散は摂動されない（ローカルで計算される）。理論的結果によれば、ノイズのスケールが有界であれば、摂動されたモーメントは不偏性を維持し、摂動されていないバージョンと同じ収束率を保持する。

主な貢献

1. 分散最適化: 中央集約型の利用可能ケースの目的関数を、$p$ に関わらず $O(n)$ の通信量で解く循環的ブロック最適化アルゴリズム。これは中央集約型の解への幾何級数的な収束を確立している。
2. 不等な重複下での分散推論: 精度列と分散を分散型の方法で推定する、座標ごとの推論のためのフレームワーク。ペア間の重複が $n$ に比例して増大する場合、完全ケースの集合が空であっても、$\sqrt{n}$ レートの漸近正規性を達成する。
3. プライバシー保護を伴うリリース: 直接的な個人のデータの開示を減少させつつ、推定量の統計的性質（不偏性と収束率）を維持する、一回限りの摂動スキーム。

結果

理論的保証:

• 推定: 推定誤差は、統計的誤差（重複の有効サンプルサイズに依存）と最適化誤差（幾何級数的に減衰）の合計によって抑えられる。
• 推論: デバイアス推定量は漸近的に標準正規分布に従う。分散推定器は一貫しており、重複するサンプルの複雑な依存構造を考慮している。
• 摂動: 摂動された推定器は、ノイズのスケールが有界である限り、摂動されていないものと同じ収束率を維持する。

シミュレーション:

• 設定: 実験では $p=900$、3人のユーザー、および様々なブロック欠損パターン（完全ケースとペアのみの重複の比率を変化させたもの）を用いた。
• 性能: ALBは、中央集約型のベンチマーク（DISCOM）とほぼ同一の予測誤差および推定誤差を達成し、特にペア間の重複が増加するにつれて、Complete-Case Lasso（CC-Lasso）を大幅に上回る性能を示した。
• 推論: ALBによって構築された95%信頼区間は、活性な係数に対して公称レベル（約95%）に近い被覆確率を達成し、サンプルサイズの小ささゆえに低い被覆率に苦しむCC-Lassoよりも優れた性能を示した。摂動版ALB（ALB-P）は、区間がわずかに広くなったものの、有効な被覆率を維持した。

実世界への応用 (ADNI):

• データ: ブロック単位の欠損を伴う、CSFバイオマーカー、MRI、PET、および臨床スコア（MMSE）を含む多角的なアルツハイマー病神経画像イニシアチブ（ADNI）のマルチモーダルデータ。
• 知見: ALBは、CC-Lassoと比較してテスト平均二乗誤差（MSE）を約35%削減した。また、先行研究と一致する生物学的に関連のある特徴量（皮質厚や脳室容積など）を特定した。ALB-Pは、予測精度を維持しながら、強化されたプライバシーを提供した。

意義と主張

本論文は、データが垂直方向に分割され、部分的に欠損している設定において、ALBが通信効率が高く分散型の、高次元推定および推論のためのソリューションを提供することを主張している。

• 新規性: 中央サーバーなしで、この特定の条件下での座標ごとの推論をサポートする初めての手法である。
• 有用性: 不完全なレコードを破棄するのではなく、利用可能なすべてのペア間の重複を活用することで、ALBは完全ケース分析よりも統計的な検出力を大幅に向上させる。
• プライバシー: 一回限りの摂動メカニズムは、確立された統計的収束率を損なうことなく、直接的な開示リスクを低減するという実用的なトレードオフを提供する。

著者らは、本手法は現在、線形モデルおよびMCAR（Missing Completely At Random）欠損に限定されているものの、一般化線形モデル、生存分析、およびより複雑な欠損メカニズムへの将来的な拡張のための基礎を築くものであると結論づけている。