Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

技術要約：最大エントロピー・キャリブレーションによる因果推論のためのワークロード保存型差分プライバシー合成データ

1. 問題提起

差分プライバシー（DP）は、公開利用のために機密性の高い表形式データのリリースに使用されることが増えており、多くの場合、「選択–測定–再構成」のパイプラインを通じて生成される合成マイクロデータによって行われる。MWEM、AIM、Private-PGMなどの最先端の手法は、一般的な低次元のマージナル（周辺分布）を保存することで強力な分布的忠実度を達成するが、これらはしばしば有効な因果推論をサポートするには不十分である。

平均治療効果（ATE）のような因果推定値は、特定の構造的特性、すなわち「治療群間のバランス」および「条件付きアウトカムのモーメント」に依存しているが、一般的なマージナルはこれらを必ずしも保存しない。さらに、因果推論における既存のアプローチは、単一の点推定値をリリースするか、あるいはDPノイズによる分散の膨張を考慮しないため、合成データを素朴に実データとして扱った場合に無効な信頼区間（Type-I 誤りの増大）を招く。

本研究が取り組む核心的な問いは、**「合成データメカニズムは、有効な因果推論を可能にするためにどのDPクエリを保存しなければならないのか、そして、プライバシーと因果関係の間の根本的なトレードオフは何か？」**である。

2. 手法

因果的ワークロード (Causal Workloads)
著者らは、二重に頑健な（doubly robust; DR）因果推定器で使用される直交モーメントに基づいたDPクエリのセットである因果的ワークロードを提案する。一般的なマージナルを測定する代わりに、このメカニズムは以下を測定する：

1. 治療群ごとの特徴量質量: $q^{(0)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} \phi(X_i)$
2. アウトカム加重特徴量モーメント: $q^{(1)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} Y_i \phi(X_i)$

ここで、$\phi$ は特徴写像（例：離散化されたビンまたはスプライン）である。これら4つのブロックは、特徴基底上に投影された摂動（nuisance）関数に対する直交スコアを特定するために必要なモーメントに対応している。

リリースおよび再構成ルート
ノイズを含むワークロードベクトル $\tilde{q}$ は一度だけリリースされる。これは2つのダウンストリーム・ルートをサポートする：

1. 直接モーメント・ルート ($q$-route): 安定した推定器（例：投影リッジ回帰やクリップされたIPW/AIPW）が、$\tilde{q}$ の関数として直接評価される。
2. 合成データ・ルート: 最大エントロピー分布 $P^{syn}$ が、ノイズを含むモーメントに一致するように再構成される（Private-PGMスタイルのキャリブレーション経由）。合成レコードは $P^{syn}$ からサンプリングされ、標準的な因果推定器を用いて分析される。

適応的選択 (CAUSAL-AIM)
効率を高めるために、著者らは測定すべき特徴量グループを反復的に選択する適応的メカニズムであるCAUSAL-AIMを導入している。これは、直交スコア残差に基づくプライベートな因果ユーティリティの推定値を用いて、次の座標ブロックを選択し、各ステップの後に最大エントロピーモデルを再適合させる。

ノイズを考慮した推論 (NA+MI)
合成データの素朴な分析（それらを実データとして扱うこと）が、無効な信頼区間をもたらす問題に対処するため、本論文はノイズを考慮した多重代入法 (Noise-Aware Multiple Imputation; NA+MI) を提案する。この手順は、リリースされたノイズを含むモーメントを、潜在的な真のモーメントの観測値として扱う。モーメントの複数の事後実現（posterior realizations）を抽出し、それぞれに対して合成データセットを再構成して因果推定値を計算し、ルービンの法則（Rubin's rules）を用いてこれらを結合する。これにより、DPノイズを最終的な不確実性の定量化へと明示的に伝播させる。

3. 理論的貢献

本論文は、ATEの誤差を以下の5つの項に分解する有限サンプル誤差界を提供している：

1. サンプリング誤差: 有限のサンプルサイズに起因する標準誤差。
2. プライバシー誤差: ワークロードのリリースにおけるDPノイズによって導入される誤差。
3. ワークロード近似誤差: 選択された特徴基底 $\phi$ 内で真のアウトカム/傾向モデルを表現することから生じるバイアス。
4. モンテカルロ誤差: 有限の合成サンプルサイズに起因する誤差。
5. キャリブレーション誤差: ノイズを含む測定値と再構成された分布との間のギャップ（実行不可能な制約やソルバーの許容誤差によるもの）。

理論は、因果推定器（リッジ・プラグインやクリップされたIPW/AIPWなど）が、ワークロードのモーメントの摂動に対してリプシッツ安定性 (Lipschitz stable) を持つことを確立している。この安定性により、プライバシーノイズの境界を因果推定誤差に直接マッピングすることが可能になる。導出された主要な設計ルールは、DPによる歪みをサンプリングノイズ以下に抑えるためには、プライバシー予算 $\epsilon$ が $\sqrt{\log m / n}$ でスケールする必要があるということである。

4. 実験結果

提案手法は、4つのベンチマーク（IHDP, Twins, ACIC 2016, LaLonde）および半合成のACS研究において、様々なプライバシー予算（$\epsilon \in \{0.5, 1, 2, 5\}$）の下で評価された。

• 点精度 vs カバレッジ: 一般的なワークロード（MST, AIM）は、緩いプライバシー予算（$\epsilon \ge 2$）において、一般的に低い点RMSEを達成する。しかし、厳格な予算（$\epsilon \le 1$）においては、Causal Workload + NA+MI がいくつかのデータセットでRMSEにおいて競争力を持つか、あるいは優位に立つ。
• 較正された不確実性: 合成データの素朴な分析（それらを実データとして扱うこと）は、深刻なアンダーカバレッジ（$\epsilon \le 1$ のとき、しばしば $<35\%$）をもたらす。Causal Workload + NA+MI は、厳格なプライバシー予算下において、すべてのベンチマークで公称カバレッジ（99.8–100%）を達成する唯一の手法である。
• 適応的 vs 固定型: CAUSAL-AIMは、中程度の予算（$\epsilon \ge 1$）において固定ワークロードと比較してRMSEを大幅に減少させるが、より厳格な予算（$\epsilon = 0.5$）では、選択のための追加のプライバシー消費のコストが、より良い特徴量ターゲット化の利益を上回るため、パフォーマンスを低下させる可能性がある。
• 再利用性: 単一のDP合成リリースは、追加のプライバシー消費なしに、ATE、ATT、およびサブグループ分析をサポートする。これは直接的なDP推定器にはない特性である。
• 忠実度のトレードオフ: 一般的なワークロードは、マージナルの忠実度指標（全変動距離）において優位となることが多いが、これは因果的ユーティリティ（ATEの正確さやカバレッジ）とは相関しない。

5. 意義と主張

本論文は、**「分布的忠実度は因果推論には不十分である」**と主張している。有効な因果推論には、一般的なマージナルではなく、特定の因果的モーメント（治療群間のバランスおよびアウトカムと特徴量の相互作用）を保存することが必要である。

主な意義は、点精度と有効な不確実性定量化の間のトレードオフにある：

• 目標が広範なマージナルの忠実度や探索的分析である場合、一般的なワークロードで十分な場合がある。
• 目標が較正された信頼区間を伴う有効な因果推論、特に厳格なプライバシー予算下での分析である場合、因果的ワークロードとノイズを考慮した推論（NA+MI）が必要となる。

著者らは、一般的な手法は低プライバシー領域においてより良い点推定値を提供する可能性があるものの、信頼できる不確実性の定量化には失敗すると結論付けている。提案されたフレームワークにより、アナリストは、差分プライバシーによって導入された不確実性を正しく伝播させながら、単一のリリースからATE、ATT、およびサブグループ分析を実行することができる。

著者らが認めている限界:

• 本手法は特徴写像 $\phi$ の選択に依存しており、真のモデルが高度に非線形である場合には近似バイアスが生じる。
• DPノイズがサンプリング誤差を支配する場合、有効な信頼区間は広くなる可能性がある。
• 現在の実装は、AIM/Private-PGM 再構成ファミリーに焦点を当てている。
• 理論はモーメントレベルの境界を提供するが、サンプリングされた合成行に対するすべてのダウンストリームの摂動（nuisance）適合ルーチンを完全には分析していない。