Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

기술 요약: 최대 엔트로피 보정을 통한 인과 추론용 워크로드 보존 차분 프라이버시 합성 데이터

1. 문제 정의

차분 프라이버시(Differential Privacy, DP)는 민감한 테이블 데이터를 공개적인 용도로 사용하기 위해 "선택-측정-재구성(select–measure–reconstruct)" 파이프라인을 통해 합성 미세 데이터(synthetic microdata)를 생성하는 데 점점 더 많이 활용되고 있습니다. MWEM, AIM, Private-PGM과 같은 최신 방법론들은 일반적인 저차원 주변 분포(low-dimensional marginals)를 보존함으로써 강력한 분포적 충실도(distributional fidelity)를 달성하지만, 유효한 인과 추론을 지원하는 데에는 종종 실패합니다.

ATE(Average Treatment Effect)와 같은 인과적 추정치(causal estimands)는 특정 구조적 속성, 즉 처치군 간의 균형(treatment-arm balance)과 조건부 결과 모멘트(conditional outcome moments)에 의존하며, 이는 일반적인 주변 분포가 반드시 보존하지 않는 특성입니다. 또한, 인과 추론을 위한 기존 방식들은 단일 점 추정치만을 공개하거나 DP 노이즈로 인한 분산 팽창을 고려하지 못하여, 합성 데이터를 실제 데이터처럼 잘못 다룰 경우 유효하지 않은 신뢰 구간(Type-I 오류 팽창)을 생성하게 됩니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 합성 데이터 메커니즘이 유효한 인과 추론을 가능하게 하기 위해 어떤 DP 쿼리를 보존해야 하며, 근본적인 프라이버시-인과 관계의 트레이드오프(privacy–causal tradeoffs)는 무엇인가?

2. 방법론

인과적 워크로드 (Causal Workloads)
저자들은 이중 강건(doubly robust, DR) 인과 추정치에서 사용되는 직교 모멘트(orthogonal moments)를 중심으로 설계된 DP 쿼리인 인과적 워크로드를 제안합니다. 이 메커니즘은 일반적인 주변 분포를 측정하는 대신 다음을 측정합니다:

1. 처치군 특징 질량 (Treatment-arm feature masses): $q^{(0)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} \phi(X_i)$
2. 결과 가중 특징 모멘트 (Outcome-weighted feature moments): $q^{(1)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} Y_i \phi(X_i)$

여기서 $\phi$는 특징 맵(feature map, 예: 이산화된 빈(bins) 또는 스플라인(splines))입니다. 이 네 가지 블록은 특징 기저(feature basis)로 투영된 넌서스 함수(nuisance functions)의 직교 스코어를 식별하는 데 필요한 모멘트에 대응합니다.

공개 및 재구성 경로 (Release and Reconstruction Routes)
노이즈가 섞인 워크로드 벡터 $\tilde{q}$는 한 번 공개됩니다. 이는 두 가지 하위 경로를 지원합니다:

1. 직접 모멘트 경로 ($q$-route): 안정적인 추정기(예: projected ridge regression 또는 clipped IPW/AIPW)가 $\tilde{q}$의 함수로서 직접 평가됩니다.
2. 합성 데이터 경로 (Synthetic Data Route): 노이즈가 섞인 모멘트를 일치시키기 위해 최대 엔트로피 분포 $P^{syn}$이 재구성됩니다(Private-PGM 스타일의 보정 활용). 합성 레코드는 $P^{syn}$으로부터 샘플링되어 표준 인과 추정기를 통해 분석됩니다.

적응형 선택 (CAUSAL-AIM)
효율성을 높이기 위해 저자들은 측정할 특징 그룹을 반복적으로 선택하는 적응형 메커니즘인 CAUSAL-AIM을 도입합니다. 이는 직교 스코어 잔차(orthogonal score residuals)에 기반한 프라이빗한 인과 효용(causal utility) 추정치를 사용하여 다음 좌표 블록을 선택하고, 각 단계 이후에 최대 엔트로피 모델을 재적합(refitting)합니다.

노이즈 인식 추론 (NA+MI)
나이브한 신뢰 구간의 부적절함을 해결하기 위해, 본 논문은 **노이즈 인식 다중 대입(Noise-Aware Multiple Imputation, NA+MI)**을 제안합니다. 이 절차는 공개된 노이즈 섞인 모멘트를 잠재적인 참 모멘트의 관측값으로 취급합니다. 모멘트의 여러 사후 실현(posterior realizations)을 추출하고, 각 실현에 대해 합성 데이터셋을 재구성하며, 인과 추정치를 계산한 뒤 루빈의 법칙(Rubin's rules)을 사용하여 결합합니다. 이는 DP 노이즈를 최종 불확실성 정량화 과정에 명시적으로 전파합니다.

3. 이론적 기여

본 논문은 ATE 오차를 다섯 가지 항으로 분해하는 유한 표본 오차 경계(finite-sample error bounds)를 제공합니다:

1. 표본 오차 (Sampling Error): 유한 표본 크기로 인한 표준 오차.
2. 프라이버시 오차 (Privacy Error): 워크로드 공개 시 발생하는 DP 노이즈에 의한 오차.
3. 워크로드 근사 오차 (Workload-Approximation Error): 선택된 특징 기저 $\phi$ 내에서 실제 결과/성향 모델을 표현함에 따라 발생하는 편향.
4. 몬테카를로 오차 (Monte Carlo Error): 유한한 합성 표본 크기로 인한 오차.
5. 보정 오차 (Calibration Error): 노이즈가 섞인 측정값과 재구성된 분포 사이의 격차(불가능한 제약 조건 또는 솔버 허용 오차로 인해 발생).

이론은 인과 추정기(ridge-plug-ins 및 clipped IPW/AIPW 등)가 워크로드 모멘트의 섭동(perturbation)에 대해 **립시츠 안정성(Lipschitz stability)**을 가짐을 입증합니다. 이러한 안정성 덕분에 프라이버시 노이즈 경계를 인과 추정 오차로 직접 매핑할 수 있습니다. 도출된 핵심 설계 규칙은, DP 왜곡을 샘플링 노이즈 아래로 유지하려면 프라이버시 예산 $\epsilon$이 $\sqrt{\log m / n}$에 비례하여 스케일링되어야 한다는 것입니다.

4. 실험 결과

제시된 방법론은 네 가지 벤치마크(IHDP, Twins, ACIC 2016, LaLonde)와 다양한 프라이버시 예산($\epsilon \in \{0.5, 1, 2, 5\}$)에 따른 준-합성 ACS 연구에서 평가되었습니다.

• 점 정확도 vs. 커버리지 (Point Accuracy vs. Coverage): 일반적인 워크로드(MST, AIM)는 느슨한 프라이버시 예산($\epsilon \ge 2$)에서 일반적으로 더 낮은 점 RMSE를 달달성합니다. 그러나 엄격한 예산($\epsilon \le 1$)에서는 Causal Workload + NA+MI가 여러 데이터셋에서 RMSE 측면에서 경쟁력이 있거나 더 우수한 성능을 보입니다.
• 보정된 불확실성 (Calibrated Uncertainty): 합성 데이터를 실제 데이터처럼 다루는 나이브한 분석은 심각한 과소 커버리지(엄격한 예산 $\epsilon \le 1$에서 흔히 35% 미만)를 초래합니다. Causal Workload + NA+MI는 모든 벤치마크에서 엄격한 프라이버시 예산 하에서도 명목 커버리지(99.8–100%)를 달성하는 유일한 방법입니다.
• 적응형 vs. 고정형 (Adaptive vs. Fixed): CAUSAL-AIM은 중간 정도의 예산($\epsilon \ge 1$)에서 고정된 워크로드에 비해 RMSE를 크게 줄이지만, 더 나은 특징 타겟팅을 위한 추가적인 프라이버시 지출 비용이 이득을 상쇄하는 매우 엄격한 예산($\epsilon = 0.5$)에서는 성능이 저하될 수 있습니다.
• 재사용성 (Reuse): 단일 DP 합성 릴리스는 추가적인 프라이버시 지출 없이 ATE, ATT 및 하위 그룹 분석을 지원하며, 이는 직접적인 DP 추정기에서는 불가능한 속성입니다.
• 충실도 트레이드오프 (Fidelity Tradeoff): 일반적인 워크로드는 주변 분포 충실도 지표(전체 변동 거리, TVD)에서 우위를 점하는 경우가 많지만, 이는 인과적 효용(ATE 정확도 또는 커버리지)과 상관관계가 없습니다.

5. 의의 및 주장

본 논문은 분포적 충실도(distributional fidelity)만으로는 인과 추론에 충분하지 않다고 주장합니다. 유효한 인과 추론을 위해서는 일반적인 주변 분포가 아니라 특정 인과적 모멘트(처치군 간의 균형 및 결과-특징 상호작용)를 보존해야 합니다.

주요 의의는 점 정확도와 유효한 불확실성 정량화 사이의 트레이드오프에 있습니다:

• 광범위한 주변 충실도나 탐색적 분석이 목표인 경우, 일반적인 워크로드가 충분할 수 있습니다.
• 특히 엄격한 프라이버시 예산 하에서 유효한 인과 추론과 보정된 신뢰 구간이 목표인 경우, 인과적 워크로드와 노이즈 인식 추론(NA+MI)이 필수적입니다.

저자들은 일반적인 방법들이 낮은 프라이버시 규제 환경에서 더 나은 점 추정치를 제공할 수는 있지만, 신뢰할 수 있는 불확실성 정량화를 제공하는 데는 실패한다고 결론짓습니다. 제안된 프레임워크를 통해 분석가는 단일 릴리스로부터 ATE, ATT 및 하위 그룹 분석을 수행할 수 있으며, 차분 프라이버시에 의해 도입된 불확실성을 올바르게 전파할 수 있습니다.

저자가 인정한 한계점:

• 이 접근 방식은 특징 맵 $\phi$를 선택하는 것에 의존하며, 실제 모델이 매우 비선형적일 경우 근사 편향(approximation bias)이 발생할 수 있습니다.
• DP 노이즈가 샘플링 오차보다 지배적일 때 신뢰 구간이 넓어질 수 있습니다.
• 현재 구현은 AIM/Private-PGM 재구성 제품군에 집중되어 있습니다.
• 이론은 모멘트 수준의 경계를 제공하지만, 샘플링된 합성 행(row)들에 대한 모든 다운스트림 넌서스 피팅 루틴을 완전히 분석하지는 않습니다.