HeteroFedSyn: Differentially Private Tabular Data Synthesis for Heterogeneous Federated Settings

이 논문은 수평적 연동 환경에서 이질적인 데이터 분포를 고려하여 기존 방법들의 한계를 극복하고 중앙집중식 합성과 유사한 유틸리티를 달성하는 최초의 차분 프라이버시 기반 표본 데이터 생성 프레임워크인 HeteroFedSyn 을 제안합니다.

핵심

이 논문은 **'HeteroFedSyn'**이라는 이름의 새로운 기술을 소개합니다. 이 기술을 쉽게 이해하기 위해 **'비밀스러운 레시피를 공유하는 요리사들'**이라는 비유를 들어보겠습니다.

🍳 상황 설정: 각자 다른 재료를 가진 요리사들

상상해 보세요. 전 세계에 있는 여러 병원 (또는 학교, 은행 등) 이 있습니다. 각 기관은 환자 (또는 학생, 고객) 에 대한 민감한 데이터를 가지고 있지만, 개인 정보를 절대 남에게 보여줄 수 없습니다.

하지만 이 기관들은 "우리 지역 전체의 질병 추이를 파악해서 더 나은 의료 시스템을 만들자"라고 협력하고 싶어 합니다.

• 문제: 각 기관은 데이터를 직접 공유할 수 없습니다.
• 기존 방법의 한계:
  1. 중앙 집중식: 모든 데이터를 한곳으로 모으면? 보안이 뚫릴 위험이 너무 큽니다.
  2. 개인 데이터에 소금 뿌리기 (노이즈 추가): 각 기관이 데이터를 조금씩 섞어서 보내면? 데이터가 너무 뭉개져서 쓸모가 없어집니다. (예: "어떤 병이 유행하는지"조차 알 수 없게 됨)

🚀 해결책: HeteroFedSyn (비밀 레시피 공유 시스템)

이 논문은 **"원본 데이터는 절대 건드리지 않고, 통계적인 '맛'만 공유해서 가짜지만 똑같은 데이터를 만드는 시스템"**을 제안합니다.

1. 핵심 아이디어: "통계적인 향신료"만 보내기

요리사 (기관) 들은 환자 명단 (원본 데이터) 을 보내지 않습니다. 대신, "30 대 남성이 고혈압일 확률은 20% 입니다" 같은 **통계 정보 (마진)**만 보내줍니다.
하지만 여기서 중요한 건, 이 통계 정보에도 **개인 식별을 막기 위해 '소금 (노이즈)'**을 살짝 뿌려야 한다는 점입니다.

2. 새로운 기술 3 가지 (요리사의 비법)

이 시스템은 기존 방식보다 훨씬 똑똑하게 작동합니다.

• ① "요리 재료의 짝" 찾기 (의존성 측정)

  • 모든 통계 정보를 다 보내면 '소금'이 너무 많이 섞여 맛이 망칩니다.
  • 그래서 시스템은 **"어떤 두 가지 정보가 서로 가장 밀접하게 연관되어 있는지"**를 먼저 파악합니다.
  • 비유: "고혈압"과 "비만"은 서로 관련이 깊지만, "고혈압"과 "신발 사이즈"는 별 상관없습니다. 시스템은 **관련이 깊은 것들 (고혈압+비만)**만 골라내서 정밀하게 분석합니다.
  • 기술적 비유: 데이터를 압축해서 보내는 '랜덤 투사 (Random Projection)' 기술을 써서, 큰 통계를 작은 용기에 담아 보냅니다. (우유를 우유병에 담지 않고, 작은 컵에 담아서 보내는 것)

• ② "소금기 제거" (편향 보정)

  • 각 기관이 보낸 통계에는 '소금 (노이즈)'이 섞여 있어서 실제 값과 다릅니다.
  • 서버는 이 소금기를 수학적으로 계산해서 **원래의 맛 (정확한 통계)**을 다시 복원합니다.
  • 비유: 각 요리사가 보낸 국물에서 '소금'의 양을 계산해 내고, 그 양만큼 다시 물을 더하거나 빼서 원래 국물 맛을 맞춥니다.

• ③ "유연한 선택" (적응형 선택)

  • 기존 방식은 미리 정해진 순서대로 중요한 정보를 골랐습니다.
  • 하지만 이 시스템은 실시간으로 상황을 보고 선택합니다.
  • 비유: "이미 '고혈압'과 '비만'을 골랐으니, 이제 '고혈압'과 '비만'의 관계를 이미 알 수 있으니 '비만'과 '운동' 관계를 골라야겠다"라고 생각하며, 중복되는 정보를 골라내지 않고 가장 새로운 정보를 찾아냅니다.

🎁 결과: 완벽한 가짜 데이터

이 과정을 거쳐서 만들어진 **가짜 데이터 (Synthetic Data)**는 다음과 같은 특징이 있습니다:

1. 개인 정보 보호: 원본 데이터의 어떤 사람도 식별할 수 없습니다.
2. 통계적 정확도: 가짜 데이터로 만든 분석 결과 (예: 질병 예측, 교육 정책 수립) 는 실제 데이터를 분석한 결과와 거의 같습니다.
3. 유연성: 이 가짜 데이터를 가지고 어떤 분석 (머신러닝, 통계 조사 등) 을 해도 됩니다.

💡 요약

HeteroFedSyn은 여러 기관이 서로의 **비밀 (개인 정보)**을 건드리지 않으면서도, 통계적인 '맛'만 공유하여 완벽한 가짜 데이터를 만들어내는 혁신적인 기술입니다.

• 기존 방식: "데이터를 다 모으자" (보안 위험) 또는 "데이터를 다 섞어서 보내자" (정확도 저하)
• 이 방식: "중요한 통계 관계만 골라서, 소금기를 제거하고, 가짜 데이터를 만들어내자" (보안과 정확도 두 마리 토끼 다 잡기)

이 기술은 병원, 학교, 금융 기관 등 민감한 데이터를 가진 기관들이 서로 협력하여 더 나은 서비스를 만들 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 기존 차분 프라이버시 (Differential Privacy, DP) 기반의 표본 데이터 합성 (Tabular Data Synthesis) 기술은 주로 중앙집중형 (Centralized) 환경이나 로컬 DP (Local DP) 환경에서 연구되었습니다.
• 현실적 한계: 실제 세계에서는 여러 기관 (예: 병원, 은행, 학교) 이 동일한 속성 (Attributes) 을 갖지만 서로 다른 사용자 집단에 대한 데이터를 보유하는 수평적 페더레이션 (Horizontal Federated) 환경이 매우 일반적입니다.
• 기존 방법의 실패:
  1. 로컬 합성 후 병합: 각 기관이 로컬 데이터를 DP 합성하여 공유하면, 기관 간 데이터 분포가 이질적 (Heterogeneous) 인 경우 합성된 데이터는 편향되고 일관성이 떨어집니다.
  2. 로컬 노이즈 추가 후 공유: 개별 레코드에 로컬 DP 노이즈를 추가하면, 이후 DP 합성 과정이 불필요해지며 데이터셋 크기에 비례하여 노이즈가 급격히 증가하여 데이터 유용성 (Utility) 이 심각하게 저하됩니다.
• 핵심 과제: 원본 데이터를 공유하지 않으면서도, 분산된 환경에서 전역적인 통계적 특성을 반영한 고품질의 DP 합성 데이터를 생성하는 방법론이 필요합니다. 특히, 데이터 분포가 이질적인 환경에서 효율적인 마진 (Marginal) 선택과 노이즈 관리가 관건입니다.

2. 제안 방법론: HeteroFedSyn

저자들은 수평적 페더레이션 환경에 특화된 첫 번째 DP 표본 데이터 합성 프레임워크인 HeteroFedSyn을 제안합니다. 이 프레임워크는 기존 중앙집중형 알고리즘인 PrivSyn을 기반으로 하되, 분산 환경의 제약 (노이즈 누적, 통신 비용, 이질성) 을 해결하기 위해 세 가지 핵심 혁신을 도입했습니다.

2.1 전체 워크플로우

1. 마진 공유 (Marginal Sharing): 각 참여자는 로컬 데이터의 1 차 및 2 차 마진 (단일 속성 및 두 속성 간의 결합 분포) 을 계산합니다.
2. 압축 및 노이즈 추가: 2 차 마진의 차원을 랜덤 프로젝션 (Random Projection) 을 통해 축소하고, 차분 프라이버시를 위해 가우시안 노이즈를 추가하여 서버로 전송합니다.
3. 의존성 측정 (Dependency Measurement): 서버는 노이즈가 포함된 마진을 바탕으로 속성 간의 의존성을 측정합니다.
4. 마진 선택 (Marginal Selection): 가장 유용한 2 차 마진들을 선택합니다.
5. 데이터 합성 (Data Synthesis): 선택된 마진을 기반으로 전역 합성 데이터를 생성합니다.

2.2 핵심 기술적 기여 (Key Innovations)

1. 랜덤 프로젝션 기반 의존성 측정 및 마진 압축:

   • 문제: $d$개의 속성이 있을 때 2 차 마진의 수는 $O(d^2)$이며, 각 마진의 차원은 속성 도메인 크기의 곱 ($s_a \times s_b$) 입니다. 이를 모두 전송하면 통신 비용과 노이즈가 폭발적으로 증가합니다.
   • 해결: $l_2$ 기반 의존성 지표 ($InDif^2$) 를 정의하고, 랜덤 프로젝션 (Random Projection) 을 사용하여 2 차 마진을 낮은 차원 ($k$) 으로 압축합니다. Johnson-Lindenstrauss 보조정리에 따라 거리 정보가 보존되도록 하여, 통신 오버헤드를 줄이면서도 의존성 신호를 유지합니다.

2. 노이즈가 포함된 마진에 대한 편향 없는 추정 (Unbiased Estimation):

   • 문제: 서버는 노이즈가 추가되고 압축된 마진 ($\hat{M}$) 만 접근 가능합니다. 이를 직접 사용하여 의존성 점수를 계산하면 노이즈 간의 곱셈 상호작용으로 인해 심각한 편향 (Bias) 이 발생합니다.
   • 해결: 저자들은 노이즈가 포함된 압축 마진으로부터 편향 없는 $InDif^2$ 추정치를 수학적으로 유도했습니다. 이는 노이즈의 분산 특성을 정확히 계산하여 추정식에서 보정항을 제거함으로써 달성됩니다.

3. 적응형 마진 선택 전략 (Adaptive Marginal Selection):

   • 문제: 기존 PrivSyn 의 탐욕적 (Greedy) 선택 방식은 정적 (Static) 입니다. 이미 선택된 마진들 간의 상관관계 (예: $A-B$와 $B-C$가 선택되면 $A-C$는 이미 간접적으로 제약됨) 를 고려하지 않아, 불필요한 마진을 선택하여 프라이버시 예산을 낭비할 수 있습니다.
   • 해결: AdaFedPrivSyn 알고리즘을 제안합니다. 이는 마진을 선택할 때마다 생성된 합성 데이터를 기반으로 의존성 점수를 동적으로 업데이트합니다. 이미 설명된 상관관계는 제외하고, 여전히 설명되지 않은 새로운 상관관계를 가진 마진을 선택하여 프라이버시 예산의 효율성을 극대화합니다.

3. 실험 결과 (Results)

저자들은 5 개의 실제 데이터셋 (Adult, Abalone, Obesity, Insurance, Shoppers) 을 사용하여 다양한 다운스트림 태스크에서 HeteroFedSyn 을 평가했습니다.

• 비교 대상:
  • PrivSyn: 중앙집중형 환경의 표준 알고리즘.
  • FedPrivSyn-allMarg: 모든 2 차 마진을 선택 없이 노이즈 추가 후 공유 (비효율적).
  • FedPrivSyn-RandMarg: 무작위 마진 선택.
• 평가 지표:
  • 범위 쿼리 (Range Query) 오차: 합성 데이터와 원본 데이터의 쿼리 결과 차이.
  • Wasserstein 거리 (Fidelity): 분포 간의 유사성.
  • 머신러닝 정확도: Random Forest, MLP, XGBoost 모델 학습 성능.
• 주요 결과:
  • 중앙집중형 대비 성능: 분산 환경의 추가 노이즈에도 불구하고, HeteroFedSyn (특히 AdaFedPrivSyn) 은 PrivSyn 과 유사한 수준의 유용성을 달성했습니다. 오차가 노이즈 증가에 비례하여 급격히 나빠지지 않고 동일한 차수 (Order of magnitude) 내에 유지되었습니다.
  • 적응형 선택의 효과: 속성 수가 많고 상관관계가 복잡한 데이터셋 (Adult, Shoppers) 에서 AdaFedPrivSyn 이 정적 선택 방식보다 뚜렷한 성능 향상을 보였습니다.
  • 이질성 처리: 데이터 분포가 편향된 (Biased) 환경에서도 노이즈가 추가된 통계를 비례적으로 집계하는 방식 덕분에 견고한 (Robust) 성능을 유지했습니다.
  • 파라미터 영향: 프라이버시 예산 ($\epsilon$) 이 낮을수록 마진 선택에 예산을 더 할당하는 것이 유리하며, 랜덤 프로젝션 차원 ($k$) 은 데이터 특성에 따라 최적값이 존재함을 확인했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 연구적 기여:
  • 이질적인 데이터를 가진 수평적 페더레이션 환경에서 차분 프라이버시를 보장하는 첫 번째 표본 데이터 합성 프레임워크를 제안했습니다.
  • 분산 환경에서 마진 선택 문제를 해결하기 위해 랜덤 프로젝션, 편향 없는 추정, 적응형 선택이라는 세 가지 핵심 기술을 통합했습니다.
• 실용적 가치:
  • 여러 기관이 원본 데이터를 공유하지 않고도 협력하여 고품질의 합성 데이터를 생성할 수 있는 길을 열었습니다. 이는 의료, 금융 등 민감한 데이터를 다루는 분야에서 데이터 공유의 장벽을 낮춥니다.
  • 기존 중앙집중형 DP 합성 기술의 유용성을 분산 환경에서도 유지할 수 있음을 입증했습니다.
• 한계 및 향후 과제:
  • 분산 환경에서의 노이즈 누적은 여전히 큰 도전 과제입니다.
  • 향후 연구에서는 알고리즘 최적화를 넘어, 공개된 지식을 활용하여 프라이버시 비용을 줄이는 방향이 필요하다고 제안합니다.

요약하자면, HeteroFedSyn 은 분산된 데이터의 이질성과 프라이버시 제약이라는 두 가지 난제를 동시에 해결하여, 실제 페더레이션 학습 환경에서 실용적으로 적용 가능한 차분 프라이버시 데이터 합성 솔루션을 제시한 중요한 연구입니다.