Topology-Aware Differential Privacy in Federated Learning

기술 요약: 연합 학습에서의 위상 인식 차분 프라이버시 (Topology-Aware Differential Privacy in Federated Learning)

문제 정의
연 federated learning(FL)은 클라이언트의 데이터 전송 대신 모델 업데이트만을 전송하여 데이터를 보호하며, DP-SGD는 그래디언트 클리핑(gradient clipping)과 노이즈 추가를 통해 콘텐츠 수준의 유출을 제한한다. 그러나 기존의 방어 기제는 업데이트의 *내용(content)*에만 국한되어 작동하며, 통신 위상(topology) 자체로부터 드러나는 정보는 무시한다. 크로스-실로(cross-silo) 배포 환경(예: 병원 컨소시엄, 산업 그룹)에서 네트워크 구조와 조직적 멤버십은 정보 채널을 생성하며, 이는 DP-SGD가 해결하지 못하는 영역이다. 위상 정보를 알고 있는 수동적 공격자(passive adversary)는 파라미터 업데이트가 노이즈로 포화된 상태일지라도, 클라이언트의 로컬 데이터셋 내 민감 클래스의 집중도를 포함한 민감한 데이터 속성을 추론할 수 있다. 표준 DP-SGD는 모든 클라이언트에 대해 균등한 노이즈 승수(noise multiplier)를 적용하는데, 이는 연합의 위상이 비대칭적일 때 각 클라이언트가 보유한 다양한 구조적 레버리지(structural leverage)를 고려하지 못하므로 최적이 아니다.

방법론
본 논문은 두 가지 측면의 접근 방식인 공식적 위협 모델 및 경험적 분해 도구(TADI)와 원칙적인 방어 메커니즘(FULCRUM)을 제안한다.

1. 위협 모델 및 TADI (Topology-Aware Distributional Inference):
   저자들은 공격자가 파라미터 업데이트, 통신 그래프 $G$, 그리고 조직 레이블 $\omega$를 관찰하는 위협 상황을 정형화한다. 유출량을 경험적으로 정량화하기 위해, 저자들은 어블레이션(ablation)을 통해 공격자의 정보원을 네 가지 채널로 분해하는 섀도-트레이닝 회귀 모델인 TADI를 도입한다:

   • 파라미터 채널 (Parameter Channel): 그래디언트 업데이트로부터 유도되는 정보.
   • 구조적 채널 (Structural Channel): 그래프 내 클라이언트의 위치(차수, 깊이, 중심성)로부터 유도되는 정보.
   • 조직적 채널 (Organizational Channel): 조직 멤버십 레이블로부터 유도되는 정보.
   • 결합 채널 (Combined Channel): 전체 공격자 뷰(view).
     TADI는 섀도 연합(shadow federations) 상에서 학습되어 각 클라이언트의 민감 클래스 농도 $p_i$를 추정하며, 이를 통해 각 채널의 한계 정보 기여도를 측정할 수 있게 한다.

2. 이론적 경계 및 FULCRUM 방어:
   저자들은 개별 클라이언트별 상호 정보량(MI) 경계(정리 V.2)를 도출하며, 유출량이 다음 두 요소로 가산적으로 분리됨을 보여준다:

   • 제어 가능한 메커니즘 항 (Controllable mechanism term): DP-SGD 노이즈에 의해 경계가 설정됨.
   • 제어 불가능한 사전 결합 바닥값 (Uncontrollable prior-coupling floor): 클라이언트의 구조적 레버리지 $\ell^\circ_i$(연합의 나머지 부분으로부터 클라이언트의 데이터를 예측할 수 있는 최악의 경우의 통계적 예측 가능성)에 의해 결정됨.

   이를 바탕으로, 저자들은 FULCRUM이라는 폐쇄형(closed-form)의 균형 잡힌 민-맥스(min-max) 최적 노이즈 할당 방식을 도출한다(정리 V.3). 균등한 DP-SGD와 달리, FULCRUM은 구조적 레버리지 점수에 따라 노이즈 스케일 $\sigma_i$를 비대칭적으로 할당한다. 이는 고정된 유틸리티 예산 하에서 모든 클라이언트에 대한 최악의 경우 MI 경계를 엄격하게 최소화한다.

주요 기여

1. 공식 위협 모델: 위상 조건부 분포 추론(topology-conditional distributional inference)을 정의하여, 구조적 위치와 조직적 멤버십이 DP로 보호된 FL에서도 해결되지 않은 정보 채널로 작와함을 입증하였다.
2. 가산적 MI 경계: 유출을 제어 가능한 노이즈 의존 항과 제어 불가능한 구조적 사전 결합 항으로 분리하는 이론적 증명을 제시하였다.
3. FULCRUM 할당: 구조적 레버리지가 비대칭적일 때 균등 DP-SGD를 엄격하게 지배하고, 레버리지가 대칭적일 때는 정확히 균등 DP-SGD로 수렴하여 무조건적인 안전성을 보장하는 폐쇄형 노이즈 할당 전략을 제공한다.
4. TADI 분해: 섀도 트레이닝을 통해 파라미터, 구조, 조직적 기여도를 격리하는 최초의 위상 조건부 유출 경험적 특성화 기법을 제시하였다.
5. 경험적 검증: Fed-ISIC2019, Fed-Heart-Disease, 그리고 합성 CIFAR-10 데이터를 사용하여 6가지 위상 군(family)에 대해 종합적인 평가를 수행하였다.

결과

• 프라이버시 이득: 비대칭적 설정(예: 이질적인 데이터셋 크기를 가진 계층적 위상 구조)에서 FULCRUM은 균등 DP-SGD 대비 최대 1.967 nats(프라이버시 경계의 감소)의 프라이버시 이득을 달 achieves 하며, 모델 유틸리티에 대한 측정 가능한 비용은 발생하지 않는다.
• 유틸리티 일관성: 통계적 동등성 검정(TOST) 결과, 프라이버시 개선이 실질적인 모델 정확도 저하 없이(평균 절대 차이 < 0.5 퍼센트 포인트) 이루어졌음을 확인하였다.
• 채널 분해 결과:
  • 파라미터 채널은 모든 설정에서 DP-SGD에 의해 효과적으로 경계가 설정된다. 즉, 파라미터만을 이용하는 공격자는 상수 평균 베이스라인보다 나은 성능을 보이지 못한다.
  • 사전 결합 채널(구조적/조직적)은 공격자의 섀도 사전 확률(shadow prior)이 배포 사전 확률과 일치할 때(예: 높은 위상-데이터 결합을 가진 합성 설정) 경험적으로 도달 가능하다.
  • 공격자가 네이티브 파티션 레이블을 갖지 못하는 현실적인 크로스-실로 위협 모델(불일치하는 사전 확률) 하에서는, 경계는 보수적이며 사전 결합 항이 완전히 실현되지 않는다.
• 위상 민감도: FULCRUM과 균등 DP-SGD 사이의 격차는 레버리지 비대칭성의 정도에 따라 커진다. 대칭적 위상(예: 링 구조)에서는 격차가 0이며, 비대칭적 위상(예: 스타, 계층적 트리)에서는 상당한 이득을 보인다.

의의 및 주장
본 논문은 통신 위상을 추출 가능한 정보 채널로 취급하고, 그로 인한 구조적 비대칭성을 고려한 방어 기제를 도출한 첫 번째 연구라고 주장한다. 저자들은 FULCRUM이 "무조건적으로 채택 가능한 안전한(safe to adopt unconditionally)" 솔루션임을 강조한다. 즉, 비대칭적 배포(크로스-실로 FL의 일반적인 사례)에서는 엄격한 프라이버시 개선을 제공하고, 대칭적 사례에서는 표준 균등 베이스라인으로 우아하게 수렴한다. 본 연구는 현재의 균등 노이즈 할당이 구조적 레버리지가 변하는 실제 FL 배포 환경에서 최적이 아님을 지적하며, 특정 구조적 위험에 따라 프라이버시 예산을 균형 있게 배분하는 원칙적인 메커니즘을 제공한다.