Privacy-Utility Tradeoffs in Hierarchical Federated Learning Under Combined Differential Privacy and CKKS Homomorphic Encryption for Distributed Healthcare Networks

기술 요약: 결합된 차분 프라이버시 및 CKKS 동형 암호를 적용한 계층적 연합 학습에서의 프라이버시-유용성 트레이드오프

문제 정의

의료 분야로의 인공지능 통합은 데이터 프라이버시 및 보안과 관련하여 상당한 운영상의 장애물에 직면해 있습니다. 중앙 집중식 시스템은 단일 장애점(single point of failure)을 제시하며, 이는 GDPR 및 HIPAA와 같은 규정 위반의 위험을 초래합니다. 연합 학습(Federated Learning, FL)은 원시 데이터를 공유하지 않고도 협력적 학습을 가능하게 하지만, 기존의 프라이버시 보호 접근 방식들은 **차분 프라이버시(Differential Privacy, DP)**와 **동형 암호(Homomorphic Encryption, HE)**를 개별적으로 다루는 경우가 많습니다.

• DP 전용 구현은 모델 업데이트에 대한 추론 공격으로부터는 보호하지만, 전송 중 평문 파라미터가 노출되는 문제를 남겨 전송 기밀성을 보장하는 데 실패합니다.
• HE 전용 체계는 전송은 보안하지만, 노이즈 주입에 따른 정확도 비용이나 암호화와 모델 유용성 간의 상호작용을 정량화하는 데 실패하는 경우가 많습니다.
• 하이브리드 접근 방식이 존재하지만, 다양한 프라이버시 예산($\epsilon$) 범위 내에서 계층적 연합 학습(Hierarchical Federated Learning, HFL) 환경 내의 결합된 프라이버시-유용성 트레이드오프에 대한 체계적인 평가가 부족합니다.

결과적으로, 클라이언트 수준의 DP와 기관 수준의 HE를 결합하는 것이 분산된 의료 네트워크 맥락 내에서 DP의 노이즈 주입만으로 발생하는 것 이상의 측정 가능한 정확도 저하를 유발하는지에 대한 정량화되지 않은 격차가 존재합니다.

방법론

저자들은 분산된 의료 네트워크의 조직 구조(클라이언트 $\to$ 기관 $\to$ 글로벌 애그리게이터)를 반영하도록 설계된 3계층 HFL 프레임워크를 제안합니다. 이 시스템은 두 가지 별도의 프라이버시 메커니즘을 통합합니다:

1. 클라이언트 수준 $(\epsilon, \delta)$-DP: 전송 전 각 클라이언트에서 로컬로 적용됩니다. 이는 정보 누출을 제한하기 위해 그래디언트 클리핑(노름 $C$로 제한)과 보정된 가우시안 노이즈($\sigma$) 주입을 포함합니다.
2. 기관 수준 CKKS HE: 프라이버시가 적용된 업데이트를 암호화하기 위해 Cheon-Kim-Kim-Song (CKKS) 방식이 적용됩니다. 기관들은 CKKS의 가법 동형 암호 특성을 사용하여 이러한 암호문을 직접 집계하며, 최종 가중 평균만을 복호화하여 글로벌 애그리게이터로 전달합니다.

실험 설정:

• 데이터셋: 이미지 및 생체 신호 모달리티를 나타내는 MNIST(필기 숫자)와 MIT-BIH Arrhythmia(ECG 신호).
• 토폴로지: 3개의 기관, 각 기관당 3개의 클라이언트.
• 프라이버시 예산: $\epsilon \in \{2, 4, 6, 8\}$, $\delta = 10^{-5}$ 범위에서 평가.
• 구성: CKKS 파라미터는 모든 실험에서 고정되었습니다 (다항식 모듈러스 차수 8192, $n_{slots}=4096$).
• 재현성: 결과는 세 개의 독립적인 무작위 시드(42, 123, 7)에 대한 평균 $\pm$ 표준 편차로 보고됩니다.

주요 기여

1. 통합 프레임워크: 클라이언트 수준의 DP와 기관 수준의 CKKS HE를 강제하여 원시 데이터나 평문 모델 업데이트가 노출되지 않도록 하는 계층적 FL 아키텍처.
2. 체계적 경험적 평가: 두 가지 의료 관련 데이터셋과 네 가지 프라이버시 예산에 걸친 프라이버시-유용성 트레이드오프에 대한 엄격한 평가.
3. 유용성 저하의 격리: CKKS HE가 그래디언트 집계에 적용될 때 측정 가능한 정확도 손실을 전혀 유발하지 않음을 경험적으로 입증했습니다. 이를 통해 DP 노이즈와 HE에 의한 기밀성 비용 사이의 명확한 구분을 확립하고, DP 노이즈만이 유일한 유용성 저하의 원인임을 격리하여 보여줍니다.

결과

정확도 및 유용성:

• 베이스라인 성능: 프라이버시 메커니즘이 없는 HFL 파이프라인은 높은 정확도를 달성했습니다: $99.65\%$ (MNIST) 및 $97.73\%$ (MIT-BIH).
• DP 영향: DP는 제한된 정확도 손실을 유발했습니다.
  • MNIST: 손실은 $1.88\%$ ($\epsilon=2$)에서 $1.25\%$ ($\epsilon=8$) 사이였습니다.
  • MIT-BIH: 손실은 $12.23\%$ ($\epsilon=2$)에서 $6.15\%$ ($\epsilon=8$) 사이였습니다. MIT-BIH에서의 더 높은 손실은 이미지 패턴에 비해 생체 파형 분류가 그래디언트 섭동에 민감하기 때문으로 분석됩니다.
• HE 영향: DP 전용 구성과 DP+HE 구성을 비교했을 때 방향성 있는 정확도 격차가 발견되지 않았습니다. 예를 들어, $\epsilon=2$에서 MNIST 정확도는 두 구성 모두 동일했습니다 ($97.77\%$). 차이($\Delta_{HE}$)는 실질적으로 zero($0.00\%$ ~ $\pm 0.01\%$)였으며, 이는 암호화가 모델 유용성을 저하시키지 않음을 확인시켜 줍니다.

오버헤드:

• 계산 비용: HE 오버헤드는 클라이언트 계층에 집중되어 있습니다.
  • 클라이언트 측 암호화가 지배적인 시간을 차지했습니다 (예: MNIST의 경우 라운드당 $4.42$초, MIT-BIH의 경우 $9.74$초).
  • 기관 수준의 집계 및 복호화는 경량적이었습니다 (MNIST 기준 각각 $1.00$초 및$0.27$초).
• 통신 비용: DP는 노이즈 주입으로 인해 모델 업데이트 크기를 약 $60\%$ 증가시켰습니다. HE는 기존 오버헤드 구조 내에서 암호문 크기가 관리되었으므로 추가적인 통신 비용을 발생시키지 않았습니다.

의의 및 주장

본 논문은 다음과 같은 점을 입증함으로써 의료 분야에서 프라이버시 보호 FL을 배포하기 위한 경험적 토대를 제공한다고 주장합니다:

1. 유용성 손실 없이 기밀성 달성 가능: CKKS HE를 사용하면 예측 성능을 저하시키지 않으면서 전송 및 집계를 보안할 수 있으며, 이를 통해 기밀성의 비용과 프라이버시의 비용을 분리할 수 있습니다.
2. DP가 주요 유용성 병목 구간: 관찰된 모든 정확도 저하는 DP 노이즈에 기인하며, 이는 프라이버시 예산이 완화됨에 따라 단조 감소합니다.
3. 재현성: 결과는 독립적인 시드에 대해 안정적이며, 표준 편차는 MNIST의 경우 $0.13\%$ 미만, MIT-BIH의 경우 $1.31\%$ 미만입니다.

저자들은 한계점도 언급했습니다. 구체적으로 균형 잡힌 IID 데이터 분포를 사용했기 때문에 데이터 이질성으로부터 프라이버시 신호를 격리하였으며, 이는 보고된 정확도 손실이 이질적인 배포 환경에서의 하한선(lower bound)임을 의미합니다. 또한, 현재 범위는 HE를 클라이언트-기관 계층으로 제한하고 있으며, 기관-글로벌 계층은 향후 보안 다자간 계산(SMPC)을 통한 탐색 과제로 남겨두었습니다. 비잔틴 결함 허용성(Byzantine resilience) 및 블록체인 감사 기능은 본 연구의 범위에서 명시적으로 제외되었습니다.