Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

기술 요약: 프라이버시 보존 및 검증 가능한 근사 분산 코디드 컴퓨팅

문제 정의
연합 학습(Federated Learning, FL) 및 탈중앙화 학습(Decentralized Learning, DL)을 포함한 분산 머신러닝 패러다임은 원시 데이터를 중앙 집중화하지 않고도 협력적인 모델 학습을 가능하게 한다. 그러나 이러한 시스템은 두 가지 별개의 위협 클래스에 여전히 취약하다: 프라이버시 유출(공격자가 모델 업데이트로부터 민감한 데이터를 추론하는 경우)과 악의적인 조작(참가자가 오염된 업데이트를 주입하는 비잔틴 공격)이다. 기존의 방어 기제들은 일반적으로 이러한 위협들을 개별적으로 다룬다. 동형 암호(Homomorphic Encryption)나 차분 프라이버시(Differential Privacy)와 같은 프라이버시 강화 기술(PETs)은 과도한 계산 오버헤드를 초래하거나 모델의 효용성을 저하시키는 경우가 많다. 반대로, 강건한 집계(Robust Aggregation) 기법은 악의적인 동작을 완화하지만 프라이버시 유출 문제를 거의 다루지 못하며, 특정 아키텍처에 맞춰 설계되는 경우가 많다. 더욱이, 대부분의 선행 연구는 중앙 집계기가 존재하는 FL에 초점을 맞추고 있어, 데이터가 모델 업데이트 대신 직접 교환되는 탈중앙화 환경에서의 통합적인 적대적 복원력에 대해서는 연구가 미흡하다.

방법론
저자들은 FL 및 DL 설정 모두에서 프라이버시와 무결성을 공동으로 다루는 통합된, 모델 불가지론적(Model-agnostic) 프레임ally를 제안한다. 핵심 기술적 토대는 임의의 머신러닝 모델에 적용 가능한 프라이버시 강화 코디드 컴퓨팅 기술인 **일반화된 프라이버시 인지형 베럿 근사 코디드 컴퓨팅(Generalized Privacy-aware Berrut Approximated Coded Computing, GPBACC)**이다.

1. 핵심 메커니즘 (GPBACC):

   • BACC(Berrut Approximated Coded Computing)를 기반으로 구축되었으며, 이는 유리 보간법(Berrut barycentric formulation)을 사용하여 스트래글러(Straggler)를 허용하면서 임의의 함수를 분산 계산한다.
   • 프라이버시 확장: GPBACC는 인코딩 과정에 가우시안 무작위 노이즈를 도입한다. 마스터 노드는 무작위 노이즈 항이 추가된 유리 보간 함수를 사용하여 데이터 텐서를 인코딩한다. 이는 부가 백색 가우시안 노이즈(AWGN) 채널 효과를 생성하여, 공모된 준정직(Semi-honest) 노드들이 접근할 수 있는 상호 정보를 제한한다.
   • 일반화: 기존 방식과 달리, GPBCC는 멀티 소스 구성 및 임의의 랭크를 가진 텐서 입력을 지원하므로 딥러닝 워크로드에 적합하다.

2. 연합 학습(FL) 통합:

   • 중앙 집계기가 존재하는 FL의 경우, 본 프레임워크는 GPBACC를 강건한 집계 전략(예: 좌표별 중앙값(Coordinate-wise Median), 절단 평균(Trimmed Mean), Krum, Multi-Krum)과 통합한다.
   • 집계 규칙은 워커(Worker)들에 의해 평가되는 대상 함수 $f$로 설정된다. 시스템은 코딩 압축 차원을 $K=1$로 설정하여 좌표별 디코딩을 가능하게 함으로써, 근사적 코딩 특성에도 불구하고 집계기가 높은 수치적 정밀도로 강건하게 집계된 업데이트를 재구성할 수 있도록 한다.

3. 탈중앙화 학습(DL) 통합:

   • 중앙 집계자가 존재하지 않는 DL의 경우, 본 프레임워크는 **근사 디코드 앤 컴페어(Approximate Decode-and-Compare, ADC)**와 **그룹 테스팅(Group Testing, GT)**을 결합한 검증 파이프라인을 사용한다.
   • ADC: GPBACC는 프라이버시를 위해 제어된 섭동(Perturbation)을 도입하므로, 정확한 일치 확인은 불충분하다. ADC는 부트스트랩 전략을 기반으로 동적 임계값($\tau$)을 설정하여, 서로 다른 워커 서브셋으로부터 재구성된 결과가 허용 가능한 오차 범위 내에서 일관성을 유지하는지 판단한다.
   • 그룹 테스팅: 전체 디코딩 없이 악의적인 워커를 효율적으로 격리하기 위해, 시스템은 비적응형 풀링 행렬(Non-adaptive pooling matrices)을 사용한다. 워커들은 그룹화되며, 이들의 풀링된 결과는 ADC 임계값에 대해 테스트된다. 노이즈가 포함된 그룹 테스팅 디코더(예: COMP, DD)는 악의적인 워커 세트를 식별하며, 이들은 최종 재구성 전에 제거된다.

주요 기여

• 통합 프레임워크: 특정 모델 아키텍처에 국한되지 않고 프라이버시 유출과 악의적 동작을 동시에 해결하는 단일 프레임워크를 정의하였다.
• FL 적응: GPBACC를 강건한 집계 전략과 결합하여, 코딩 방식의 모델 불가지론적 특성을 보존하는 방안을 제안하였다.
• DL 적응: 근사 디코드 앤 컴페어 및 그룹 테스팅 기법을 GPBACC와 결합하여, 신뢰할 수 있는 집계기 없이도 경량화된 검증 및 적대자 격리를 가능하게 하는 방안을 제안하였다.
• 공격 기반 평가: 이론적 보증에만 의존하는 대신, 멤버십 추론 공격(Membership Inference Attacks)과 악의적 행동(레이블 플리핑, 노이즈 추가, 가우시안 노이즈)을 명시적으로 구현한 실질적인 평가 방법론을 통해 프레임워크의 효용성을 경험적으로 검증하였다.

실험 결과
본 프레임워크는 MNIST 및 CIFAR10 데이터셋을 사용하여 CNN에 대한 평가를 수행하였다.

• 연합 학습 (Federated Learning):

  • 프라이버시: 멤버십 추론 공격(RMIA) 하에서, GPBACC는 AUC를 무작위 수준(~0.50)에 가깝게 크게 감소시켰으며, 이는 다중 키 동형 암호(MKHE) 및 차분 프라이버시(DP-SVT)와 대등한 수준이다. 그러면서도 DP에서 나타나는 심각한 효용성 저하는 발생하지 않았다.
  • 강건성: 레이블 플리핑 및 노이즈 추가 공격 하에서, GPBCC와 강건한 집계기(Median, Multi-Krum)를 결합했을 때 보호되지 않은 강건한 베이스라인과 유사하게 높은 정확도를 유지하였다. Krum 집계는 근사 디코딩 노이즈에 민감함을 보였으나, 시스템은 여전히 수렴하였다.
  • 효용성: GPBCC는 깨끗한 모델의 효용성을 거의 완벽하게 보존하였으며, 보호되지 않은 베이스라인과의 정확도 편차는 $4 \times 10^{-4}$ 미만이었다.

• 탈중앙화 학습 (Decentralized Learning):

  • 강건성: 노이즈 추가 공격 하에서, 보호되지 않은 DL은 성능이 붕괴(정확도 ~0.63)되었으나, ADC+GT를 결합한 GPBCC는 높은 정확도(>0.96)를 유지하여 정확한 코딩 컴퓨팅(ALCC)과 대등한 복원력을 보여주었다.
  • 프라이버시: 평문 데이터셋과 인코딩된 데이터셋 사이의 상호 정보를 KSG 추정기를 사용하여 측정했을 때 약 1.012 비트가 산출되었으며, 이는 정보 이론적 분석을 통해 도출된 이론적 프라이버시 경계와 밀접하게 일치한다.

의의 및 주장
본 논문은 프라이버시 강화 코딩 컴퓨팅(GPBACC)과 패러다임별 적대자 저항 전략의 결동이 보안이 확보된 분산 머신러닝을 위한 실용적이고 배포 가능한 토대를 제공한다고 주장한다. 프라이버시와 강건성을 분리하여 다루거나 무거운 암호화 프리미티브에 의존하는 기존 연구들과 달리, 이 접근 방식은 프라이버시 보장, 능동적 적대자에 대한 강건성, 그리고 모델 효용성 사이의 균형을 맞추는 통합된, 공격 검증된 솔루션을 제공한다. 저자들은 본 연구의 기여가 이러한 간극을 메우고, 실제 배포에 적합한 아키텍처 독립적 방어 메커니즘을 제공하는 데 있다고 강조한다. 본 연구는 모든 위협 모델을 해결한다고 주장하는 것이 아니라, 이러한 기술들의 명시적인 공격 중심 통합이 기존의 고립된 방어 기제에 비해 프라이버시 유출을 현저히 줄이고 복원력을 향상시킨다는 점을 입증한다.