기술 요약: Fed-Listing

문제 정의

연동 그래프 신경망 (FedGNNs) 은 데이터 프라이버시를 유지하면서 분산된 클라이언트 간 협력 학습을 가능하게 합니다. 그러나 최근 연구에 따르면 공유된 모델 업데이트, 특히 기울기 (gradients) 가 우연히 로컬 사용자의 민감한 정보를 유출할 수 있다고 합니다. 다양한 프라이버시 공격 (예: 멤버십 추론, 속성 추론, 그래프 재구성) 이 FedGNN 에서 탐구되었지만, **레이블 분포 추론 (LDI)**은 이러한 설정에서 아직 충분히 연구되지 않았습니다.

LDI 공격은 대상 클라이언트의 비공개 데이터셋 내 클래스 레이블의 통계적 분포를 추론하는 것을 목표로 합니다. 그래프 구조 데이터에서는 **동질성 (homophily)**으로 인해 이러한 위험이 증폭되는데, 이는 유사한 레이블을 가진 노드들이 연결되는 경향이 있어 구조적 및 특징적 상관관계가 암묵적으로 커뮤니티 구성을 드러내기 때문입니다. 레이블 분포의 유출은 민감한 인구통계학적 특성, 사용자 행동, 또는 의학적 상태 (예: 병원 내 종양 양성 스캔과 정상 스캔의 비율) 를 노출시켜 프라이버시 침해와 경쟁적 불이익을 초래할 수 있습니다.

기존 LDI 방법인 Decaf와 같은 방법들은 주로 이미지 데이터셋을 위해 설계되었으며, 최종 선형 계층의 기울기 변화 크기에 의존합니다. 이러한 방법들은 FedGNN 에서는 노드 레이블뿐만 아니라 복잡한 이웃 구조와 알 수 없는 노드 차수 (node degrees) 에 의해서도 기울기가 영향을 받기 때문에 직접적인 역공학적 추론이 비자명하여 어려움을 겪습니다. 또한, EC-LDA와 같은 동시적 능동 공격은 서버가 클라이언트 매개변수를 조작해야 하므로 탐지 가능하고 모델의 유용성을 해치는 문제가 있습니다.

방법론: Fed-Listing

저자들은 수평적 FedGNN 설정을 위해 특별히 설계된 새로운 수동적이고 은밀한 공격 프레임워크인 Fed-Listing(GNN 에 대한 연동 레이블 분포 추론) 을 제안합니다. 이 공격은 공유된 모델 업데이트 (기울기) 와 보조 데이터셋에 접근할 수 있지만 훈련 과정을 변경하지 않는 "정직하지만 호기심 많은 (honest-but-curious)" 서버를 가정합니다.

공격은 세 단계로 진행됩니다:

1. 보조 데이터셋 분할:
   공격자는 대상 클라이언트와 유사한 분포와 레이블 공간을 가진 보조 데이터셋 ($D_a$) 을 활용합니다. 이 데이터셋은 다양한 클라이언트 분포를 시뮬레이션하기 위해 네 가지 다른 전략으로 하위 집합으로 분할됩니다:

   • 동등 비율: 클래스가 균등하게 표현됨.
   • 무작위 분포: 클래스가 무작위로 할당됨 (비 i.i.d. 시나리오 시뮬레이션).
   • 단일 클래스: 각 클라이언트가 하나의 클래스에서만 샘플을 보유함.
   • 누락된 클래스: 특정 클라이언트에서 특정 클래스가 부재함.

2. 그림자 연동 훈련 (Shadow Federated Training):
   공격자는 분할된 보조 데이터를 사용하여 여러 개의 "그림자" 연동 학습 인스턴스를 구성합니다. 이러한 그림자 훈련 라운드 동안 공격자는 그림자 클라이언트와 서버 간에 교환되는 최종 계층 기울기 ($g_r$) 를 기록합니다. 이러한 기울기는 그림자 클라이언트의 알려진 실제 레이블 분포와 짝을 이루어 공격 데이터셋 ($T_{attack}$) 을 형성합니다.

3. 공격 모델 훈련 및 추론:
   신경망 기반 공격 모델 (구체적으로 MLP) 이 $T_{attack}$를 기반으로 기울기 업데이트를 레이블 분포로 매핑하도록 훈련됩니다. 이 모델은 다음을 결합한 복합 손실 함수를 최소화합니다:

   • L1 노름 ($L_{L1}$): 예측된 분포와 실제 분포 간의 통계적 차이를 측정.
   • 제이슨 - 샤논 발산 ($L_{JS}$): 분포 간의 겹침/분리를 측정.

   훈련이 완료되면 공격 모델은 실제 FedGNN 훈련 과정에서 수신된 기울기를 분석하여 실제 피해자 클라이언트의 레이블 분포를 추론합니다.

주요 기여

1. 새로운 공격 프레임워크: 수평적 FedGNN 을 위해 특별히 맞춤화된 최초의 수동적이고 은밀한 LDI 공격인 Fed-Listing의 도입.
2. 그림자 훈련 파이프라인: 이질적인 데이터 분포를 탐색하기 위해 보조 데이터셋을 사용하는 설계된 파이프라인으로, 실제 세계의 비 i.i.d. 조건을 모방하는 다양한 공격 시나리오를 생성.
3. 종합적 평가: 네 가지 벤치마크 데이터셋 (Cora, PubMed, Citeseer, Amazon Computers) 과 세 가지 GNN 아키텍처 (GCN, GraphSage, GIN) 에서 수행된 광범위한 실험.
4. 방어 분석: 널리 채택된 세 가지 방어 메커니즘 (차등 프라이버시 (DP), 노이즈가 있는 기울기, 기울기 압축) 에 대한 Fed-Listing 의 내성에 대한 경험적 분석.

실험 결과

저자들은 Fed-Listing 을 무작위 추측과 그래프 데이터에 맞게 적응된 Decaf, 그리고 능동 공격인 EC-LDA(상한선으로 사용) 에 대해 평가했습니다.

• 성능: Fed-Listing 은 모든 데이터셋과 아키텍처에서 기존 베이스라인을 크게 능가합니다. 까다로운 비 i.i.d. 시나리오 (예: 단일 클래스 또는 한 클래스가 지배적인 분포) 에서 Fed-Listing 은 높은 정확도 (예: Cora 에서 코사인 유사도 > 0.97) 를 유지하는 반면, Decaf 와 무작위 추측은 성능이 크게 저하됩니다.
• 효율성: 공격 모델은 모든 계층의 기울기보다 최종 계층 기울기를 사용하여 우수한 성능을 달성하며, Amazon Computers 데이터셋에서 훈련 시간을 최대 479 배 단축하면서도 추론 정확도를 유지하거나 향상시킵니다.
• 모델 아키텍처: MLP 기반 공격 모델이 CNN 기반 모델만큼 효과적이지만 매개변수가 훨씬 적음 (~44 배 적음) 이 밝혀져 더 효율적인 솔루션을 제공했습니다.
• 방어 내성: 기존 방어 메커니즘은 모델 유용성을 심각하게 저하시키지 않고는 Fed-Listing 을 완화하는 데 어려움을 겪습니다.
  • 차등 프라이버시 (DP): 프라이버시 예산 ($\epsilon$) 을 증가시키면 일반적으로 모델 유용성이 향상되지만 특정 낮은 값을 제외하고는 공격 효과도 증가합니다.
  • 노이즈가 있는 기울기: 높은 노이즈 수준은 모델 정확도와 공격 신뢰성 모두를 저하시키지만, 중간 수준의 노이즈는 여전히 moderate 한 공격 성공을 허용합니다.
  • 기울기 압축: 압축은 특정 임계값 (예: $\alpha=0.5$) 에서 공격 성공을 감소시키지만, 더 높은 압축 비율이 모델 유용성을 향상시키는 반면 유출을 완전히 제거하지는 않는 트레이드오프가 필요합니다.

중요성과 주장

본 논문은 Fed-Listing 이 현재 FedGNN 배포에서 레이블 분포 유출이 중요하고 아직 충분히 연구되지 않은 프라이버시 위험임을 드러낸다고 주장합니다. 저자들은 다음과 같이 강조합니다:

• 이 공격은 훈련 매개변수를 조작하는 능동 공격에 비해 탐지하기 어려운 수동적이고 은밀한 특성을 가집니다.
• 현재 방어 메커니즘은 불충분합니다. 공격을 막지 못하거나 글로벌 모델의 유용성이 심각하게 훼손될 정도로 강력한 교란을 요구합니다.
• 이러한 발견은 중앙 집중식 또는 이미지 기반 설정을 위해 설계된 방안에 의존하기보다, 그래프 기반 연동 학습에서 레이블 분포 유출을 방지하기 위해 특별히 설계된 새로운 프라이버시 보호 메커니즘의 긴급한 필요성을 강조합니다.

이 연구는 의료, 추천 시스템, 기관 간 연구와 같은 민감한 실세계 시스템에서 FedGNN 을 견고하게 배포하기 위해서는 이러한 보안 함의를 이해하는 것이 필수적이라고 결론지었습니다.