Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

기술 요약: 탈중앙화 연합 학습의 보안을 위한 비잔틴 강건한 집계(Byzantine-Robust Aggregation)

문제 정의

탈중앙화 연합 학습(Decentralized Federated Learning, DFL)은 중앙 서버를 제거함으로써 단일 장애점(single point of failure)을 방지하여 확장성, 결함 허용 능력 및 프라이버시를 향상시키는 연합 학습(Federated Learning, FL) 패러다임의 확장형입니다. 그러나 이러한 탈중앙화는 악의적인 클라이언트(비잔틴 노드)가 임의적이거나 오염된 모델 업데이트를 전송하여 학습 과정을 방해하려는 비잔틴 오류(Byzantine failures), 즉 보안 취약성을 야기합니다.

수많은 비잔틴 강건 집계 알고리즘이 중앙 집중식 FL(CFL)을 위해 존재하지만, 본 논문은 대부분의 알고리즘이 중앙 집중식 시나리오를 위해 설계되었으며 탈중앙화 환경에서는 동일하게 효율적이지 않을 수 있다고 지적합니다. DFL에서는 중앙 코디네이터의 부재로 인해 균일한 보안 알고리즘의 구현이 복잡해지며, 탈중앙화된 토폴로지의 동적인 특성과 노드의 이질적인 역량은 독특한 과제를 생성합니다. 기존 문헌에는 공간적 및 시간적 통계를 모두 고려하여 설계된, DFL 전용의 비잔틴 강건 집계 알고리즘이 부족합니다.

방법론

저자들은 DFL 환경에 특화되어 설계된 새로운 비잔틴 강건 집계 알고리즘인 WFAgg를 제안합니다. 이 방법론의 핵심은 각 노드가 이웃으로부터 받은 모델을 기반으로 로컬에서 실행하는 다단계 필터링 및 가중치 집계 프로세스입니다.

1. 시스템 구성:
시스템은 $N$개의 클라이언트가 무방향 그래프 $G$를 통해 협력하는 크로스 디바이스(cross-device) 시나리오로 모델링됩니다. 클라이언트는 고시프(Gossip) 스타일의 프로토콜을 통해 통신하며, 훈련된 모델을 모든 이웃에게 전달합니다. 목표는 중앙 서버 없이 네트워크 전체의 경험적 손실 함수(empirical loss function)를 최소화하는 것입니다.

2. WFAgg 알고리즘:
WFAgg는 악의적인 모델을 식별하고 완화하기 위해 세 가지 필터 접근 방식을 채택합니다. 모델은 이 필터들을 통해 특정 기준을 통과해야만 "선량한(benign)" 모델로 간주됩니다. 필터는 순차적으로 작동합니다:

• WFAgg-D (거리 기반): 각 수신된 모델과 수신된 모델들의 중앙값(median) 사이의 유클리드 거리를 계산합니다. $K$를 수신된 모델의 수, $f$를 추정된 악의적 노드의 수라고 할 때, 거리가 가장 작은 $K-f-1$개의 모델을 선택합니다.
• WFAgg-C (유사도 기반): 수신된 모델들과 중앙 모델 사이의 코사인 거리를 계산합니다. 또한 중앙 크기(magnitude)를 기준으로 크기 클리핑(magnitude clipping)을 수행합니다. 이는 방향이 크게 벗어난 모델을 효과적으로 필터링하기 위해 코사인 거리가 가장 작은 $K-f-1$개의 모델을 선택합니다.
• WFAgg-T (시간 기반): 모델 업데이트의 시간적 진화를 분석합니다. 이웃의 현재 업데이트를 이전 업데이트들의 시간 창(time window)과 비교합니다(유클리드 거리 및 코사인 유사도 사용). 지수 가중 이동 평균(EWMA)을 사용하여 평균 및 표준 편차에 대한 임계값을 설정합니다. 이 임계값을 벗어나는 업데이트는 급격하고 잠재적으로 악의적인 것으로 간flag 처리됩니다.

3. 가중치 집계 (WFAgg-E):
필터들이 선량한 모델의 부분 집합($T_1, T_2, T_3$)을 식별하면, 알고리즘은 각 모델이 몇 개의 필터에서 선량한 것으로 식별되었는지에 따라 가중치를 할당합니다.

• 세 가지 필터 모두에서 선량하다고 식별된 모델은 가장 높은 가중치($\tau_1 + \tau_2 + \tau_3$)를 받습니다.
• 하나의 필터에서만 선량하다고 식별된 모델은 제로 가중치가 할당됩니다(거부됨).
• 두 개의 필터에서 선량하다고 식별된 모델은 부분 가중치를 받습니다.
  최종 집계는 평활 계수(smoothing factor) $\alpha$에 의해 제어되는 좌표별 가중 평균(로컬 모델과 이웃 간의 차등 가중치를 적용한 FedAvg와 유사)을 사용합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 새로운 알고리즘 설계: 공간적(거리/유사도) 및 시간적 필터링 기술을 통합하여 DFL을 위해 특별히 설계된 비잔틴 강건 집계 알고리즘인 WFAgg를 개발했습니다.
2. 비교 평가: 최첨단(SOTA) 중앙 집중식 비잔틴 강건 알고리즘(Mean, Median, Trimmed-Mean, Krum, Multi-Krum, Clustering)을 탈중앙화 환경에 적용하여 그 한계를 밝히는 체계적인 평가를 수행했습니다.
3. 경험적 검증: 다양한 비잔틴 공격 시나리오(Noise, Sign-Flipping, Label-Flipping, ALIE, IPM) 하에서 IID 이미지 분류 작업(MNIST)에 대한 광범sel한 실험을 통해 WFAgg가 탈중앙화 환경에서 중앙 집중식 방식보다 우수함을 입증했습니다.
4. 시뮬레이션 프레임워크: 이러한 실험을 수행하기 위해 중앙 집중식 및 탈중앙화 토폴로지를 모두 지원하는 Python 기반 DFL 시뮬레이터를 구현했습니다.

결과

실험은 20개의 노드(10% 악의적 노드)와 8-정규 그래프(8-regular graph) 토폴로지를 사용하여 수행되었습니다. 결과는 다음과 같습니다:

• 공격에 대한 강건성: WFAgg는 중앙 집중식 및 탈중앙화 시나리오 모두에서 테스트된 모든 공격(Noise, Sign-Flipping, Label-Flipping, ALIE, IPM 변형 포함)을 성공적으로 완화했습니다.
• SOTA와의 비교:
  • Mean 및 Trimmed-Mean과 같은 표준 중앙 집중식 알고리즘은 탈중앙화 환경에서 Noise 및 IPM-100 공격 하에서 수렴에 실패하거나 상당한 정확도 저하를 겪었습니다.
  • 거리 기반 알고리즘(Krum, Multi-Krum)은 미세한 방향 변화를 구별하지 못해 탈중앙화 시나리오의 IPM-0.5 공격에서 어려움을 겪었습니다.
  • 클러스터링 기반 방법은 탈중앙화 환경의 Noise 공격 하에서 실패했습니다.
  • WFAgg는 높은 정확도(예: 다양한 시나리오에서 ~95-98%)를 유지했으며, 테스트된 SOTA 알고리즘들에 비해 더 빠른 수렴을 달 패턴을 보였습니다.
• 모델 일관성: 선량한 노드들 사이의 로컬 모델 유사성을 측정하기 위해 $R^2$ 지표를 사용했을 때, WFAgg는 노드들이 서로 다른 모델 부분 집합을 선택하여 낮은 $R^2$ 값을 보인 Krum 및 Clustering과 같은 필터링 기반 SOTA 알고리즘보다 우수한 수렴 일관성을 보여주었습니다.
• 개별 노드 성능: 개별 노드의 정확도 진화 분석 결과, 선량한 노드들은 악의적인 이웃에 둘러싸여 있더라도 몇 라운드 내에 높은 정확도로 수렴한 반면, 악의적인 노드는 가중치 메커니즘에 의해 효과적으로 격리되었습니다.

의의 및 주장

본 논문은 WFAgg가 공간적 및 시간적 통계를 모두 고려함으로써 탈중앙화 시나리오에서의 비잔틴 강건성을 명시적으로 다룬 최초의 접근 방식이라고 주장합니다. 저자들은 여러 경량 필터의 통합이 시스템이 탈중앙화된 IoT 환경의 동적이고 적대적인 특성에 적응할 수 있게 한다고 단언합니다.

본 연구는 기존의 중앙 집중식 강건 집계 방식이 어느 정도의 보호는 제공하지만, DFL의 특정 과제에는 불충분하다는 결론을 내립니다. 제안된 WFAgg 알고리즘은 보다 효율적이고 강건한 대안을 제공하여, 다양한 비잔틴 공격이 존재하는 상황에서도 모델 정확도와 수렴을 보장합니다. 저자들은 향าท의 연구가 이러한 탈중앙화 학습 프로세스의 오버헤드와 지연 시간을 더욱 줄이기 위해 소프트웨어 정의 네트워크(SDN) 등을 활용한 통신 네트워크 최적화에 집중해야 한다고 제안합니다.