Centralized vs Decentralized Federated Learning: A trade-off performance analysis

기술 요약: 중앙집중식 대 분산형 연동 학습: 트레이드오프 성능 분석

문제 제기
연동 학습 (FL) 은 사물인터넷 (IoT) 데이터의 기하급수적 증가와 관련된 데이터 프라이버시, 제한된 통신 자원, 규제 제약 등의 과제를 해결하기 위해 분산 엣지 장치 간 협력 모델 훈련을 위한 핵심 패러다임으로 부상했습니다. FL 아키텍처는 일반적으로 중앙집중식 (CFL), 분산형 (DFL), 준분산형 (SDFL) 으로 분류되지만, 이 세 가지 유형에 대한 실험적 비교에 관한 문헌에는 상당한 공백이 존재합니다. 기존 연구는 아키텍처 설계나 특정 도메인 응용 (예: DFL 의 블록체인) 에 주로 초점을 맞추고 있으며, CFL, DFL, SDFL 간의 다양한 주요 성능 지표 (KPI) 간 트레이드오프에 대한 체계적이고 경험적인 분석은 드뭅니다. 이러한 비교 데이터의 부재로 인해 실무자들은 특정 응용 요구사항과 제약 조건에 기반하여 최적의 아키텍처를 선택하는 데 어려움을 겪고 있습니다.

방법론
이 공백을 해결하기 위해 저자들은 현재 세 가지 FL 아키텍처 (CFL, DFL, SDFL) 를 모두 고스케일ability로 시뮬레이션할 수 있는 유일한 플랫폼인 FedStellar 시뮬레이터를 사용하여 포괄적인 실험 분석을 수행했습니다. 실험 설정은 다음과 같습니다:

• 데이터셋 및 모델: MNIST 데이터셋 (60,000 개의 손글씨 숫자 이미지) 을 참여자들 간에 분할하고, 훈련을 위해 다층 퍼셉트론 (MLP) 분류기를 사용했습니다.
• 확장성 테스트: 네트워크 크기가 성능에 미치는 영향을 조사하기 위해 참여자 수 ($|N|$) 를 3 에서 8 로 변경했습니다.
• 구성: 실험은 라운드당 3 에포크로 총 10 라운드 동안 수행되었습니다. 통신을 원활하게 하기 위해 네트워크 토폴로지는 완전 연결 방식으로 구성되었습니다.
• 평가된 KPI: Beltran 등이가 제안한 분류 체계를 바탕으로 FedStellar 내에서 사용 가능한 특정 지표를 측정했습니다.
  • 모델 성능: 정확도, 정밀도, 재현율, F-점수, 손실.
  • 자원 사용: CPU 사용률.
  • 통신: 참여자들 간에 교환된 바이트 수.
  • 효율성: 수렴 시간.

주요 결과
실험은 세 가지 아키텍처 간에 뚜렷한 성능 트레이드오프를 드러냈습니다:

1. 모델 성능 및 안정성:

   • DFL은 일관되게 가장 높은 모델 성능을 달성했습니다 (예: 참여자 3 명 기준 약 97.84% 정확도) 그리고 참여자 수가 증가함에 따라 이 높은 성능을 유지했습니다. 그 분산형 특성으로 인해 참여자 수 변동에 대한 복원력을 유지할 수 있었습니다.
   • SDFL은 DFL 과 매우 유사한 성능을 보였습니다 (예: 참여자 3 명 기준 약 96.31%) 그리고 네트워크가 확장됨에 따라 안정성을 유지했습니다.
   • CFL은 전반적으로 낮은 정확도를 보였습니다 (예: 참여자 3 명 기준 약 94.45%) 그리고 참여자 수가 증가함에 따라 성능이 눈에 띄게 저하되었습니다. 이러한 저하는 각 참여자당 데이터셋이 더 작은 하위 집합으로 분할되어 로컬 훈련에 사용 가능한 데이터가 제한되기 때문으로 귀결됩니다.

2. 수렴 시간:

   • CFL이 가장 빠르게 수렴하여 DFL 과 SDFL 이 필요한 시간의 약 절반 만에 성능 수준에 도달했습니다. 수렴 속도에서 더 큰 안정성을 보였습니다.
   • DFL과 SDFL은 중앙 집계기가 없는 노드 간 조정 및 통신 필요성으로 인해 더 긴 수렴 시간이 필요했습니다. 흥미롭게도 DFL 은 네트워크가 확장됨에 따라 수렴 시간이 감소하는 경향을 보였습니다 (참여자 3 명에서 8 명으로 증가 시 약 43 분에서 약 31 분으로 감소). 이는 아마도 로컬 데이터 크기가 작아졌기 때문일 것이며, 반면 CFL 과 SDFL 은 더 큰 네트워크에서 수렴 시간이 증가하는 것을 보였습니다.

3. 자원 및 통신 효율성:

   • DFL은 중앙 서버의 필요성을 제거함으로써 가장 적은 CPU 사용량을 요구하고 가장 적은 바이트를 교환하는 가장 자원 효율적인 아키텍처로 확인되었습니다.
   • CFL은 중앙 서버에 의존하여 집계하기 때문에 특히 통신 비용과 관련하여 가장 많은 자원을 소모하는 ("가장 탐욕스러운") 아키텍처였습니다.
   • SDFL은 중간 지점을 제공하여 자원 사용량과 통신 비용이 DFL 과 밀접하게 일치했으나, 특정 확장 시나리오에서는 DFL 보다 더 많은 시간이 필요했습니다.

주요 기여

• 실험적 벤치마킹: 본 논문은 단일 아키텍처 연구나 이론적 연구를 넘어 통합 시뮬레이터 (FedStellar) 를 사용한 CFL, DFL, SDFL 아키텍처의 초기 실험적 비교 중 하나를 제공합니다.
• 트레이드오프 식별: 본 연구는 모델 정확도, 수렴 속도, 자원 소비 간의 트레이드오프를 명시적으로 식별합니다. DFL 이 우수한 정확도와 확장성을 제공하지만 더 느린 수렴 속도를 대가로 치러야 함을 강조합니다. 반면 CFL 은 속도를 제공하지만 대규모 네트워크에서 성능 저하를 겪습니다.
• 확장성 통찰력: 이 연구는 참여자 수를 확장할 때 CFL 에 내재된 "데이터 분할" 문제에 대해 DFL 과 SDFL 이 더 복원력이 있음을 보여줍니다.

의의 및 주장
저자들은 이 작업을 FL 도메인에서 비교 분석의 부재를 해결하기 위한 초기 단계로 겸손하게 제시합니다. 그 의의는 특정 제약 조건에 기반하여 FL 아키텍처 선택을 안내하는 경험적 증거를 제공하는 데 있습니다:

• DFL은 확장 가능한 네트워크에서 높은 성능과 데이터 프라이버시를 우선시하는 시나리오에 유망한 전략으로 제시됩니다.
• SDFL은 DFL 과 유사한 성능을 제공하면서 자원 요구 사항을 줄인 대규모 네트워크를 위한 비용 효율적인 솔루션으로 식별됩니다.
• CFL은 낮은 효율성과 확장성 제한에도 불구하고 수렴 속도가 최우선 요구 사항일 때 여전히 최적의 선택입니다.

본 논문은 "최고의" 아키텍처는 데이터의 성격, 노드 수, 프라이버시 요구 사항, 인프라 제약과 같은 요소에 의존하여 상황에 따라 달라진다고 결론지었습니다. 향후 작업은 KPI 범위를 확장하고 관리자가 적절한 FL 아키텍처를 선택하는 데 도움을 주는 의사결정 지원 도구를 개발하는 것을 제안합니다.