🤖 machine learning

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

본 논문은 동질적 및 이질적 데이터 분포 하에서 다양한 연방 학습 집계 전략에 대한 포괄적인 실험적 비교를 제시하며, 모델 정확도, 손실, 그리고 훈련 및 통신 시간과 같은 시스템 효율성 지표 측면에서의 트레이드오프를 분석합니다.

원저자: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구들이 거대한 퍼즐을 함께 풀려고 하지만 실제 퍼즐 조각을 공유할 수 없는 상황을 상상해 보세요. 대신 그들은 각자 자신의 섹션에서 작업하고 배운 내용을 짧은 요약으로 적어 중앙의 '팀 캡틴'에게 보냅니다. 캡틴은 모든 요약을 결합하여 다음 라운드를 위한 마스터 가이드를 만듭니다. 이것이 바로 **연방 학습 (Federated Learning)**입니다. 이는 컴퓨터들이 개인 데이터를 결코 공유하지 않은 채 함께 학습할 수 있는 방법입니다.

이 논문이 제기하는 핵심 질문은 다음과 같습니다: 팀 캡틴은 이러한 요약들을 어떻게 결합해야 할까요?

캡틴이 단순히 모든 요약의 평균을 내는 것이 최선일까요? 아니면 일부 친구들이 퍼즐의 매우 다른 부분 (하늘 조각이 대부분인 친구, 잔디 조각이 대부분인 친구 등) 에서 작업하고 있다는 사실을 고려하여 더 복잡한 방법을 사용해야 할까요?

다음은 일상적인 비유를 사용한 연구 결과의 요약입니다:

참가자들: 요약들을 결합하는 다양한 방법

연구자들은 캡틴이 친구들의 업데이트를 병합하는 데 사용할 수 있는 여러 '전략'을 테스트했습니다:

FedAvg (단순 평균화자): 캡틴은 모든 요약을 가져와 직선적인 평균을 계산합니다. 이는 빠른 투표처럼 빠르고 쉽습니다.
FedAvgM (모멘텀 유지자): 캡틴은 그룹이 이전에 결정했던 것을 기억하고 그 '모멘텀'을 사용하여 새로운 요약을 부드럽게 만듭니다. 이는 지형이 울퉁불퉁해져도 보폭을 유지하는 러너와 같습니다.
FedAdam & FedAdagrad (적응형 학습자): 이 캡틴들은 똑똑합니다. 그들은 각 사람이 얼마나 자신감 있어 보이는지에 따라 그 사람의 말을 얼마나 경청할지 조정합니다. 요약이 혼란스럽다면 학습 속도를 조정합니다. 이는 그날 각 운동선수의 기분에 따라 훈련 계획을 변경하는 코치와 같습니다.
FedMedian (필터): 평균을 내는 대신, 이 캡틴은 모든 요약을 살펴보고 극단적인 이상치를 무시한 채 '중간' 값을 선택합니다. 한 친구가 "하늘은 초록색이다"라는 미친 요약을 보내면, 캡틴은 그것이 이상치이므로 무시합니다. 이는 잡음이나 나쁜 행위자를 필터링하는 데 탁월합니다.
FedProx (제한자): 이 캡틴은 친구들에게 "지난 계획에서 너무 멀리 가지 마라"고 말합니다. 이는 모든 사람의 로컬 학습을 그룹의 주요 목표에 가깝게 유지하는 규칙을 추가하여 누구도 너무 멀리 벗어나지 못하게 합니다.
DP (개인정보 보호자): 이 캡틴은 요약들을 결합하기 전에 '정적 잡음 (static noise)' 레이어를 추가하여 아무도 원래 퍼즐 조각을 추측하지 못하도록 합니다. 이는 팬을 통해 요약 내용을 속삭여 정확한 단어를 듣기 어렵게 만드는 것과 같습니다.

테스트 조건: 쉬운 퍼즐 vs 어려운 퍼즐

연구자들은 두 가지 시나리오에서 이러한 캡틴들을 테스트했습니다:

동질적 (IID): 모든 사람이 비슷한 퍼즐 조각의 혼합물을 가지고 있습니다 (예: 모두 하늘, 잔디, 나무 조각을 조금씩 가지고 있음). 이는 모두 같은 교과서를 공부하는 교실과 같습니다.
이질적 (Non-IID): 모든 사람이 매우 다른 조각들을 가지고 있습니다 (예: 한 친구는 하늘 조각만 있고, 다른 친구는 나무 조각만 있음). 이는 한 학생은 역사만 공부하고 다른 학생은 수학만 공부한 교실과 같습니다.

그들은 세 가지 '퍼즐' (데이터셋) 에서 이를 테스트했습니다:

MNIST & FMNIST: 간단한 퍼즐 (손글씨 숫자).
CIFAR-10: 훨씬 더 어렵고 복잡한 퍼즐 (동물과 사물의 컬러 사진).

그들이 발견한 것 (결과)

1. "만능" 캡틴은 존재하지 않습니다.
시계를 수리하고 집을 짓는 데 같은 도구를 사용하지 않는 것처럼, 어떤 단일 전략도 항상 승리하는 것은 아닙니다.

간단한 퍼즐 (MNIST) 에서: **적응형 학습자 (FedAdam)**가 스타였습니다. 데이터가 엉망일지라도 가장 빠르게 학습하고 가장 높은 점수를 얻었습니다.
복잡한 퍼즐 (CIFAR-10) 에서: 모두 더 많이 고생했지만, **단순 평균화자 (FedAvg)**와 **제한자 (FedProx)**는 합리적으로 견뎌냈습니다. 적응형 학습자는 실제로 복잡성에 혼란을 느껴 더 나쁜 성과를 보였습니다.
데이터가 엉망일 때 (Non-IID): **필터 (FedMedian)**는 매우 안정적이었습니다. 이상한 데이터에 흔들리지 않았으며, 모든 것을 정리하는 데 아주 조금 더 시간이 걸렸을 뿐입니다.

2. "개인정보 보호자" (DP) 는 큰 비용을 치릅니다.
개인정보를 보호하기 위해 잡음을 추가한 전략 (DP) 은 매우 낮은 점수를 기록했습니다. 이는 안개 낀 두꺼운 안경을 끼고 퍼즐을 푸는 것과 같습니다. 조각들을 명확하게 볼 수 없어 함께 맞추기가 어렵습니다. 논문은 개인정보는 보호하지만 모델의 효과적 학습 능력을 해친다고 지적합니다.

3. 속도 대 정확성의 트레이드오프.

속도: 단순한 전략들 (FedAvg) 이 요약을 결합하는 데 가장 빨랐습니다. 복잡한 것들 (필터나 개인정보 보호자 등) 은 처리하는 데 조금 더 시간이 걸렸지만 그 차이는 미미했습니다.
정확도: "똑똑한" 전략들 (적응형 전략들) 은 간단한 작업에는 훌륭했지만 복잡한 작업에서는 때때로 실수했습니다. "견고한" 전략들 (FedProx) 은 신뢰할 수 있었지만 항상 최고 점수에 도달한 것은 아닙니다.

결론

이 논문은 학습 업데이트를 결합하는 '최고의' 방법 하나를 선택할 수 없다고 결론 내립니다.

데이터가 간단하고 유사하다면 적응형 학습자를 사용하세요.
데이터가 엉망이거나 이상한 이상치가 있다면 **필터 (Median)**나 **제한자 (Prox)**가 더 안전합니다.
개인정보를 보호해야 한다면 성능이 크게 떨어질 준비를 하세요.

"최고의" 선택은 퍼즐이 얼마나 복잡한지, 친구들의 데이터가 얼마나 다른지, 그리고 속도와 정확성 중 무엇을 더 가치 있게 여기는지에 전적으로 달려 있습니다. 모든 상황에서 완벽하게 작동하는 마법 같은 해결책은 존재하지 않습니다.

기술 요약: 동질적 및 이질적 데이터 분포 하의 연동 학습 집계 전략 비교 연구

문제 정의

연동 학습 (Federated Learning, FL) 은 원시 데이터를 클라이언트 장치에 로컬로 유지함으로써 데이터 프라이버시를 보호하는 협력형 머신러닝 패러다임으로 부상했습니다. 그러나 FL 시스템의 성능은 중앙 서버가 로컬 모델 업데이트를 결합하는 데 사용하는 집계 전략에 결정적으로 의존합니다. 전통적인 중앙 집중식 학습은 프라이버시 문제와 통신 오버헤드로 고통받는 반면, 고립된 장치 내 학습은 일반화 능력이 부족합니다. 반면 FL 은 데이터 이질성(비-IID 분포) 과 관련된 특정 도전에 직면해 있습니다.

해결된 핵심 문제는 다양한 수준의 데이터 이질성 하에서 서로 다른 집계 메커니즘이 어떻게 수행되는지에 대한 포괄적인 이해가 부족하다는 점입니다. 기존 전략은 단순 평균화에서부터 강건한 추정치 및 적응형 옵티마이저에 이르기까지 다양하지만, 학습 정확도, 수렴 안정성, 시스템 효율성 (연산 및 통신 시간) 에 관한 트레이드오프는 다양한 데이터셋과 분포 설정에 걸쳐 완전히 규명되지 않았습니다.

방법론

저자들은 널리 사용되고 최신 기술에 기반한 7 가지 FL 집계 전략을 비교하는 포괄적인 실험적 평가를 수행했습니다:

FedAvg: 표준 데이터 크기 가중 평균.
FedAvgM: 서버 측 모멘텀을 적용한 FedAvg.
FedAdam: 서버에서 Adam 을 사용한 적응형 최적화.
FedAdagrad: 서버에서 Adagrad 을 사용한 적응형 최적화.
FedMedian: 요소별 중앙값을 사용한 강건한 집계.
FedProx: 로컬 드리프트를 제한하기 위한 근사 (proximal) 정규화 항을 포함한 집계.
서버 측 차분 프라이버시 (DP): 프라이버시를 위한 적응형 클리핑과 노이즈 주입.

실험 설정:

데이터셋: MNIST, FMNIST, CIFAR-10.
분포: 집중도 매개변수 $\alpha = 0.5$ 인 디리클레 분포를 사용하여 생성된 동질적 (IID) 및 이질적 (비-IID) 데이터 파티션.
구성: Flower 프레임워크를 사용하여 10 개 클라이언트와 25 개의 통신 라운드로 시뮬레이션 실행. 일관성을 검증하기 위해 MNIST 에서 20 개 클라이언트와 50 라운드로 대규모 2 차 실험을 수행.
모델: 특정 데이터셋에 맞춘 합성곱 신경망 (CNN).
옵티마이저: 클라이언트 측 학습은 SGD 보다 우수한 수렴 성능을 보이는 Adam 을 사용.
지표:
- 학습 성능: 중앙 집중식 정확도 및 손실.
- 시스템 효율성: 집계 시간, 학습 시간, 라운드당 통신 시간.

주요 기여 및 결과

1. 데이터 이질성의 영향

이 연구는 IID 설정에 비해 모든 전략에서 데이터 이질성 (비-IID) 이 모델 성능을 일관되게 저하시킨다는 것을 확인했습니다. 이러한 저하는 복잡한 CIFAR-10 데이터셋에서 가장 두드러졌습니다. 모든 전략이 비-IID 환경에서 정확도 하락과 손실 증가를 겪지만, 하락의 크기는 알고리즘에 따라 크게 달라집니다.

2. 전략별 성능

적응형 방법 (FedAdam, FedAdagrad):
- FedAdam은 IID 및 비-IID 조건 모두에서 MNIST 에서 가장 높은 정확도를 달성하여, 중간 수준의 이질성 하에서 최적화를 안정화하는 적응형 학습률의 효과를 입증했습니다. 그러나 CIFAR-10 에서 성능이 크게 저하되어 고도의 데이터셋 복잡성에 민감함을 시사합니다.
- FedAdagrad은 유사한 추세를 보였으나, 일반적으로 FMNIST 와 CIFAR-10 에서 다른 전략보다 낮은 정확도를 보였습니다. 이는 복잡한 작업에 대한 적응을 제한하는 Adagrad 고유의 학습률 감소 때문일 가능성이 높습니다.
강건 및 정규화 방법 (FedMedian, FedProx):
- FedMedian은 두 분포 모두에서 FMNIST 에 대해 가장 높은 정확도를 보여주었습니다. 중앙값 기반 집계는 편향된 클라이언트 업데이트의 영향을 효과적으로 완화하여 안정적인 성능을 제공했습니다. 트레이드오프로 정렬 작업으로 인해 집계 시간이 약간 증가했습니다.
- FedProx는 모든 데이터셋에서 안정적이고 일관된 성능을 제공하여 "중도" 접근 방식으로 작용했습니다. 근사 항은 클라이언트 드리프트를 효과적으로 제한하여 특히 CIFAR-10 의 성능 향상에 기여했습니다.
표준 및 모멘텀 방법 (FedAvg, FedAvgM):
- FedAvg는 계산적으로 효율적인 기준선으로 작용하여 MNIST 와 FMNIST 에서는 잘 수행되었으나 CIFAR-10 에서는 어려움을 겪었습니다.
- FedAvgM은 IID 조건 하에서 높은 정확도를 보였으나 비-IID 설정 (특히 MNIST) 에서 유의미한 저하를 경험했습니다. 결과는 클라이언트 업데이트가 편향될 때 서버 측 모멘텀이 편향된 기울기 방향을 증폭시켜 불안정한 수렴을 초래할 수 있음을 시사합니다.
프라이버시 보호 (DP):
- DP 전략 (적응형 클리핑과 노이즈) 은 모든 데이터셋과 분포에서 현저히 낮은 정확도를 보여주었습니다. 프라이버시를 보장하기 위해 도입된 노이즈는 학습 신호를 크게 저하시켜 효과적인 수렴을 방해했습니다. 또한 클리핑 및 노이즈 주입 작업으로 인해 가장 높은 집계 시간을 기록했습니다.

3. 시스템 효율성

집계 시간: 대부분의 전략에서 일반적으로 낮게 유지되었습니다. FedAvg 와 FedAvgM 은 가장 낮은 오버헤드를 보였습니다. FedMedian 과 DP 는 각각 정렬 및 노이즈 주입으로 인해 더 높은 시간을 기록했으나, 테스트된 설정에서는 시스템 병목 현상을 초래하지 않았습니다.
학습 및 통신 시간: 이러한 지표는 주로 데이터셋 복잡성과 모델 특성에 의해 결정되었으며 집계 전략 자체보다는 덜 영향을 받았습니다. 전략 간 차이는 미미했습니다.
확장성: 클라이언트 수 (10 에서 20 으로) 와 라운드 수 (25 에서 50 으로) 를 증가시킨 것은 작은 설정에서 관찰된 추세를 확인시켜 주었습니다. 적응형 방법은 다른 방법들을 계속 능가했으며, 적응형 방법의 경우 IID 와 비-IID 설정 간의 성능 격차가 약간 축소되어 더 많은 통신 라운드가 이질성을 더 잘 보상할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 어떤 단일 집계 전략도 모든 시나리오에서 우세하지 않다고 결론지었습니다. 전략의 효과는 다음에 크게 의존합니다:

데이터셋 특성: 복잡성 (예: CIFAR-10 대 MNIST) 은 어떤 알고리즘이 최상의 성능을 발휘하는지에 크게 영향을 미칩니다.
이질성 정도: FedAvgM 과 같은 전략은 심하게 편향된 환경에서 실패할 수 있는 반면, FedMedian 과 같은 강건한 방법이나 정규화 기반 FedProx 는 안정성을 제공합니다.
시스템 및 프라이버시 요구사항: 프라이버시 보장 (DP) 과 모델 유틸리티 사이에는 명확한 트레이드오프가 존재합니다.

저자들은 집계 전략의 선택이 "일률적" 접근법보다는 구체적인 운영 제약 조건과 데이터 속성에 의해 안내되어야 한다고 강조합니다. 이 연구는 적응형 방법이 중간 수준의 이질성에서 뛰어나지만, 편향된 분포에서 안정성을 위해서는 강건한 추정치와 정규화가 필요하며, 프라이버시 메커니즘은 현재 모델 유틸리티에 상당한 비용을 부과한다는 경험적 증거를 제공합니다.

저자들이 제시한 향후 과제는 더 진보된 강건한 메커니즘 (예: Krum, Multi-Krum) 을 탐구하고 보다 현실적인 FL 배포 시나리오에서 이러한 전략을 평가하는 것을 포함합니다.