🤖 machine learning

Differentiated Aggregation to Improve Generalization in Federated Learning

이 논문은 이론적 일반화 경계와 표현 학습 분석을 바탕으로 표현 추출기와 모델 헤드에 차별화된 집계 빈도를 적용함으로써, 비-IID 시나리오에서 통신 비용을 줄이고 모델 일반화 성능을 향상시키는 새로운 연합 학습 알고리즘인 FedALS를 제안한다.

원저자: Peyman Gholami, Hulya Seferoglu

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peyman Gholami, Hulya Seferoglu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 환경에서, 인공지능이 학습하는 방식을 재편하는 조용한 혁명이 일어나고 있습니다. 전통적으로 스마트한 컴퓨터 프로그램을 훈련시키려면 사진, 메시지, 의료 기록과 같은 방대한 양의 개인 데이터를 하나의 거대한 중앙 창고로 모으는 과정이 필요합니다. 이러한 방식은 효과적이긴 하지만, 개인정보 보호와 보안에 대한 심각한 우려를 불러일으킵니다. 연합 학습(Federated learning)은 다른 길을 제시합니다. 데이터를 중앙 컴퓨터로 옮기는 대신, 컴퓨터 모델이 데이터가 있는 곳으로 이동하는 것입니다. 마치 교사가 여러 교실을 방문하여 학생들의 개인 노트를 통해 학습한 뒤, 자신의 교수법을 업데이트하기 위해 중앙 사무실로 돌아가는 것을 상상해 보십시오. 이 시스템에서는 스마트폰이든 병원 서버든 상관없이, 원본 데이터는 개별 기기를 절대 떠나지 않습니다. 기기들은 로컬에서 학습이라는 무거운 작업을 수행하며, 개인 정보 자체가 아닌 그 결과로 얻은 통찰력만을 결합하기 위해 다시 전송됩니다.

하지만 이 협업 방식은 통신 비용이라는 중대한 장애물에 직면해 있습니다. 수천 개의 기기와 중앙 서버 사이에서 크고 복잡한 모델을 주고받는 것은, 책 한 페이지를 수정할 때마다 도서관 전체의 책을 매번 우편으로 보내는 것과 마찬가지로 엄청난 대역폭과 시간을 소비합니다. 이러한 병목 현상은 각 기기가 보유한 데이터가 서로 독특하고 다르다는 상황, 즉 연구자들이 '비균등 분포(non-uniform distribution)'라고 부르는 상황에서 특히 심각해집니다. 이러한 경우, 기기들은 단일하고 효과적인 모델에 합의하는 데 어려움을 겪으며, 이는 결국 더 똑똑한 결과를 내지 못하면서도 끊임없이 비싼 업데이트를 반복하는 순환으로 이어질 수 있습니다. 과학자들이 직면한 과제는 최종 지능의 품질을 희생하지 않으면서 어떻게 이 협업 학습 과정을 더 빠르고 효율적으로 만들 것인가 하는 점입니다.

일리노이 대학교 시카고 캠퍼스의 연구팀은 이 협업의 리듬을 바꾸는 새로운 해결책을 제안했습니다. 'Transactions on Machine Learning Research'에 발표된 이들의 연구는 학습 모델의 모든 부분이 동일한 속도로 업데이트될 필요는 없다는 점을 시사합니다. 이 발견을 이해하려면 먼저 이미지 인식과 같은 작업에 사용되는 전형적인 인공지능 모델의 내부를 들여다봐야 합니다. 이러한 모델은 두 개의 뚜렷한 섹션이 있는 파이프라인 구조로 구축됩니다. 첫 번째 섹션은 종종 초기 레이어들로 구성되며, 일반적인 특징 추출기(feature extractor) 역할을 합니다. 이 레이어는 대상이 개, 고양이, 혹은 새인지와 관계없이 눈의 모양, 귀의 곡선, 혹은 털의 질감과 같은 보편적인 패턴을 식별하는 법을 배웁니다. 두 번째 섹션은 '헤드(head)'로 알려져 있으며, 파이프라인의 끝에 위치하여 이미지가 구체적으로 개인지 아니면 고양이인지를 결정하는 것과 같은 최종 작업에 특화되어 있습니다.

연구진은 모델의 초기 일반 레이어들이, 설령 해당 기기들이 완전히 다른 유형의 데이터를 보유하고 있더라도 매우 유사하게 보인다는 점을 관찰했습니다. 이 레이어들은 공유된 보편적 특징을 학습하기 때문에, 반드시 지속적으로 동기화될 필요는 없습니다. 반면, 특정 로컬 데이터에 맞춰진 최종 레이어들은 더 빠르게 분화되며, 집단이 동일한 궤도를 유지하기 위해 더 빈번한 조율을 필요로 합니다. 이러한 통찰을 바탕으로, 연구팀은 'FedALS(Federated Learning with Adaptive Local Steps, 적응형 로컬 단계를 갖춘 연합 학습)'라는 새로운 알고리즘을 개발했습니다. 이 방법은 모델의 일반적인 특징 추출 부분들이 중앙 서버로 보내져 그룹 업데이트를 수행하기 전에, 로컬에서 훨씬 더 많은 학습 단계를 수행할 수 있도록 허용합니다. 한편, 특화된 최종 레이어들은 훨씬 더 자주 업데이트되고 공유됩니다.

이 접근 방식은 이러한 모델이 어떻게 일반화되는지, 즉 본 적 없는 새로운 데이터에 대해 얼마나 잘 수행되는지에 대한 엄격한 수학적 분석에 근거합니다. 연구진은 학습 과정의 오류율을 예측하는 새로운 공식을 도출했으며, 데이터가 불균등하게 분포된 상황에서 일반 레이어가 더 많이 로컬 학습을 수행하도록 하는 것이 오히려 다양한 데이터를 처리하는 모델의 능력을 향상시킨다는 것을 보여주었습니다. 이미 합의가 이루어진 모델의 부분들에 대한 업데이트 빈도를 줄임으로써, 시스템은 전송해야 하는 데이터의 양을 획기적으로 줄였습니다. 연구진은 CIFAR-10, CIFAR-100과 같은 표준 이미지 데이터셋과 OPT-125M이라는 대규모 언어 모델을 사용하여 이 아이디어를 테스트했습니다. 실험에서 그들은 다섯 개의 기기가 함께 작동하는 네트워크를 시뮬레이션했습니다.

결과는 명확했습니다. 데이터가 불균등하게 분포된 시나리오에서, 이 새로운 방법은 전통적인 균등 업데이트 일정을 적용해 훈련된 모델보다 더 높은 정확도를 만들어냈습니다. 예를 들어, SVHN 데이터셋에서 이미지를 인식하도록 모델을 훈련할 때, 새로운 방식은 표준 방식의 약 70%와 비교하여 약 81%의 정확도를 달양했습니다. 결정적으로, 이러한 개선은 통신 비용의 상당한 감소를 동반했습니다. 모델의 각 부분을 공유하는 빈도를 조정함으로써, 연구진은 성능 저하 없이 일부 구성에서 전송해야 하는 파라미터 수를 10분의 1 수준으로 줄였습니다. 그들은 이 조정을 위한 '스위트 스팟(최적의 지점)'이 존재한다는 것을 발견했습니다. 로컬 학습 단계를 너무 많이 늘리면 결국 최종 작업에 대한 합의 능력을 해치게 되지만, 적절한 균형을 찾는다면 효율적이면서도 똑똑한 시스템을 얻을 수 있습니다.

또한 이 연구는 이 새로운 방법이 불균등한 데이터를 다루기 위해 설계된 기존의 다른 기술들과 어떻게 상호작용하는지도 탐구했습니다. 연구진은 자신들의 방식이 다른 고급 알고리즘들을 보완할 수 있으며, 즉 이들을 함께 사용하여 결과를 더욱 향상시킬 수 있다는 것을 발견했습니다. 그러나 연구진은 이러한 특정 이점이 기기 간의 데이터가 서로 다를 때 가장 두드러진다고 언급했습니다. 데이터가 모든 기기에 걸쳐 균일하고 동일할 경우, 표준 방식이 이미 잘 작동하기 때문에 이 적응형 방식의 이점은 미미합니다. 이 연구는 대역폭이 제한적이고 데이터가 다양한 실제 응용 분야에서 연합 학습을 더 실용적으로 만들기 위한 명확하고 실질적인 경로를 제시합니다. 학습하는 뇌의 서로 다른 부분이 서로 다른 협업 리듬을 필요로 한다는 점을 인식함으로써, 연구진은 프라이버시를 존중하면서도 통신은 적게 하는 더 똑똑한 시스템을 구축하는 방법을 보여주었습니다.

기술 요약: 연합 학습의 일반화 성능 향상을 위한 차별적 집계 (Differentiated Aggregation)

문제 정의

연합 학습(Federated Learning, FL)은 여러 클라이언트가 원시 데이터를 공유하지 않고도 중앙 서버와 협력하여 모델을 훈련할 수 있게 한다. 그러나 이 패러다임은 클라이언트와 서버 간에 대규모 모델 파라미터를 교환할 때 발생하는 높은 통신 비용이라는 중대한 병목 현상에 직면해 있다. 기존의 전략들은 로컬 SGD(여러 번의 로컬 업데이트), 프루닝(pruning), 양자화(quantization) 등의 기술을 통해 이를 해결하려 하지만, 모델을 하나의 단일한 개체로 취급하는 경zą이 있다.

연합 학습의 핵심 과제는 클라이언트 간의 비-IID(데이터 불균형/이질적) 데이터 분포이다. 데이터가 비-IID인 경우, 클라이언트는 각자의 로컬 최적점(local optima)을 향해 편향되는 경향이 있으며, 이는 "합의 거리(consensus distance)"(로컬 모델과 글로벌 평균 사이의 발산 정도)를 증가시킨다. 이러한 드리프트(drift) 현상은 글로벌 모델의 일반화 성능을 저하시킨다. 또한, 현재의 연합 학습 이론적 일반화 경계(generalization bounds)는 딥 뉴럴 네트워크의 구체적인 구조적 특성을 반영하지 못하거나 비-IID 설정에서 느슨한 경계를 제공하는 경우가 많아, 통신 오버헤드를 줄이면서 동시에 일반화 성능을 높이는 알고리즘을 설계하는 데 한계가 있다.

방법론 및 이론적 분석

1. 개선된 일반화 경계 (Improved Generalization Bounds)

저자들은 1-라운드 및 $R$ -라운드 Federated Averaging (FedAvg)에 대해 더 정교한 일반화 오차 경계를 도출한다.

1-라운드 경계: 본 논문은 클라이언트의 로컬 일반화 성능과 비-IID 정도에 의존하는 경계를 확립한다. 결정적으로, IID 설정에서 이 경계는 $K$ (클라이언트 수)에 대해 기존의 $1/K$ 의존성을 개선하여 $1/K^2$ 배만큼 개선된 결과를 보여준다. 비-IID 설정에서, 이 경계는 합의 거리가 상당할 경우 평균화(averaging)가 반드시 일반화 오차를 줄여주는 것은 아님을 밝혀낸다.
$R$ -라운드 경계: 이 분석은 다중 라운드 FedAvg로 확장되어, 라운드 수( $R$ ), 로컬 스텝( $\tau$ ), 모델 복잡도 및 비-IID성을 변수로 하여 오차를 규명한다. 분석 결과, 비-IID성의 증가를 적절히 관리할 수 있다면 로컬 스텝( $\tau$ )을 늘리는 것이 일반화 경계를 더 조밀하게 만들 수 있음을 시사한다.

2. 표현 학습 해석 (Representation Learning Interpretation)

본 논문은 **표현 학습 이론(representation learning theory)**을 활용하여 이러한 경계를 해석한다. 저자들은 딥 뉴럴 네트워크가 두 가지 뚜렷한 기능적 부분으로 구성되어 있다고 가정한다.

표현 추출기 ( $\phi$ ): 주로 초기 레이어들로, 서로 다른 클라이언트와 태스크 간에도 유사한 일반적인 특징(예: 에지, 형태 등)을 추출하는 역할을 한다.
헤드 ( $h$ ): 마지막 레이어들로, 특정 태스크의 분류 또는 예측을 담당하며, 각 클라이언트의 특정 데이터 분포에 매우 민감하다.

저자들은 비-IID 시나리오에서 표현 추출기의 합의 거리가 헤드의 합의 거리보다 자연스럽게 작다고 주장한다. 이는 근본적인 특징(features)들이 클라이언트 간에 공유되기 때문이다. 반면, 헤드는 레이블 분포의 차이로 인해 크게 발산한다.

3. FedALS 알고리즘

이론적 경계와 표현 학습의 통찰을 바탕으로, 저자들은 **적응형 로컬 스텝을 이용한 연합 학습(Federated Learning with Adaptive Local Steps, FedALS)**을 제안한다.

핵심 메커니즘: FedALS는 표현 추출기와 헤드의 집계 빈도를 분리한다.
적응형 로컬 스텝: 이 알고리즘은 표현 추출기에는 더 많은 로컬 업데이트( $\tau_\phi$ )를 할당하고, 헤드에는 더 적은 로컬 업데이트( $\tau_h$ )를 할당한다.
적응 계수 ( $\alpha$ ): $\alpha = \tau_\phi / \tau_h$ 로 정의되며, 이 하이퍼파라미터는 로컬 스텝의 비율을 제어한다. $\alpha$ 가 높다는 것은 특징 추출 레이어가 집계 전 로컬에서 더 빈번하게 업데이트됨을 의미하며, 반대로 헤드는 더 자주 집계된다는 것을 의미한다.
통신 감소: 표현 추출기를 덜 빈번하게 집계함으로써, 클라이언트와 서버 간에 전송되는 총 데이터 양을 크게 줄인다.

주요 기여

더 정교한 일반화 경계: 본 논문은 IID 설정에서 $1/K^2$ 의존성을 제공하여 기존의 $1/K$ 경계를 개선하고, 로컬 일반화 및 비-IID성의 영향을 명시적으로 규명하는 새로운 연합 학습 일반화 경계를 제시한다.
표현 학습 통찰: 초기 레이어(표현)가 마지막 레이어(헤드)보다 비-IID 클라이언트 간에 더 높은 유사성을 보인다는 점을 이론적, 경험적으로 입증하여 차별적 집계 전략의 타당성을 뒷받침한다.
FedALS 알고리즘: 서로 다른 모델 부분에 대해 가변적인 집계 빈도를 사용하는 새로운 알고리즘을 설계하였다. 이 접근 방식은 이질적인 환경에서 통신 비용을 줄이면서 동시에 모델의 일반화 성능을 높인다.
포괄적인 평가: 이미지 분류(CIFAR-10, CIFAR-100, SVHN, MNIST) 및 대규모 언어 모델(LLM) 미세 조정(MultiNLI 데이터셋에 대한 OPT-125M)에 대한 광범-한 실험을 수행하였다.

실험 결과

저자들은 IID 및 비-IID 데이터 분포 하에서 이미지 분류를 위한 ResNet-20과 LLM 미세 조정을 위한 OPT-125M을 사용하여 FedALS를 평가하였다.

비-IID 성능: 비-IID 시나리오에서 FedALS는 테스트 정확도 측면에서 베이스라인인 FedAvg와 SCAFFOLD를 크게 앞질렀다. 예를 들어, CIFAR-10에서 FedALS는 **52.2%**의 정확도를 달성하여 FedAvg의 **46.5%**보다 높은 성능을 보였다. SVHN에서는 81.2% 대 **70.1%**를 기록했다.
통신 효율성: 표현 추출기에 대한 로컬 스텝을 늘림으로써( $\alpha$ 로 제어), FedALS는 통신되는 파라미터 수를 줄였다. $\alpha=10$ 일 때, SVHN 실험에서 표준 FedAvg와 비교하여 통신 오버헤드를 약 90% 감소시켰다(클라이언트당 전송 파라미터가 2.344B에서 0.239B로 감소). 그러면서도 정확도는 유지하거나 오히려 향상시켰다.
IID 성능: IID 설정에서 FedALS의 성능 향상은 FedAvg에 비해 미미했는데, 이는 동질적인 데이터에서는 표준 평균화 방식에 의해 이미 $1/K^2$ 의 이점이 실현되어 있다는 이론적 예상과 일치한다.
SCAFFOLD와의 결ated: 저자들은 분산 감소(variance reduction)와 차별적 집계를 모두 활용하기 위해 FedALS를 SCAFFOLD와 결합하는 방안을 조사하였다. 그러나 표 1의 실험 결과에 따르면, 이러한 결합이 FedALS 단독 사용보다 일관되게 더 나은 개선을 가져오지는 않았다. 예를 들어, CIFAR-10 (Non-IID)에서 FedALS는 0.522의 정확도를 기록한 반면, FedALS + SCAFFOLD는 0.512를 기록했다. 마찬가지로 SVHN에서 FedALS는 0.812를 달성했으나, 결합된 접근 방식은 0.810을 기록하여 성능이 약간 저하되었다.
하이퍼파라미터 민감도: 실험 결과, $\alpha$ 를 높이면 특정 임계값(약 $\alpha=10$ )까지는 정확도가 향상되지만, 그 이후에는 표현 레이어에서의 과도한 비-IID성으로 인해 성능이 저하되는 것을 확인하였다.

의의 및 주장

본 논문은 **차별적 집계(differentiated aggregation)**가 연합 학습의 일반화 성능을 높이기 위해 이전에 충분히 활용되지 않았던 근본적인 레버라고 주장한다. 뉴럴 네트워크의 서로 다른 부분이 데이터 이질성에 대해 서로 다른 민감도를 가진다는 점을 인식함으로써, FedALS는 두 가지 이점을 동시에 달성한다:

통신 비용 감소: 표현 추출기 파라미터의 전송 횟수를 줄인다.
일반화 성능 강화: 표현 추출기가 글로벌 평균에 의해 너무 일찍 제약받지 않고, 더 많은 로컬 업데이트를 통해 견고하고 공유된 특징을 학습할 수 있도록 한다.

저자들은 이 접근 방식이 연합 학습의 일반화에 대한 새로운 이론적 관점을 제공하며, 자원이 제한되고 이질적인 연합 환경에 대규모 모델을 배포하기 위한 실용적이고 확장 가능한 솔루션을 제공한다고 단언한다. 본 연구는 로컬 업데이트 역학(dynamics)과 모델 아키텍처가 어떻게 상호작용하여 글로벌 모델의 성능을 결정하는지를 이해하기 위한 단계로 제시된다.