Personalized Additive Modeling for Multi-level Federated Learning

기술 요약: 다층적 연합 학습을 위한 개인화된 가산 모델링 (Personalized Additive Modeling for Multi-level Federated Learning)

문제 정의
현대의 연합 학습(Federated Learning, FL)은 매우 이질적인 클라이언트 데이터가 존재하는 상황에서 일반화(Generalization)의 필요성과 사용자별 개인화(Personalization) 사이의 균형을 맞추어야 하는 중대한 과제에 직면해 있습니다. 표준적인 FL 가정인 독립 및 동일 분포(IID) 데이터는 실제 시나리오에서 발견되는 복잡하고 구조화된 비-IID 패턴을 포착하는 데 종종 실패합니다. 클러스터형 FL(Clustered FL) 및 개인화된 FL(PFL)을 포함한 기존 방법들은 고정된 수의 클러스터나 경직된 '글로벌+로컬' 구조와 같이 제한된 이질성 설정에 설계되어 있습니다. 이러한 접근 방식은 클라이언트 간의 관계가 다중 입도(multi-granular)의 암시적 구조(예: 거시적인 OS 수준의 유사성, 하위 그룹 애플리케이션 패턴, 미세한 활동 특성 등)를 가질 때 어려움을 겪습니다. 왜냐하면 이들은 작업 경계에 대한 사전 지식을 요구하거나, 실제 데이터 분포와 일치하지 않을 수 있는 고정된 계층 구조를 확정해야 하기 때문입니다.

방법론: 연합 다층 가산 모델링 (FeMAM)
저자들은 FeMAM을 제안하며, 이는 다층적 비-IID 관점에서 FL을 모델링하는 유연한 프레임워크입니다. FeMAM은 고정된 계층 구조 대신, 여러 입도(글로벌에서 클라이언트 특정까지)에 걸쳐 공유 가능한 모델들의 계층을 학습하고, 가산적 합성(additive composition)을 통해 개인화된 예측기를 구축합니다.

• 다층 가산 아키텍처 (Multi-level Additive Architecture): 시스템은 지식을 $L$개의 레벨로 조직합니다. 각 레벨 $l$에서 서버는 해당 입도를 나타내는 $K_l$개의 모델을 유지합니다. 클라이언트의 개인화된 예측기는 각 레벨에서 선택된 하나의 모델을 가산적으로 합성하여 형성됩니다:
  $$f_i(X_i) = \sum_{l=1}^{L} \sum_{k=1}^{K_l} r_{i,k}^{(l)} f(X_i; \Theta_{k}^{(l)})$$
  여기서 $r_{i,k}^{(l)}$은 할당 지표(assignment indicator)입니다. 이 구조는 거시적 구조를 제공하는 상위 레벨과 잔차 수정(residual correction) 역할을 하는 하위 레벨을 통해 점진적인 정교화를 가능하게 합니다.

• 부스팅 방식의 최적화 (Boosting-like Optimization): 모든 레벨을 공동으로 최적화하는 비용과 계층 깊이를 미리 지정해야 하는 문제를 피하기 위해, FeMAM은 순차적인 부스팅 스타일의 학습 전략을 채택합니다. 이 방식은 레벨을 하나씩 학습하며, 이전에 학습된 레벨은 고정(freeze)하고 현재 레벨만을 최적화하여 잔차 오차(residual error)를 최소화합니다. 이는 학습의 안정성을 보장하며, 구조를 사전에 확정하지 않고도 데이터에 적응할 수 있게 합니다.

• 클라이언트 측 구조 가지치기 (Client-side Structure Pruning): 비용 효율성을 확보하고 과적합을 방지하기 위해, FeMAM은 가지치기 메커니즘을 구현합니다. 새로운 레벨을 학습한 후, 클라이언트는 검증 오차(validation error)가 감소하는 경우에만 해당 레벨을 수용합니다. 결과적으로 이는 "온디맨드(on-demand)" 방식의 개인화 깊이를 만들어내며, 데이터 분포가 단순한 클라이언트는 초기 레벨에서 멈출 수 있고, 복잡한 이질성을 가진 클라이언트는 더 깊은 계층을 활용하게 됩니다.

• 비용 적응형 설계 (Cost-Adaptive Design): 여러 모델을 유지함에도 불구하고, FeMAM은 통신 효율성을 유지합니다. 학습 중에는 클라이언트당 라운드별로 현재 레벨의 모델만 통신하므로, 통신 비용이 단일 모델 FL과 유사한 수준을 유지합니다. 추론 시 클라이언트는 가지치기를 통해 수용된 모델만을 저장하며, 이는 일반적으로 최대 계층 깊보다 적은 수의 모델을 저장하게 됩니다.

주요 기여

1. 정식화 (Formulation): 본 논문은 현대 AI 개인화 요구에 의해 유발되는 구조적 복잡성을 해결하며, 다층적 비-IID 이질성 하에서의 연합 개인화를 정식화합니다.
2. 메커니즘 (Mechanism): 명시적인 작업 경계 없이 레벨 간 잔차 스타일의 합성을 통해 클라이언트 예측기를 구축하는 다층 가산 개인화 메커니즘을 도입합니다.
3. 알고리즘 (Algorithm): 계층을 점진적으로 확장하면서 동시에 클라이언트별로 불필요한 레벨을 가지치기하는 "성장 및 가지치기(grow-and-prune)" 파이프라인을 제안하여, 고정된 구조 없이도 적응성을 달acia합니다.
4. 이론 (Theory): 수렴 분석을 통해, 목적 함수 시퀀스가 그래디언트 부스팅과 유사하게 단조 감소함을 보여줍니다.
5. 실험적 검증 (Empirical Validation): 광범위한 실험을 통해 FeMមាន이 다양한 비-IID 설정에서 대표적인 클러스터형 및 개인화 FL 베이스라인 모델들을 일관되게 능가함을 입증했습니다.

실험 결과
저자들은 이미지 분류 데이터셋(Tiny ImageNet, CIFAR-100)과 대규모 파운데이션 모델 시나리오(FLAN-T5 태스크에 LoRA를 적용한 Qwen3-4B)에서 FeMAM을 평가했습니다.

• 성능 (Performance): FeMAM은 세 가지 비-IID 파티션 유형(Cluster-wise, Client-wise, Multi-level) 모두에서 가장 높은 테스트 정확도와 Macro-F1 점수를 일관되게 달성했습니다. 이는 FedAvg, Ditto, FeSEM, FedCAM, pFedMoE와 같은 강력한 베이스라인들을 능가하는 수치입니다.
• 적응성 (Adaptability): 다층 및 클라이언트 단위 비-IID 설정에서는 FeMAM이 자동으로 더 깊은 계층(최대 5단계)을 활용한 반면, 클러스터 단위 설정에서는 더 적은 단계로 가지치기를 수행하여, 데이터 구조에 맞춰 적응하는 능력을 보여주었습니다.
• 파운데이션 모델 (Foundation Models): 대규모 실험에서 FeMAM은 단순한 글로벌-로컬 설계를 사용하는 방법들보다 낮은 평균 손실(loss)과 높은 ROUGE-1 점수를 기록했습니다.
• 효율성 (Efficiency): 이 방법은 경쟁력 있는 실행 시간(Ditto보다 빠름)과 통신 효율성을 보여주었습니다. 가지치기를 통해 클라이언트당 평균 저장 모델 수가 낮게 유지되었습니다(예: Cluster-wise 설정에서 약 2.4개). 이는 FedEM과 같은 방법들에 비해 저장 비용을 줄여줍니다.

의의 및 주장
본 논문은 FeMAM이 현대적 FL의 "일반화와 개인화 사이의 긴장"에 대한 견고한 솔루션을 제공한다고 주장합니다. 주요 의의는 클러스터의 수나 계층의 깊이에 대한 사전 지식 없이도 다양하고 복잡한 비-IID 구조를 근사할 수 있다는 점에 있습니다. 개인화 깊이를 클라이언트 종속적으로 취급하고 부스팅 스타일의 가산 방식을 사용함으로써, FeMAM은 데이터를 미리 정의된 모델 구조에 강제로 맞추는 대신 데이터 자체에 적응합니다. 저자들은 이를 클라이언트 측 적응이 가능한 파운데이션 모델과 같은 대규모, 다기능 AI 시스템에 내재된 구조적 이질성을 처리하기 위한 진일보한 단계로 포지셔닝합니다.

한계 및 향와 과제
저자들은 현재 레벨별 구성 요소에 대한 평가가 대표적인 사례(FedAvg, K-means 클러스터링, 로컬 파인튜닝)로 제한되어 있음을 겸허히 밝히고 있습니다. 또한 다른 레벨별 방법론(예: IFCA, FedPer) 및 이들 간의 교차 레벨 상호작용에 대한 체계적인 연구는 여전히 열려 있는 과제임을 인정합니다. 아울러, 파운데이션 모델 실험이 수행되었으나 실제 배포 규모보다는 작았으므로, 향후 훨씬 더 크고 다양한 태스크 세트에서 FeMAM을 평가하는 연구가 필요함을 시사합니다.