기술 요약: CRAFT (연방 학습을 위한 충돌 해결 집계)

1. 문제 제기

연방 학습 (FL) 은 원시 데이터를 공유하지 않고 탈중앙화된 클라이언트 간에 협력적 모델 훈련을 가능하게 합니다. 그러나 데이터 이질성(비 IID 분포) 으로 인한 근본적인 병목 현상이 발생하여 국소 업데이트가 발산합니다. FedAvg 와 같은 기존 집계 방법은 이러한 업데이트의 가중 평균을 계산합니다. 본 논문은 단순한 평균화가 전역 목적 함수를 개선하면서도 특정 클라이언트와 충돌(즉, 전역 업데이트와 클라이언트의 국소 업데이트 간의 내적이 음수) 하는 전역 업데이트 방향을 생성할 수 있다고 주장합니다. 이러한 충돌은 해당 특정 클라이언트의 성능 저하를 초래하여, 평균 전역 정확도가 높더라도 클라이언트별 정확도 편차가 크고 형평성이 낮아지는 결과를 낳습니다.

기존 접근법은 정규화 (FedProx), 정규화 (FedNova), 형평성 인식 목적 함수 (AFL, q-FedAvg), 또는 개인화 모델을 통해 이를 완화하려 시도했습니다. 충돌 인식 방법 (FedFV, FedLF, ConFIG) 은 업데이트 기하학을 직접 조작하기 위해 등장했으나, 종종 휴리스틱 규칙에 의존하거나 해결을 안내하기 위한 시간적 정보 통합이 부족합니다.

2. 방법론: CRAFT 프레임워크

CRAFT 는 집계 문제를 가중 평균이 아닌 기하학적 보정 문제로 재정의합니다. 핵심 목표는 엄격한 충돌 없는 정렬 제약 조건을 만족하면서 안정적인 참조 방향에 가능한 한 가까운 전역 업데이트 벡터 $g$를 찾는 것입니다.

2.1 핵심 공식화

CRAFT 는 (제로-프리어 방법과 같이) 처음부터 업데이트를 재구성하거나 (모멘텀 방법과 같이) 단순히 평활화하는 대신, 참조 고정 제약 최소제곱 문제를 풉니다:

$$\min_{g \in \mathbb{R}^d} \frac{1}{2} \|g - \hat{g}_t\|^2 \quad \text{s.t.} \quad U_t g = \rho_t$$

여기서:

• $\hat{g}_t$는 참조 방향으로, 이전 라운드의 정규화된 전역 업데이트로 정의됩니다 ($\hat{g}_t = U(g_{t-1})$). 첫 번째 라운드에서는 $\hat{g}_0 = 0$입니다.
• $U_t$는 활성 클라이언트들의 정규화된 국소 업데이트 행렬입니다 ($u_i = g_i / (\|g_i\| + \epsilon)$).
• $\rho_t$는 양수 정렬 목표 벡터로, 일반적으로 클라이언트 데이터 비율에서 유도됩니다 ($\rho_i = |D_i| / \sum |D_j|$).
• 제약 조건 $U_t g = \rho_t$는 전역 업데이트 $g$가 참여하는 모든 클라이언트의 정규화된 업데이트와 양수 내적을 갖도록 보장하여 충돌 없는 방향을 확보합니다.

2.2 폐쇄형 해

이 문제는 미결정 문제입니다 (모델 차원 $d \gg$ 클라이언트 수 $m$). CRAFT 는 반복적 솔버나 2 차 계획법의 계산 오버헤드를 피하기 위해 Moore-Penrose 의사역행렬을 사용하여 폐쇄형 해를 유도합니다. 업데이트는 참조에 대한 보정 $\Delta_t$로 계산됩니다:

$$g_t = \hat{g}_t + \Delta_t, \quad \text{where} \quad \Delta_t = U_t^\dagger (\rho_t - U_t \hat{g}_t)$$

이 공식은 참조 방향이 이미 제약 조건을 만족하는 경우 보정이 적용되지 않도록 보장합니다. 그렇지 않은 경우, 정렬을 강제하기 위해 가장 작은 유클리드 보정이 추가됩니다.

2.3 레이어별 적응

심층 신경망이 레이어별 최적화 역학 (예: 얕은 레이어는 입력 분포 변화로 고통받는 반면 깊은 레이어는 레이블 편향으로 고통받음) 을 보인다는 점을 인식하여, CRAFT 는 레이어별 적응을 구현합니다. 최적화 문제는 각 레이어 $q$에 대해 $Q$개의 독립적인 부분 문제로 분해되어 별도로 보정을 풉니다:
$$g^q_t = \hat{g}^q_t + (U^q_t)^\dagger (\rho_t - U^q_t \hat{g}^q_t)$$
이는 한 레이어에서의 심각한 충돌이 다른 레이어의 유용한 구성 요소를 억제하는 것을 방지합니다.

2.4 이론적 특성

본 논문은 CRAFT 가 공통 하강 구조를 촉진한다는 이론적 분석을 제공합니다. 모든 클라이언트 업데이트와의 비음수 정렬을 강제함으로써 충돌을 완화합니다. 저자들은 표준 매끄러움 및 유계 기울기 가정 하에 비볼록 목적 함수에 대한 유한 시간 수렴 보장을 수립하여, 국소 학습률이 적절히 감소하는 경우 표준 비볼록 최적화와 비교 가능한 $O(1/\sqrt{T})$ 수렴 속도를 보여줍니다.

3. 주요 기여

1. 문제 재정의: 저자들은 연방 집계를 가중 평균 규칙이 아닌 참조 고정 제약 최소제곱 문제로 재정의할 것을 제안합니다. 이는 전역 업데이트와 모든 클라이언트 간의 양수 정렬을 직접 강제합니다.
2. 효율적인 폐쇄형 해: 반복적 충돌 해결 방법과 달리, CRAFT 는 Moore-Penrose 보정을 사용하여 명시적 해를 유도하여 서버 측 계산을 경량화합니다 ($O(dm^2 + Qm^3)$).
3. 모멘텀 유사 참조: 이전 라운드의 전역 업데이트를 참조 방향으로 사용하여 CRAFT 가 시간적 일관성을 유지하고 샘플링 노이즈에 대한 업데이트를 안정화하도록 하며, 이는 0 벡터로 투영하는 방법과 구별됩니다.
4. 레이어별 세분성: 이 프레임워크는 모델 레이어 단위의 충돌을 해결하여, 전역 벡터 제약이 너무 거칠 수 있는 심층 신경망에 적합합니다.
5. 플러그인 확장성: CRAFT 는 기존 개인화 FL 파이프라인 (예: Ditto) 에서 가중 평균을 대체할 수 있는 범용 집계 연산자로 설계되어, 국소 적응 메커니즘을 수정하지 않고도 통합됩니다.

4. 실험 결과

다양한 모델 (MLP, CNN, ResNet-20/56/110) 과 클라이언트 집단 (최대 1000 개 클라이언트) 을 사용하여 이질적 벤치마크 (FEMNIST, CIFAR-10, CIFAR-100) 에서 광범위한 실험이 수행되었습니다.

• 전역 성능: CRAFT 는 평균 정확도에서 최첨단 베이스라인을 일관되게 능가했습니다. ResNet-20 을 사용한 CIFAR-10 에서 ConFIG 대비 53.5% 상대적 개선을 달성했으며, FEMNIST 에서 FedAvgM 대비 7.8% 개선을 보였습니다.
• 형평성과 편차: CRAFT 는 클라이언트별 정확도의 표준 편차를 크게 줄였습니다. "헤드" 클라이언트의 희생 없이 "테일" 클라이언트 (최악의 10%) 의 성능을 개선했습니다. 예를 들어, CIFAR-10 에서 FedLF 대비 최악 10% 정확도를 221.5% 개선했습니다.
• 수렴: CRAFT 는 다른 방법들이 종종 초기에 포화되거나 클라이언트 드리프트로 고통받는 더 깊은 네트워크에서 더 빠른 수렴과 더 높은 최종 정확도를 보여주었습니다.
• 개인화 FL 통합: Ditto 프레임워크에 통합되었을 때, CRAFT 는 바니얼 Ditto 대비 CIFAR-10 에서 평균 테스트 정확도를 19.7% CIFAR-100 에서 98.8% 개선하여 개인화 파이프라인을 강화하는 능력을 입증했습니다.

5. 중요성과 주장

본 논문은 CRAFT 가 휴리스틱 충돌 해결에서 기하학적으로 원칙적이고 제약 기반의 접근법으로 전환하는 집계 설계에 대한 새로운 관점을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 이질성 완화: 목적 함수를 조정하거나 국소 훈련을 정규화하는 것뿐만 아니라 FL 의 형평성 문제의 근본 원인 (충돌하는 업데이트) 을 직접 해결합니다.
• 정확성과 형평성의 균형: 기존 방법으로 달성하기 어려운 이중 목표인 높은 평균 정확도를 달성하면서 동시에 성능 편차를 줄입니다.
• 실용성: 이 방법은 계산적으로 효율적이며 추가 통신이 필요 없고, 기존 개인화 FL 프레임워크로 쉽게 확장 가능합니다.

저자들은 현재 참조 방향이 단순한 모멘텀 유사 사전 정보이며 정렬 목표가 데이터 비율에 기반한다는 한계를 인정합니다. 향후 연구는 훈련 진행 상황과 형평성 요구 사항에 기반한 적응형 참조 또는 목표를 탐구할 수 있다고 제안합니다. 그러나 현재 작업은 CRAFT 를 이질적 연방 학습을 위한 견고하고 충돌 없는 집계 메커니즘으로 확립합니다.