기술 요약: FedTopo

문제 정의

연합 학습(Federated Learning, FL)은 원시 데이터를 중앙 집중화하지 않고도 분산된 데이터 사일로 간의 협력적 학습을 가능하게 합니다. 그러나 표준적인 FL은 클라이언트들이 동일한 아키텍처를 가진다고 가정하는데, 이는 다양한 계산 자원과 배포 제약 조건을 고려할 때 비현실적일 수 있습니다. **모델 이질적 FL(Model-heterogeneous FL)**은 클라이언트가 서로 다른 백본 아키텍처를 사용할 수 있도록 함으로써 이 문제를 해결합니다.

모델 이질적 FL의 핵심 과제는 정렬되지 않은 표현 공간(non-aligned representation spaces) 간에 글로벌 지식을 전이하는 것입니다. 기존의 패러다임들은 다음과 같은 방식으로 지식을 공유합니다:

1. 부분 파라미터 공유(Partial Parameter Sharing): 정렬된 파라미터 공간과 호환 가능한 아키텍처를 요구합니다.
2. 지식 증류(Knowledge Distillation): 예측을 정렬하기 위해 공유된 출력 공간이나 보조 공공 데이터가 필요합니다.
3. 프로토타입 공유(Prototype Sharing): 클래스별 프로토타입(특징 좌표)을 교환합니다.

위 세 가지 패러다임 모두 지식을 절대적 공간(absolute space)(가중치, 로짓 또는 특징 좌표)에 인코딩하며, 이는 클라이언트 간에 정렬되어야 합니다. 이질적인 백본 하에서는 동일한 특징 차원이 클라이언트마다 서로 다른 의미적 요인을 인코딩할 수 있습니다. 결과적으로 프로토타입이나 파라미터를 직접 평균 내는 것은 신뢰할 수 없는 글로벌 지식을 생성하고 로컬 학습을 잘못 유도하게 됩니다.

방법론: FedTopo

저자들은 절대적 좌표를 공유하는 대신 **관계 수준의 클래스 토폴로지(relation-level class topology)**를 공유하는 프레임워크인 FedTopo(Federated Topology-guided Learning)를 제안합니다. FedTopo는 "클래스가 특징 공간의 어디에 위치하는가?"라고 묻는 대신, "클래스들이 클라이언트의 로컬 공간 내에서 서로 어떻게 관계를 맺고 있는가?"라고 질문합니다.

이 프레임워크는 세 단계로 작동합니다:

1. 관계 수준 토폴로지 구축 (클라이언트 측)

각 클라이언트 $k$는 개인 데이터를 사용하여 로컬 이질적 모델을 학습합니다.

• 프로토타입 추출: 클라이언트는 로컬 데이터셋에 존재하는 클래스들에 대해 클래스 프로토타입 $p_{k,c}$(평균 특징 표현)를 계산합니다.
• 관계 행렬 구축: 프로토타입을 업로드하는 대신, 클라이언트는 로컬 관계 행렬 $R_k \in [0, 1]^{C \times C}$를 계산합니다. 엔트리 $R_k(c, c')$는 클래스 $c$와 $c'$의 프로토타입 사이의 코사인 유사도를 $[0, 1]$ 범위로 재조정(rescale)한 값입니다.
• 통계량: 클라이언트는 이러한 관계에 대한 통계적 지지력을 정량화하기 위해 클래스 샘플 수 $n_k$를 기록합니다.
• 업로드: 오직 관계 행렬 $R_k$와 통계량 $n_k$만이 업로드됩니다. 원시 프로토타입과 특징 좌표는 로컬에 유지됩니다.

2. 신뢰도 인식 글로벌 토폴로지 집계 (서버 측)

서버는 로컬 관계들을 하나의 글로벌 토폴로지 $R_g$와 신뢰도 행렬 $S_g$로 집계합니다.

• 마스킹(Masking): 이진 마스크 $M_k$를 사용하여 특정 클라이언트에서 관찰되지 않은 클래스 쌍을 제외합니다.
• 신뢰도 가중치 부여: 두 클래스의 샘플 수에 대한 조화 평균을 기반으로 가중치 $w_k(c, c')$를 계산합니다. 샘플 수가 적어 지지력이 약한 관계는 가중치가 낮아집니다.
• 집계: 글로벌 관계 $\tilde{R}_g$는 유효한 로컬 관계들의 신뢰도 가중 평균입니다.
• 신뢰도 행렬: $S_g$는 각 글로벌 관계 쌍을 뒷받ing하는 증거의 상대적 양을 추적합니다.
• 스무딩(Smoothing): 라운드 간 변동을 줄이기 위해 지수 이동 평균(EMA)이 적용됩니다.
• 브로드캐스트: 서버는 $(R_g, S_g)$를 클라이언트들에게 브로드캐스트합니다.

3. 토폴로지 가이드 로컬 학습 (클라이언트 측)

클라이언트는 특징 공간을 정렬하지 않고도 결정 경계를 날카롭게 만들기 위해 글로벌 토폴로지를 사용합니다.

• 가이드 선택: 실제 정답 $y$를 가진 학습 샘플에 대해, 클라이언트는 $R_g$를 기준으로 $y$와 토폴로지적으로 가장 유사하면서도 $S_g$를 기준으로 가장 신뢰도 있게 지지되는 상위 $q$개의 부정 클래스(negative classes)를 선택합니다.
• 로짓 변조(Logit Modulation): 선택된 부정 클래스들의 로짓을 인자 $\gamma$만큼 증가시킵니다.
• 손실 함수: 로컬 손실은 표준 교차 엔트로피 손실과, 모델이 이러한 "어려운" 부정 클래스들로부터 정답을 구별해내지 못할 경우 페널티를 주는 보조 항의 결합으로 구성됩니다.
• 추론: 글로벌 토폴로지는 학습 중에만 사용됩니다. 추론 시점에 클라이언트는 원래의 로컬 모델을 그대로 사용하므로 추론 오버오버헤드가 발생하지 않습니다.

주요 기여

1. 관계 수준의 지식 공유: FedTopo는 파라미터, 로짓 또는 프로토타입 좌표가 아닌 클래스 관계 토폴로지로서 글로벌 지식을 공유하는 최초의 프레임워크입니다. 이는 크로스 클라이언트 정렬 가정을 클라이언트 내부의 일관성 가정으로 완화합니다.
2. 신뢰도 인식 집계: 데이터가 희소하거나 지지력이 약한 관계로 인해 발생하는 불안정한 관계의 가중치를 낮추는 메커니즘을 도입하여, 글로벌 토폴로지가 non-IID 데이터 분포에 대해 견고하도록 보장합니다.
3. 토폴로지 가이드 학습: 특징 공간의 정렬 없이도 로컬 식별력을 높이기 위해 글로벌 토폴로지를 활용하여 혼란을 주는 부정 클래스를 강조하는 새로운 학습 목적 함수를 제공합니다.
4. 효율성: 낮은 통신 비용($O(C \times d)$가 아닌 $O(C^2)$로 스케일링)과 추론 오버헤드 없음을 유지하면서 최첨단 성능을 달성합니다.

실험 결과

저자들은 여덟 가지 이질적 백본(CNN부터 ResNet-152까지)을 사용하여 CIFAR-10, CIFAR-100, Tiny-ImageNet 데이터셋에 대해 Dirichlet 및 병리적(pathological) non-IID 설정 하에서 FedTopo를 평가했습니다.

• 성능: FedTopo는 세 가지 지식 공유 패러다임(파라미터, 증류, 프로토타입 공유) 모두에서 일관되게 베이스라인을 능가했습니다.
  • CIFAR-10 (Dirichlet $\alpha=0.1$)에서 FedTopo는 **87.38%**의 정확도를 달성하여, 가장 우수한 베이스라인인 FedSCE(86.18%)보다 1.2 포인트 앞섰습니다.
  • CIFAR-100 (Pathological)에서 **59.30%**를 달성하여, 가장 우수한 베이스라인인 FedMRL(57.45%)보다 1.85 포인트 앞섰습니다.
• 강건성: 모델 이질성과 데이터 왜곡이 심해질수록 성능 격차가 더 커졌으며, 이는 관계 수준의 토폴로지가 절대적 좌표보다 더 전이성이 높음을 입증합니다.
• 절제 연구(Ablation Studies): 신뢰도 가중치, Top-q 선택, 누락 인식 마스킹, EMA 중 하나라도 제거하면 성능이 저하되었으며, 이는 전체 설계의 필요성을 확인시켜 줍니다.
• 비용: CIFAR-10 기준, FedTopo는 라운드당 업로드에 110개, 다운로드에 200개의 파라미터만을 필요로 하여 프로토타입 기반 방식(5,120개)보다 훨씬 적었습니다. 또한 무시할 만한 수준의 학습 FLOPs와 제로의 추론 FLOPs를 추가했습니다.

의의 및 주장

본 논문은 FedTopo가 공유되는 지식의 본질을 근본적으로 바꿈으로써 모델 이질적 FL을 위한 더 강력한 솔루션을 제공한다고 주장합니다. 이 방법은 (이질적인 백본 하에서 실패하는) 절대적 좌표 정렬에서 (서로 다른 특징 공간에서도 유지되는) 상대적 관계 일관성으로 전환함으로써, 공유된 아키텍처나 보조 데이터, 혹은 특징 정렬 없이도 효과적인 협업을 가능하게 합니다.

저자들은 이 접근 방식이 다음과 같은 장점을 가진다고 강조합니다:

• 프로토타입 공유에서 발생하는 "신뢰할 수 없는 글로벌 프로토타입" 문제를 피합니다.
• 데이터 프리(data-free) 환경에서도 효과적으로 작동합니다(공공 보조 데이터가 필요 없음).
• 로컬 모델이 이미 강력한 고도의 개인화된 설정에서도 **긍정적 전이(positive transfer)**를 전달합니다.
• 낮은 통신 및 계산 오버헤드를 유지하여 자원이 제한된 에지 디바이스에 실용적입니다.

결론적으로, 관계 수준의 토폴로지는 이질적 FL에서 글로벌 지식을 전달하는 데 있어 기존 패러다임이 가진 한계를 극 old하는 전이성, 강건성, 효율성의 균형을 갖춘 우수한 매개체임을 보여줍니다. 향후 연구로 이를 멀티모달 및 오픈 셋(open-set) 시나리오로 확장하는 것을 제안합니다.