Closing the Alignment-Maturity Gap in Federated Prototype Learning

기술 요약: 연합 프로토타입 학습에서의 정렬-성숙도 격차 해소

문제 정의
연합 학습(Federated Learning, FL)은 분산되고 이질적인 데이터로부터 판별력 있는 시각적 표현을 학습하는 데 있어 근본적인 과제에 직면해 있다. 프로토타입 기반 방식(예: FedProto, FedNH)은 전체 모델 가중치 대신 클래스 수준의 표현(프로토타입)을 공유함으로써 통계적 이질성을 해결하고자 하지만, 이는 **정렬-성숙도 격차(alignment-maturity gap)**라고 불리는 결정적인 불안정성을 초ну한다.

기존의 프로토타입 기반 FL에서는 로컬 클라이언트 임베딩으로부터 글로벌 프로토타입을 집계하고, 이를 첫 번째 훈련 라운드부터부터 의미론적 앵커(semantic anchors)로 사용한다. 그러나 초기 훈련 단계에서 로컬 특징 추출기는 아직 판별적인 구조를 학습하지 못한 상태이므로, 로컬 표현은 노이즈가 많고 미성숙하다. 결과적으로 집계된 글로벌 프로토타입은 신뢰할 수 없다. 이때 정적인 정렬 가중치(static alignment weight)가 즉시 적용되면, 미성숙한 로컬 임베딩과 이러한 노이즈 섞인 글로벌 프로토타입 사이의 거대한 유클리드 거리가 막대한 정렬 그래디언트(alignment gradients)를 생성한다. 이 그래디언트는 크로스 엔트로피 신호를 압도하여 로컬의 판별적 구조 형성을 억제하고, 특히 심각한 non-IID 조건에서 최적화를 불안정하게 만든다.

방법론: FedSAP
저자들은 글로벌 정렬의 타이밍과 클래스 간 분리 강도를 분리함으로써 연합 표현 학습을 안정화하도록 설계된 프레임워크인 FedSAP(Federated Scheduled and Adaptive Prototypes)를 제안한다. FedSAP는 기본 통신 프로토콜을 수정하거나 추가적인 학습 가능 파라미터를 도입하지 않고 작동한다. 이는 두 가지 상호 보완적인 메커니즘에 의존한다:

1. 결정론적 정렬 커리큘럼 (Deterministic Alignment Curriculum):
   처음부터 완전한 정렬 압력을 가하는 대신, FedSAP는 프로토타입 정렬 가중치($\lambda_t$)에 대한 선형 웜업 스케줄을 채택한다.

• 메커니즘: 가중치는 고정된 라운드 수($t_w$) 동안 0에서 최대값 $M$까지 선형적으로 증가한다.
• 효과: 이는 글로벌 정렬 압력의 도입을 지연시켜, 로컬 표현이 글로벌 합의를 향해 끌려가기 전에 판별적 구조를 공고히 할 수 있도록 한다. 이 스케줄은 결정론적이므로 별도의 보조 신호나 라운드당 통신 오버헤드가 필요하지 않다.

2. 기하학적 프록시 분리 손실 (Geometry-Driven Proxy Separation Loss):
   추가 파라미터 없이 클래스 간 구조를 강제하기 위해, FedSAP는 기존의 글로벌 프로토타입 뱅크를 공유된 "프록시 뱅크(proxy bank)"로 재활용한다.

• 메커니즘: 로컬 임베딩과 글로벌 프로토타입은 단위 하이퍼스피어(unit hypersphere) 상에 투영된다. 코사인-소프트맥스(cosine-softmax) 목적 함수가 적용되어, 표현을 타겟 클래스 프로토타입 쪽으로 끌어당기는 동시에 비타겟 클래스 프로토타입으로부터는 밀어낸다.
• 효과: 이를 통해 하이퍼스피어 상에 조밀하고 잘 분리된 클래스 클러스터를 형성한다. 서버에서 배포된 프로토타입을 프록시로 사용함으로써, 이 방식은 (ProxyNCA나 ProxyAnchor와 같은 방식에서 보이는) 별도의 학습 가능한 프록시 파라미터를 유지하는 데 따르는 복잡성과 통신 비용을 피한다.

준지도 학습으로의 확장
본 논문은 FedSAP가 준지도 연합 학습(SSFL) 환경으로 자연스럽게 확장됨을 입증한다. 초기 지도 학습 단계 동안 안정적인 임베딩 공간을 구축함으로써, 이 프레임워크는 후속 단계에서 라벨이 없는 데이터에 대한 신뢰할 수 있는 의사 라벨링(pseudo-labeling)을 가능하게 한다. 라벨이 없는 샘 샘플은 글로벌 프로토타입 뱅크와의 최근접 이웃 거리에 따라 의사 라벨이 부여되며, 확증 편향(confirmation bias)을 완화하기 위해 지도 학습 단계로부터 자동 조정된 신뢰도 임계값이 사용된다.

주요 기여

• 격차 식별: 저자들은 미성숙한 표현에 대한 조기 글로벌 정렬이 로컬 학습을 억제하는 "정렬-성숙도 격차"를 명시적으로 식별하고 그 동기를 부여했다.
• FedSAP 프레임워크: 점진적인 정렬 커리큘럼과 기존 프로토타입 뱅크에 적용되는 기하학적 프록시 분리 손실을 통해 이 격차를 해결하는 프레임워크를 제안했다.
• 성능 및 범용성: FedSAP가 동일한 통신 비용으로 FedProto만큼 잘 분리된 임베딩을 달면서도 상당한 성능 향상을 달성함을 실증적 검증을 통해 보여주었다. 이 프레임워크는 준지도 학습 환경으로 자연스럽게 확장됨을 보여줌으로써 '스케줄링된 정렬'의 범용성을 강조한다.

실험 결과
FedSAP는 다양한 정도의 통계적 이질성 하에서 세 가지 벤치마크(FEMNIST, CIFAR-10, CIFAR-100)를 통해 평가되었다.

• 성능: 이 프레임워크는 프로토타입 기반 베이스라인(FedProto, FedMPS) 및 파라미터 집계 베이스라인(FedAvg) 대비 최대 4 퍼센트 포인트의 이득을 달了.
• 이질성: 개선 효과는 초기 라운드의 프로토타입 불안정성이 가장 심각한 극심한 non-IID 조건에서 가장 두드러졌다.
• 절제 연구(Ablation): 실험 결과는 점진적 정렬 스케줄과 프록시 분리 손실이 통신 오버헤드를 증가시키지 않으면서 임베딩 공간을 안정화하는 데 핵심적임을 확인시켜 주었다.

의의 및 주장
본 논문은 FedSAP가 프로토타입 기반 FL의 구체적이고 이전에 다뤄지지 않았던 한계점, 즉 글로벌 앵커의 신뢰도와 로컬 표현의 성숙도 사이의 시간적 불일치를 해결한다고 주장한다. Fed-SFA는 연합 프로토타입 학습을 근본적으로 표현 학습 문제로 취급함으로써, 초기 라운드에는 안정적이고 후기 라운드에는 점점 더 판별력이 높아지는 학습 궤적을 만들어낸다. 저자들은 "스케줄링된 정렬" 원칙을 특정 프로토콜을 위한 튜닝 전략이 아니라, 완전 지도 학습 및 준지도 학습 연합 환경 모두에 적용 가능한 일반적인 설계 원칙으로 제시한다.