💻 컴퓨터 과학

FedEAGD: Trajectory-Guided Drift-Aware Distillation for Personalized Federated Learning

FedEAGD는 궤적 유도형 드리프트 인지 증류 메커니즘과 적응형 역사적 지식 전이 및 점진적 게이트 잔차 융합을 채택함으로써 비독립 동일 분포(non-IID) 조건 하에서 모델 정확도를 크게 향상시키고 데이터 이질성 및 부분적 클라이언트 참여 문제를 해결하는 개인화된 연합 학습 프레임워크이다.

원저자: Mengjia Lu, Ping Zhang, An Bao, Keyi Xu, Jiechang Wang

게시일 2026-11-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mengjia Lu, Ping Zhang, An Bao, Keyi Xu, Jiechang Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 세상에서 인공지능은 스마트폰부터 병원 센서에 이르기까지 수백만 대의 기기에서 모인 데이터를 통해 학습하곤 합니다. 연합 학습(federated learning)이라고 알려진 이 방식은 컴퓨터가 원시 데이터를 직접 이동시키지 않고도 강력한 모델을 구축할 수 있게 하여, 집단 지성을 활용하는 동시에 개인정보를 보호합니다. 그러나 각 기기에 있는 데이터가 결코 동일하지 않기 때문에 지속적인 문제가 발생합니다. 어떤 사용자는 고양이 사진을 수천 장 찍는 반면, 다른 사용자는 풍경 사진만을 포착할 수 있고, 한 병원은 주로 노인 환자를 진료하는 반면 다른 병원은 주로 어린이 환자를 볼 수도 있습니다. 이렇게 다양한 데이터 소스가 하나의 공유된 모델로부터 학습하려고 할 때, 그 결과는 종종 모두에게 성능이 떨어지는 혼란스러운 시스템이 됩니다. 이를 해결하기 위해 연구자들은 공통된 토대를 유지하면서도 각 개인 사용자에게 특화된 적응을 시도하는 방법인 개인화된 연합 학습(personalized federated learning)으로 눈을 돌렸습니다. 하지만 이러한 개인화된 미세 조정을 거치더라도 학습 과정은 불안정해질 수 있습니다. 모델이 시간이 흐름에 따라 업데이트됨에 따라, 특정 정보에 대한 이해 방식이 예측 불가능하게 변할 수 있으며, 이로 인해 시스템이 이전 단계에서 배웠던 것을 잊어버리거나 잘못된 데이터를 잘못된 교훈에 적용하게 될 수 있습니다.

허난 과학기술대학교와 허난 체육대학교의 연구팀은 이러한 불안정성을 해결하기 위해 FedEAGD라는 새로운 프레임워크를 개발했습니다. 그들의 연구는 특정 이미지와 같은 단일 데이터 포인트에 대한 이해가 여러 차례의 통신 라운드를 거쳐 학습되는 동안 어떻게 변화하는가라는 미묘하지만 결정적인 문제에 초점을 맞춥了. 모든 데이터를 동일하게 취급하는 대신, 이들의 방식은 모델이 각 개별 샘플을 어떻게 보는지에 대한 이력을 추적합니다. 연구진은 어떤 이미지가 한 라운드에서 다음 라운드로 넘어갈 때 모델의 생각을 급격하게 바꾸는 반면, 어떤 이미지는 안정적으로 유지된다는 것을 발견했습니다. 이러한 '표류(drift)'를 측정함으로써, 시스템은 각 항목에 대해 과거의 교훈에 얼마나 의존할지 결정할 수 있습니다. 만약 어떤 데이터가 모델을 흔들고 있다면, 시스템은 과거의 가이드를 더 강하게 적용하여 이를 안정시킵니다. 데이터가 안정적이라면, 시스템은 통제력을 완화하여 모델이 해당 기기의 독특한 요구사항에 더 자유롭게 적응할 수 있도록 합니다.

연구진은 '역사적 스승(historical teacher)'이라 부르는 개념을 중심으로 이 시스템을 구축했습니다. 자신의 진전 과정을 일기로 기록하는 학생을 상상해 보십시오. 이 디지털 버전에서는 각 기기가 공유 모델이 시간에 따라 어떻게 변해왔는지에 대한 단순화되고 평균화된 기록을 유지합니다. 기기가 새로운 데이터 배치(batch)를 학습할 때, 이 기록은 현재의 이미지를 바라보는 관점을 과거의 일기와 비교합니다. 만약 이미지에 대한 현재의 관점이 역사적 기록과 크게 다르다면, 시스템은 이를 불안정성의 순간으로 인식합니다. 그러면 시스템은 해당 이미지에 대한 역사적 교훈의 가중치를 자동으로 높이며, 이는 사실상 "이것은 까다로운 사례이니, 이전에 알았던 것에 더 충실하자"라고 말하는 것과 같습니다. 이는 샘플 단위로 발생하므로, 한 이미지는 강한 가이드를 받는 반면 그 옆의 이미지는 거의 받지 않을 수도 있으며, 이는 전적으로 모델의 관점이 해당 항목들에 대해 얼마나 변화했는지에 달려 있습니다.

모델이 너무 경직되지 않도록 하기 위해, 연구진은 개인화된 정보를 점진적으로 도입하는 방법도 도입했습니다. 학습 초기 단계에서 시스템은 모두에게 작동하는 강력하고 공유된 토대를 구축하는 데 집중합니다. 학습이 진행됨에 따라, 시스템은 각 기기에 특유한 고유한 특징들을 서서히 엮어 넣기 시작합니다. 이는 공유된 토대가 확보된 후에만 개인화된 세부 사항의 볼륨을 천천히 높이는 '게이트(gated)' 메커니즘을 통해 이루어집니다. 이는 시스템이 너무 빨리 너무 많은 구체적인 세부 사항을 배우려다 혼란에 빠지는 것을 방지합니다. 또한 연구진은 이러한 개인화된 추가 사항들이 실수로 공유 모델의 성능을 저하시키지 않도록 안전 점검을 추가했으며, 프로세스 마지막 단계에서 중앙 서버와 개별 기기 간의 최종 업데이트를 조정하기 위해 평활화(smoothing) 기술을 사용했습니다.

연구팀은 손글씨 숫자, 일상적인 사물, 수백 개의 카테고리가 포함된 복잡한 장면 등을 포함한 여러 유명한 이미지 데이터셋을 통해 이 접근 방식을 테스트했습니다. 그들은 일부 기기가 다른 유형의 이미지를 보유하는 등 데이터가 매우 불균형한 환경을 시뮬레이션했습니다. 이러한 도전적인 조건에서 새로운 방식은 기존의 접근 방식들을 일관되게 능가했습니다. 데이터 분포가 매우 불균형한 100개의 서로 다른 사물 카테고리 데이터셋에서, 이 새로운 프레임워크는 63.05 퍼센트의 정확도를 달랐습니다. 이는 테스트된 차기 최고 방법보다 거의 6 퍼센트 포인트 높은 수치로, 머신러닝 분야에서는 상당한 격차입니다. 또한 이 시스템은 훈련에 참여하는 기기의 수가 적거나 많을 때도 견고함을 입증하며, 규모나 참여 수준에 관계없이 다른 방법들보다 우위를 유지했습니다.

결정적으로, 이러한 개선은 통신량의 증가를 대가로 얻은 것이 아닙니다. 많은 개인화 시스템에서는 기기와 중앙 서버 사이에 고유한 데이터를 주고받는 과정에서 과도한 트래픽 부담을 생성합니다. 이 새로운 프레임워크에서는 모델의 공유된 부분만을 네트워크를 통해 전송합니다. 개인화된 구성 요소, 역사적 기록, 그리고 특정 조정 사항들은 각 기기에 로컬로 저장됩니다. 즉, 이 시스템은 네트워크를 추가 데이터로 막히게 하지 않으면서도 모든 기기의 독특한 특성으로부터 학습할 수 있습니다. 연구진은 시간과 데이터 전송량을 측정하였으며, 새로운 방법이 표준 하드웨어에서 훈련당 약 16.84초가 소요되어 다른 경량화된 방법들과 대등하면서도 훨씬 더 효과적임을 확인했습니다.

이 연구는 더 나은 개인화 학습의 핵심이 단순히 서로 다른 사용자를 위해 서로 다른 모델을 갖는 것이 아니라, 그 모델들이 시간이 지남에 따라 어떻게 진화하는지를 이해하는 데 있다는 것을 시사합니다. 모델이 개별 데이터 조각을 바라보는 궤적에 주목함으로써, 시스템은 필요한 곳에 정확히 적절한 양의 가이드를 적용할 수 있습니다. 이러한 접근 방식은 네트워크의 집단 지성이 안정성을 유지하면서도 각 참가자의 고유한 요구사항을 수용할 수 있게 합니다. 연구진은 이 방법이 데이터가 본질적으로 다양하고 오류의 비용이 높은 의료 서비스에서 개인용 기기에 이르기까지, 개인정보 보호가 중요한 환경에서 더 신뢰할 수 있고 정확한 시스템을 구축하는 실질적인 방법을 제공한다고 결론지었습니다. 그들의 작업은 모델이 배우는 방식의 역사를 더 세밀하게 경청함으로써, 우리가 현재를 더 잘 배울 수 있도록 도울 수 있음을 보여줍니다.

기술 요약: FedEAGD

문제 정의

개인화된 연합 학습(Personalized Federated Learning, PFL)은 이질적인 데이터(non-IID) 및 부분적인 클라이언트 참여 환경에서 공유된 글로벌 지식과 클라이언트별 적응 사이의 균형을 맞추고자 한다. 기존 방식들은 모델 개인화나 역사적 지식 전이를 통해 이질성을 해결하려 하지만, 통신 라운드에 걸친 개별 샘플 표현(individual sample representations)의 시간적 진화는 간과하는 경우가 많다.

표준적인 연합 설정에서, non-IID 데이터와 가변적인 클라이언트 참여는 공유된 표현의 드리프트(drift)를 유발한다. 기존의 역사적 감독(historical supervision) 방법들은 대개 모델 또는 클라이언트 수준에서 제약을 적용하며, 클라이언트 내의 모든 샘플을 동일하게 취급한다. 이는 개별 샘플이 서로 다른 표현 궤적을 보일 수 있다는 사실을 고려하지 못하며, 결과적으로 지식 전사를 저해하고 공유 모델이 특정 클라이언트의 요구에 적응하는 것을 방해한다.

방법론: FedEAGD

저자들은 샘플 수준의 표현 진화를 포착하고 역사적 감독을 적응적으로 조절하도록 설계된 프레임워크인 FedEAGD(Trajectory-Guided Drift-Aware Distillation)를 제안한다. 이 프레임워크는 다음과 같은 핵심 메커니즘을 통해 작동한다.

1. 궤적 가이드 드리프트 인식 증류 (Trajectory-Guided Drift-Aware Distillation)

단일한 역사적 스냅샷에 의존하는 대신, 각 클라이언트는 로컬에 유지된 공유 모델의 궤적을 요약하기 위해 클라이언트별 지수 이동 평균(EMA) 교사(teacher)( $\bar{G}_k$ )를 유지한다.

드리프트 정량화: 시스템은 각 샘플 $x_i$ 에 대해 현재의 공유 표현( $g_i$ )과 EMA 교사로부터 얻은 역사적 표현( $\bar{g}_i$ )을 계산한다.
시간적 드리프트 신호: 이 두 표현 사이의 불일치는 코사인 유사도( $s_i$ )를 통해 측정되며, 이를 통해 드리프트 메트릭 $d_i = 1 - s_i$ 를 정의한다.
적응형 증류: 샘ble 수준의 증류 계수 $\mu_i$ 는 $d_i$ 로부터 도출된다. 표현 변화가 큰 샘플(높은 드리프트)은 더 강한 역사적 감독을 받는 반면, 안정적인 샘플은 더 약한 제약을 받는다. 이는 $\mu_i = \min\{\mu_0(1 + d_i), \mu_{max}\}$ 로 공식화된다.

2. 점진적 게이트 잔차 융합 (Progressive Gated Residual Fusion, PGRF)

시간적 안정성과 클라이언트별 적응 사이의 균형을 맞추기 위해, FedEAGD는 개인화된 정보를 점진적으로 통합하는 메커니즘을 도입한다.

메커니즘: 융합된 표현 $h_i$ 는 공유 표현에 게이트형 개인화 잔차를 더하여 생성된다: $h_i = g_i + q_t \eta_{max} a_i \odot [p_i - sg(g_i)]$ .
점진적 스케줄: 시간 의존적 계수 $q_t$ 는 초기 단계( $t < t_s$ ) 동안 개인화 잔차의 기여도를 0으로 유지하고, 램프업(ramp-up) 기간 동안 선형적으로 증가시킨 후, 그 이후에는 1로 안정화되도록 보장한다.
게이팅: 게이팅 모듈 $A_k$ 는 각 샘플의 개인화 잔차 기여도를 제어하는 벡터 $a_i$ 를 생성한다.

3. 보조 정규화 및 조정

표현 앵커링 (Representation Anchoring): 보조 손실( $L_{anchor}$ )은 초기 단계에서 공유된 의미 정보를 보존하며, 개인화가 증가함에 따라 그 가중치를 점진적으로 줄인다.
잔차 디커플링 (Residual Decoupling): 손실 항( $L_{dec}$ )은 개인화된 잔차가 공유 표현과 직교하는 정보를 포착하도록 유도한다.
융합 안전성 (Fusion Safety): 융합된 경로가 공유 경로보다 성능이 떨어질 경우를 대비해 안전 항( $L_{safe}$ )이 성능 저하를 방지한다.
서버 측 조정: 서버는 공유 특징 추출기에 대해 샘플 가중 합산(sample-weighted aggregation)을 수행한다. 글로벌 업데이트를 안정화하기 위해 후기 단계 모멘텀 평활화(momentum smoothing)가 적용된다.
통신 효율성: 공유 특징 추출기만 전송된다. 개인화된 구성 요소(추출기, 게이팅 모듈, 분류기 및 역사적 교사)는 로컬에 머문다.

주요 기여

샘플 수준의 시간적 감독: 본 논문은 통신 라운드에 따른 개별 샘플 표현의 변화를 측정하는 방법을 소개한다. 이를 통해 증류 강도를 균일한 가중치가 아닌 샘플별 드리프트에 적응하여 적용할 수 있다.
점진적 게이트 잔차 융합 (PGRF): 단계별 계수를 가진 게이트형 잔차 연결을 통해 클라이언트별 정보를 통합하는 새로운 메커니즘을 도입하여, 개인화된 데이터가 초기 공유 표현 학습을 방해하지 않도록 보장한다.
포괄적 평가: MNIST, CIFAR-10, CIFAR-100, DomainNet 환경에서 다양한 이질성( $\alpha$ ), 참여율( $\rho$ ), 연합 규모( $K$ )를 바탕으로 프레임워크를 평가하였다.

실험 결과

저자들은 FedEAGD가 다양한 설정에서 강력한 베이스라인(FedAvg, FedRep, FedCAC, FedKD 포함)을 일관되게 능가한다고 보고한다.

성능: 디리클레 농축 파라미터 $\alpha = 0.1$ (높은 이질성)인 CIFAR-100 환경에서, FedEAGD는 **63.05%**의 정확도를 달성하여 가장 강력한 베이스라인보다 5.96 퍼센트 포인트 높은 성능을 보였다.
강건성: 이 방법은 다양한 클라이언트 참여율(최저 $\rho=0.2$ 까지) 및 다양한 연합 규모(최대 100명의 클라이언트)에서도 우수한 성능을 유지한다.
효율성: 프레임워크는 경량화된 개인화 방법들과 유사한 계산 비용을 발생시키며, 개인화된 파라미터를 전송하지 않아 통신 오버헤드를 공유 특징 추출기로 제한한다.
소거 연구 (Ablation Studies): 역사적 교사를 제거했을 때 성능 저하가 가장 컸으며(CIFAR-100에서 1.26%), 이는 궤적 가이드 감독의 중요성을 확인시켜 준다. 적응형 증류 가중치와 점진적 융합 또한 유의미한 추가 이득을 제공했다.

의의 및 주장

본 논문은 FedEAGD가 PFL의 특정 공백인 샘플 수준의 시간적 표현 드리프트에 대한 주의 부족 문제를 해결한다고 주장한다. EMA 교사를 사용하여 공유 모델의 궤적을 추적하고 샘플별 드리프트에 따라 증류 가중치를 적응시킴으로써, 이 방법은 클라이언트별 적응을 억제하지 않으면서도 로컬 최적화를 안정화한다.

저자들은 이 연구를 이질적인 환경에서 더욱 강력한 개인화된 연합 학습을 향한 단계로 규정한다. 그들은 이 접근 방식이 공유 지식을 활용하는 것과 로컬 데이터 분포에 적응하는 것 사이의 트레이드오프를 효과적으로 균형 있게 조절하며, 데이터 교환을 공유 특징 추출기로 제한함으로써 통신 효율성을 유지한다고 강조한다. 이 연구는 향후 이러한 메커니즘을 비동기적 참여 및 에지 컴퓨팅이나 IoT와 같은 더 복잡한 네트워크 환경으로 확장할 수 있음을 시사한다.