🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

이 논문은 이질적인 연합 학습 환경에서 경쟁력 있는 글로벌 모델 정확도를 유지하면서도 클라이언트 간의 성능 격차를 효과적으로 최소화하는 두 가지 그래디언트 분산 정규화 방법인 FairGrad와 FairGrad*를 소개한다.

원저자: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이웃들이 하나의 공유된 레시피 북을 만들기 위해 노력하는 한 그룹을 상상해 보세요. 각 이웃은 자신만의 식재료와 요리 노트(로컬 데이터)를 가져와 기여합니다. 목표는 모두에게 잘 맞는 하나의 "마스터 레시피"를 만드는 것입니다.

이것이 **연합 학습(Federated Learning, FL)**의 기본 개념입니다. 하지만 문제가 하나 있습니다. 어떤 이웃은 아주 크고 다양한 식료품 저장고(많은 데이터)를 가지고 있는 반면, 다른 이들은 매우 작고 특정한 컬렉션(적은 데이터)만을 가지고 있습니다. 어떤 이들은 매운 음식만 요리하고, 어떤 이들은 디저트만 굽기도 합니다.

만약 그룹이 단순히 모든 사람의 노트를 맹목적으로 평균 낸다면, 최종 마스터 레시피는 식료품 저장고가 큰 이웃들에게는 훌륭할지 몰라도, 식료품 저장고가 작거나 독특한 이들에게는 엉망이 될 수 있습니다. "매운 맛"을 선호하는 이웃들에게는 결과물이 밍밍한 오트밀처럼 느껴질 수 있고, "베이킹"을 하는 이들에게는 오븐을 태워 먹는 레시피가 될 수도 있습니다. 이것이 바로 **불공정성(unfairness)**입니다. 즉, 글로벌 모델이 누군가에게는 잘 작동하지만 다른 이들에게는 실패하는 현상을 말합니다.

논문의 해결책: "FairVar"

이 논문의 저자인 Zahra Kharaghani, Ali Dadras, 그리고 Tommy Löfstedt는 이 레시피들을 섞는 새로운 방법인 FairVar를 제안합니다. 그들의 목표는 성과 균등 공정성(Performance Equitable Fairness), 즉 최종 레시피가 평균적으로 잘 작동하는 것을 넘어 모든 이웃에게 똑같이 잘 작동하도록 만드는 것입니다.

이를 위해 그들은 **분산 정규화(Variance Regularization)**라는 개념을 도입합니다. "분산"을 이웃들의 결과가 서로 얼마나 다른지를 나타내는 척도라고 생각하면 됩니다. 논문은 이 레시피 북을 수정하기 위한 두 가지 주요 방법을 제시합니다.

1. "점수 분산" 접근 방식 (FairLoss)

이웃들이 마스터 레시피를 시도해 본 후 점수를 매긴다고 상상해 보세요.

문제: 만약 매운 음식을 좋아하는 이웃은 10점 만점에 2점을 주고, 베이킹을 하는 이웃은 9점을 준다면, 평균은 괜찮은 5.5점이 됩니다. 하지만 매운 음식을 좋아하는 이웃들은 불만족스럽습니다.
해결책: FairLoss 방식은 그룹의 목표에 "패널티"를 추가합니다. 만약 점수들이 너무 퍼져 있다면(높은 분산), 그룹에게 이렇게 말합니다. "이봐요, 점수가 낮은 쪽을 높이기 위해 레시피를 조정해야 합니다. 설령 높은 점수를 받은 쪽의 점수가 약간 떨어지더라도 말이죠." 이는 레시피가 모두를 만족시킬 수 있는 중간 지점을 찾도록 강제합니다.

2. "방향 분산" 접근 방식 (FairGrad) — 새로운 주인공

이것이 이 논문의 핵심 혁신입니다. 단순히 최종 점수만 보는 것이 아니라, 이웃들이 레시피를 어떤 방향으로 밀어붙이려 하는지를 봅니다.

비유: 이웃들이 무거운 수레(모델)를 움직이기 위해 커다란 밧줄을 모두 함께 잡아당기고 있다고 상상해 보세요.
- "베이커"들은 힘차게 북쪽으로 당깁니다.
- "매운 맛 요리사"들은 힘차게 동쪽으로 당깁니다.
- "평균적인" 레시피는 그냥 북동쪽으로 당기는데, 이는 누구에게도 수레를 충분히 움직이게 하지 못할 수도 있습니다.
해결책: FairGrad 방식은 이웃들이 얼마나 서로 다른 방향으로 당기는지를 관찰합니다. 만약 "북쪽"으로 당기는 사람들이 더 강해서 "동쪽"으로 당기는 사람들이 무시되고 있다면, FairGrad는 밧줄에 "긴장감(tension)"을 추가합니다. 이는 "우리는 우리의 당기는 방향을 더 밀접하게 일치시켜야 한다"라고 말하는 것과 같습니다. 즉, 방향이 너무 흩어져 있으면 그룹에 패널티를 줍니다. 이웃들이 레시피를 어떻게 바꿀지에 대해 더 많이 합의하도록 강제함으로써, 최종 결과는 소수 집단에게도 훨씬 더 공정하게 만들어집니다.

어떻게 테스트했나

연구진은 네 가지 유명한 데이터셋(MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet)을 사용하여 이 아이디어들을 "디지털 주방"에서 테스트했습니다. 그들은 다양한 수준의 혼돈을 시뮬레이션했습니다:

낮은 혼돈: 모든 이웃이 비슷한 식재료를 가지고 있음 (동질적 데이터).
높은 혼 chaos: 모든 이웃이 완전히 다른 식재료를 가지고 있음 (이질적 데이터).

그들은 이 새로운 방법들(FairGrad 및 FairGrad*)을 FedAvg(표준적인 "모두 평균 내기" 방식) 및 q-FFL(이전의 공정성 시도)과 같은 기존 방법들과 비교했습니다.

연구 결과

모두가 비슷할 때: 모든 이웃의 식료품 저장고가 비슷하다면, 화려한 신기술들이 큰 차이를 만들지 않습니다. 표준적인 "평균" 방식이 잘 작동합니다. 새로운 방법들이 망가뜨리지는 않지만, 추가적인 작업이 크게 필요하지도 않습니다.
모두가 다를 때 (진정한 테스트): 여기서 마법이 일어났습니다.
- 표준 방식(FedAvg)은 평균적으로는 좋지만 큰 격차를 만들어냈습니다: 어떤 이웃은 좋아하고, 어떤 이웃은 싫어했습니다.
- FairGrad 방식은 이러한 격차를 크게 줄였습니다. 그들은 "최악의 경우"에 해당하는 이웃을 훨씬 더 행복하게 만들면서도, 다른 이들의 경험을 망치지 않았습니다.
- 많은 테스트에서 FairGrad는 단순히 공정성을 고치는 데 그치지 않고, 실제로 전체적인 레시피를 더 좋게 만들기도 했습니다. 이는 마치 다수에게만 맛있는 것이 아니라 모두에게 맛있는 요리를 만드는 비밀 재료를 찾아낸 것과 같았습니다.

두 가지 버전의 FairGrad

논문은 이 "FairGrad" 방식을 실행하는 두 가지 방법을 제공합니다:

FairGrad (근사치 방식): "게으르지만" 효율적인 버전입니다. 이웃들은 현재 무엇을 할지 결정하기 위해 지난번에 그룹이 했던 행동을 참고합니다. 이는 시간과 통신(이웃 간의 대화)을 절약합니다.
FairGrad* (정확한 방식): "정밀한" 버전입니다. 이웃들은 지금 당장 그룹이 무엇을 하고 있는지 봅니다. 더 많은 대화가 필요하고 속도가 느리지만, 더 정확합니다. 논문은 과업이 매우 어렵거나 이웃들이 매우 다를 때 이 방식을 사용할 것을 권장합니다.

결론

이 논문은 "방향(direction)"의 차이가 얼마나 큰지를 살피는 "분산 패널티"를 추가함으로써, 더 공정한 머신러닝 모델을 구축할 수 있다고 결론짓습니다. 목소리가 큰 사람들(데이터 소유자가 많은 사람들)이 결과를 좌지우지하게 두는 대신, 모델이 더 조용한 목소리에 귀를 기울이도록 유도하여, 이웃이 테이블에 얼마나 많은 데이터를 가져왔는지와 상관없이 최종 결과가 모두에게 잘 작동하도록 보장합니다.

기술 요약: FAIRVAR - 분산 정규화를 통한 공정 연합 학습 (Fair Federated Learning via Variance Regularization)

문제 정의

연합 학습(Federated Learning, FL)은 원시 데이터를 공유하지 않고 여러 클라이언트에 걸쳐 협력적인 모델 학습을 가능하게 합니다. 그러나 데이터 이질성(heterogeneity)은 종종 클라이언트 간의 상당한 성능 격차를 초러하며, 이는 글로벌 모델이 평균적으로는 우수한 성능을 보이지만 특정 클라이언트(고유한 데이터 분포를 가졌거나 샘플 크기가 작은 경우)에게는 낮은 성능을 보이는 결과를 초래합니다. 이러한 **성능 균등 공정성(performance equitable fairness)**의 결여—즉, 높은 전체 모델 성능을 유지하면서도 클라이언트 간의 성능 격차를 최소화하는 것—는 중요한 과제입니다. 손실-분산 정규화(loss-variance regularization) 및 $q$ -공정 연합 학습( $q$ -FFL)과 같은 기존 방식들은 이질성 하에서의 동작에 대한 견고한 이론적 토대가 부족한 경우가 많으며, 어떤 방법이 실제 환경에서 가장 효과적인지는 여전히 불분명합니다.

방법론

본 논문은 **그래디언트-분산 정규화(gradient-variance regularization)**에 기반한 성능 균등 공정성을 위한 새로운 접근 방식을 제안합니다. 저자들은 여러 기존 방법들을 분석 및 비교하고, 두 가지 주요 목적 함수로부터 유도된 새로운 알고리즘들을 도입합니다:

손실-분산 정규화 (Loss-Variance Regularization): 선행 연구를 바탕으로, 이 방식은 클라이언트 손실의 분산을 억제합니다:
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
여기서 $F(x)$ 는 글로벌 평균 손실이며, $f_i(x)$ 는 클라이언트 $i$ 의 로컬 손실입니다.
그래디언트-분산 정규화 (Gradient-Variance Regularization, 제안 방식): 저자들은 공정성을 증진하기 위해 클라이언트 그래디언트의 분산을 최소화하는 새로운 목적 함수를 도입합니다:
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
여기서 $\nabla F(x)$ 는 클라이언트 간의 평균 그래디언트입니다.

이러한 비분리형(non-separable) 목적 함수를 연합 환경에서 해결하기 위해, 저자들은 네 가지 알고리즘을 제안합니다:

FairLoss & FairLoss*: 손실-분산 목적 함수( $L_\lambda$ )를 최소화하기 위한 근사 및 정확 버전입니다.
FairGrad & FairGrad*: 그래디언트-분산 목적 함수( $J_\gamma$ $J_{γ}$ )를 최소화하기 위한 근사 및 정확 버전입니다.
- 근사 버전 (FairLoss, FairGrad): 통신 오버헤드를 줄이기 위해 이전 반복(iteration)의 정보(예: 이전 평균 손실 또는 그래디언트)를 사용합니다.
- 정확 버전 (FairLoss*, FairGrad*): 더 정확한 업데이트를 위해 현재 반복의 정보를 사용하지만, 통신 비용이 증가합니다.

이들은 FedAvg, Agnostic Federated Learning (AFL), $q$ -FFL, AAggFF를 포함한 베이스라인들과 비교됩니다.

이론적 분석

본 논문은 동질적(homogeneous) 데이터 설정과 이질적(heterogeneous) 데이터 설정 모두에서 이러한 방법들 사이의 관계를 규명하는 이론적 특성을 제공합니다:

동질적 데이터: 모든 클라이언트가 동일한 데이터 분포를 공유하는 설정에서는, 정규화 항(손실 또는 그래디언트 분산)이 평균적으로 정지점(stationary points)의 위치를 변경하지 않습니다. 따라서 최적해는 표준 FedAvg 목적 함수와 일치하며, 정규화는 이론적으로 불필요합니다.
이질적 데이터: 이질성 하에서는 정규화 항이 최적화 지형(optimization landscape)을 능동적으로 변화시킵니다. 저자들은 만약 비정규화된 목적 함수의 최적점에서 클라이언트 손실이나 그래디언트가 정렬되지 않는다면, 정규화된 목적 함수( $L_\lambda$ , $J_\gamma$ , $H_q$ )가 서로 다른 정지점을 갖게 됨을 증명합니다. 구체적으로, 분산 정규화는 해를 평균 손실 최적점에서 클라이언트 간의 균형 잡힌 성능을 가진 지점으로 이동시킬 수 있습니다.
연결성: 분석을 통해 $q$ -FFL ( $q=1$ 인 경우)이 특정 조건 하에서 손실-분산 정규화 목적 함수에 의해 상한(upper-bounded)될 수 있음을 입증하여, 이전에 별개였던 이러한 접근 방식들을 연결합니다.

실험 결과

제안된 방법들은 디리클레 농축 파라미터( $\alpha \in \{0.05, 0.1, 0.5\}$ )로 제어되는 다양한 수준의 데이터 이질성을 가진 네 가지 이미지 분류 데이터셋(MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet)에서 평가되었습니다.

성능: 제안된 분산 정규화 방법들, 특히 FairGrad와 **FairGrad***는 이질적인 설정에서 베이스라인들을 지속적으로 능가했습니다.
공정성: 이 방법들은 FedAvg, AFL, $q$ $q$ -FFL에 비해 클라이언트 정확도의 분산(공정성 지표)을 유의미하게 감소시켰습니다.
- CIFAR-100에서, FairGrad*는 높은 이질성( $\alpha=0.05, 0.1$ )에서 최고의 정확도와 가장 낮은 분산을 달성했습니다.
- CIFAR-10에서, FairGrad는 모든 이질성 수준에서 가장 낮은 분산을 달성했으며, $\alpha \in \{0.1, 0.5\}$ 에서 가장 높은 정확도를 기록했습니다.
- Tiny ImageNet에서, FairGrad*는 $\alpha \in \{0.05, 0.5\}$ 에서 가장 낮은 분산을 달성했습니다.
동질적 설정: 데이터가 상대적으로 동질적인 MNIST의 경우, 모든 방법이 유사한 성능을 보였으며, 정규화 변형 모델들은 공정성 측면에서 미미한 개선만을 제공했습니다. 이는 정규화가 동질적 설정에서는 덜 중요하다는 이론적 예측과 일치합니다.

의의 및 주장

본 논문은 FairGrad와 **FairGrad***가 연합 학습의 공정성을 개선하기 위한 원칙적이고 효과적인 접근법임을 주장합니다. 주요 기여는 다음과 같습니다:

독창성: 이전에 이 맥락에서 탐구되지 않았던 성능 균등 공정성을 위해 그래디언트-분산 정규화를 도입했습니다.
이론적 명확성: 기존의 공정성 방법들( $q$ -FFL 및 손실-분산 정규화) 사이의 관계를 설명하고, 분산 정규화가 이질성 하에서 어떻게 최적화 동작을 변화시키는지 보여주는 이론적 프레임워크를 제공했습니다.
실증적 검증: 그래디언트 분산을 줄이는 것이 전체 모델 정확도를 희생하지 않으면서 클라이언트 간의 보다 균등한 성능을 이끌어내며, 종종 최첨단 공정성 인식 베이스라인들을 능가함을 입증했습니다.

저자들은 분산 기반 정규화가 동질적 설정에서는 이론적으로 중복되지만, 실제 세계의 FL 배포에서 전형적인 이질적 시나리오에서 공정성을 달기 위한 핵심 메커니즘이라고 결론짓습니다. 본 연구는 그래디언트 정렬 정규화(gradient alignment regularizer)가 클라이언트 성능의 균형을 맞추는 강력한 방법임을 강조합니다.