🤖 machine learning

Fairness-Aware Federated Learning with Trajectory Shapley Value

본 논문은 이질적이고 적대적인 환경에서 수렴 속도, 견고성 및 형평성을 향상시키기 위해 글로벌 모델의 최적화 궤적에 대한 클라이언트의 시간적 영향에 기반하여 클라이언트 기여도를 동적으로 가중치하는 궤적 샤플리 값을 활용하는 공정성 인식 연방 학습 프레임워크인 FedTSV 를 제안한다.

원저자: Daniel Kuznetsov, Ziqi Wang

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel Kuznetsov, Ziqi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사람들이 각기 다른 방에 있으면서 서로 조각을 보여줄 수 없는 상태에서 거대한 퍼즐을 함께 풀려고 노력하는 상황을 상상해 보세요. 이것이 바로 **연동 학습 (Federated Learning)**입니다. 모든 퍼즐 조각을 한 중앙 테이블로 가져오는 대신 (이는 느리고 개인정보 보호 측면에서 위험합니다), 각자는 자신의 방에서 퍼즐의 해당 부분을 작업하고 자신의 조각이 어떻게 맞는지 설명을 보내면 됩니다. 그런 다음 중앙의 '서버'가 이 설명들을 모아 최종 이미지를 완성하려 합니다.

이 작업을 기존에 하던 방식 (즉, FedAvg라고 불리는 방식) 의 문제는 서버가 모든 사람을 정확히 동일하게 대한다는 점입니다. 서버는 퍼즐을 해결하는 천재이든, 당황한 초보자이든, 아니면 고의로 이미지를 망치려 하는 사람이든 관계없이 퍼즐 조각을 붙이는 방식에 대해 모든 사람에게 동등한 투표권을 부여합니다. 이로 인해 최종 이미지는 엉망이고 불안정해집니다.

이 논문은 FedTSV라는 더 똑똑한 새로운 그룹 프로젝트 운영 방식을 소개합니다. 간단한 비유를 들어 작동 방식을 설명하겠습니다.

1. 문제: '고정된 투표'의 결함

기존 시스템에서는 100 명이 있다면, 각자는 정확히 1% 의 투표권을 갖습니다.

장점: 단순합니다.
단점: 만약 한 사람이 퍼즐을 거꾸로 붙이려 시도하는 '악의적인' 클라이언트이거나, 퍼즐을 매우 못 푸는 '노이즈가 있는' 클라이언트라면, 그들의 나쁜 조언도 여전히 1% 로 계산됩니다. 반면 퍼즐을 잘 푸는 마스터라면 추가 점수를 받지 못합니다. 그 결과 최종 이미지는 흔들리고 부정확해집니다.

2. 해결책: '궤적 샤플리 값 (Trajectory Shapley Value, TSV)'

저자들은 실제로 누가 도움을 주고 있는지 측정하는 새로운 방식을 제안합니다. 이를 **궤적 샤플리 값 (Trajectory Shapley Value)**이라고 부릅니다.

서버를 '완벽한 연습 계획 (검증 데이터셋)'을 가진 코치로 생각해 보세요.

코치의 행동: 팀에게 도움을 요청하기 전에, 코치는 완벽 연습 계획을 이용해 혼자서 빠른 연습 세션을 진행합니다. 이를 통해 팀이 퍼즐을 가장 빠르게 풀기 위해 어떤 방향으로 나아가야 하는지 정확히 파악합니다.
팀의 행동: 팀원들은 자신의 제안 (업데이트) 을 보내옵니다.
비교: 코치는 단순히 최종 답변만 보지 않습니다. 팀이 취한 경로를 봅니다. 팀의 제안이 코치의 '완벽한 연습 계획'에 더 가깝게 팀을 이동시켰습니까?
- 팀원 한 사람의 제안이 코치의 계획과 완벽하게 일치하면 높은 점수를 받습니다.
- 제안이 팀을 잘못된 방향으로 밀거나 급격하게 요동치게 하면 낮은 점수를 받습니다.

이것이 바로 '궤적 (Trajectory)' 부분입니다. 목적지뿐만 아니라 매 단계마다 올바른 방향으로 걷고 있는지 여부가 중요합니다.

3. '샤플리 값 (Shapley Value)' 부분: 팀 내 공정성

'샤플리 값'은 게임 이론에서 나온 수학 개념입니다. 무거운 소파를 옮기려는 친구 그룹을 상상해 보세요.

각자가 얼마나 기여했는지 계산할 때, 그들이 있을 때와 없을 때의 작업 난이도 차이를 보면 공정한 점수를 얻을 수 있습니다.
이 논문에서 수학은 "이 특정 사람이 이번 라운드에서 전체 그룹이 목표에 더 가까워지도록 얼마나 도왔는가?"를 계산합니다.

**코치의 경로 (궤적)**와 **공정한 팀 점수 매기기 (샤플리 값)**를 결합함으로써, 시스템은 모든 클라이언트에 대해 동적인 점수를 생성합니다.

4. 결과: FedTSV (똑똑한 접착제)

새로운 시스템인 FedTSV는 이러한 점수를 사용하여 각 사람의 '접착제'를 얼마나 '신뢰'할지 결정합니다.

좋은 플레이어: 팀이 올바른 방향으로 이동하도록 지속적으로 돕는다면, 당신의 '접착제'는 더 강해집니다. 당신은 최종 이미지에 대해 더 많은 발언권을 갖게 됩니다.
나쁜 플레이어: 퍼즐을 망치려 하거나 단순히 혼란스러운 경우, 당신의 점수는 떨어집니다. 시스템은 당신의 접착제를 무시하거나 매우 적은 가중치만 부여합니다.
동적 성격: 투표권이 고정되어 있던 기존 시스템과 달리, 여기서는 당신의 투표권이 방금 전 수행도에 따라 매 라운드마다 변합니다.

논문이 발견한 것

저자들은 두 가지 유명한 이미지 데이터셋 (MNIST 와 CIFAR-10) 에서 이를 테스트하며 다음과 같은 환경을 시뮬레이션했습니다.

좋은 플레이어 (유사한 데이터를 가진 사람들).
다른 플레이어 (매우 다른 데이터를 가진 사람들).
파괴자 (모델을 망치려 시도하는 사람들).

결과:

더 빠른 학습: FedTSV 시스템은 기존 방법들보다 퍼즐을 더 빠르게 학습했습니다.
더 강력한 견고성: 파괴자들이 장난을 치려 해도 FedTSV 는 그들을 무시하고 최종 이미지를 선명하게 유지했습니다.
더 공정한 분배: 시스템은 누가 도움을 주고 누가 해를 끼치는지 정확히 식별하여, '좋은' 플레이어에게는 더 많은 영향력을, '나쁜' 플레이어에게는 거의 영향력을 주지 않았습니다.

요약

간단히 말해, 이 논문은 '일률적인' 투표 시스템을 동적이고 코치 같은 평가 시스템으로 대체합니다. 모든 사람에게 동등하게 투표하도록 요청하는 대신, 서버는 훈련 과정에서 모든 사람이 어떻게 움직이는지 관찰하여 올바른 방향으로 움직이는 이들에게는 보상을 주고, 잘못된 방향으로 움직이는 이들을 침묵시킵니다. 이는 더 빠르고, 정확하며, 공정한 결과로 이어집니다.

기술 요약: 궤도 샤플리 값을 활용한 공정성 인식 연방 학습

문제 제기
연방 학습 (FL) 은 원시 데이터를 공유하지 않고 분산된 클라이언트 간에 협력적 모델 훈련을 가능하게 하여, 재생 에너지, 의료, 자율 시스템과 같은 분야의 프라이버시 및 통신 제약 문제를 해결합니다. 그러나 기존 집계 방식, 특히 연방 평균 (FedAvg) 은 고정된 가중치 (일반적으로 균일하거나 데이터셋 크기에 비례하는) 에 의존합니다. 이러한 정적 가중치는 시간에 따라 변하는 클라이언트 기여도, 데이터 이질성, 그리고 부분적 참여를 고려하지 못합니다. 그 결과, 글로벌 모델은 편향, 불안정성, 그리고 과도한 영향을 미치는 저품질 또는 악의적 (비잔틴) 클라이언트에 대한 취약성을 겪을 수 있습니다.

클라이언트 평가를 위한 기존 방법들은 종종 협력 게임 이론의 샤플리 값 (SV) 을 활용하여 한계 기여도에 기반한 공정한 점수를 부여합니다. 그러나 정확한 SV 계산은 대규모 네트워크에서는 계산적으로 불가능합니다. 몬테카를로 샘플링과 같은 근사 방법은 늦게 참여하거나 드물게 참여하는 클라이언트의 가치를 과소평가할 수 있으며, 경사 기반 방법 (예: 코사인-경사 샤플리 값) 은 큰 크기의 업데이트를 과도하게 강조하고 검증 기반 정보를 결여할 수 있습니다. 따라서 정적 손실 감소뿐만 아니라 최적화 궤도에 대한 클라이언트의 영향력을 기반으로 클라이언트를 평가할 수 있는, 시간적 일관성을 가지며 적대적 행동에 강건한 기여도 지표가 필요합니다.

방법론: 궤도 샤플리 값 (TSV) 및 FedTSV
저자들은 새로운 기여도 지표인 **궤도 샤플리 값 (TSV)**과 적응형 집계 알고리즘인 FedTSV를 제안합니다.

궤도 샤플리 값 (TSV):
- 개념: 정적 손실 감소에만 초점을 맞추는 대신, TSV 는 클라이언트의 연합 업데이트가 글로벌 모델의 최적화 궤도와 어떻게 정렬되는지 평가합니다.
- 참조 업데이트: 각 통신 라운드 $t$ 에서 서버는 현재 글로벌 모델 $\theta_t$ 에서 시작하여 홀드아웃 검증 데이터에 대해 $K$ 단계의 확률적 경사 하강법 (SGD) 을 수행하여 참조 업데이트 ( $\Delta^t_{val}$ ) 를 계산합니다.
- 유틸리티 함수: 참여 클라이언트들의 임의의 연합 $S$ 에 대해, 서버는 그들의 평균 업데이트 ( $\Delta^t_S$ ) 를 계산합니다. 연합 업데이트와 검증 참조 간의 거리를 기반으로 한 경계 있는 라운드별 유틸리티 $v_t(S)$ 가 다음과 같이 정의됩니다:
  $v_t(S) = \left( 1 + \frac{\text{Dist}(\Delta^t_S, \Delta^t_{val})^2}{\sigma_t} \right)^{-1}$
  여기서 $\text{Dist}$ 는 거리 척도 (예: 유클리드 거리) 이고, $\sigma_t$ 는 정상점 근처의 안정성을 보장하기 위한 정규화 인자입니다.
- 점수 매기기: 유틸리티 $v_t(S)$ 는 연합 업데이트가 검증 하강 방향에 기하학적으로 가까워질수록 증가합니다. 샤플리 값은 이 경계 있는 유틸리티에 대한 몬테카를로 샘플링을 사용하여 라운드별로 추정되며, 시간에 따라 누적되어 누적 기여도 점수를 형성합니다.
FedTSV 알고리즘:
- 적응형 가중치: 누적 샤플리 값은 음이 아닌 시간 의존적 집계 가중치 ( $\alpha^t_i$ ) 로 변환됩니다.
- 메커니즘: 양의 누적 기여도를 가진 클라이언트는 더 높은 가중치를 받으며, 음의 기여도를 가진 클라이언트 (악의적이거나 일관된 정렬 부재를 나타냄) 는 0 으로 잘립니다.
- 강건성: 이 메커니즘을 통해 서버는 이질적이고 적대적인 참여에 실시간으로 동적으로 대응할 수 있으며, 클라이언트의 상태에 대한 사전 지식 없이도 악의적 클라이언트의 가중치를 낮출 수 있습니다.
- 복잡도: 이 방법은 라운드당 한 번의 클라이언트 훈련 패스 plus 서버 측 검증 패스만 필요로 하므로 계산적 실현 가능성을 유지합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

TSV 지표: 클라이언트를 최적화 궤도에 대한 영향력을 통해 평가하는 새로운 기여도 지표의 도입으로, 기존 SV 기반 방법의 시간적 일관성 있는 대안을 제공합니다.
FedTSV 알고리즘: TSV 를 활용하여 집계 가중치를 동적으로 조정하는 적응형 가중치 알고리즘의 개발로, 이질적이고 적대적인 환경에서 공정성과 강건성을 향상시킵니다.
실증적 검증: 이미지 분류 벤치마크 (MNIST 및 CIFAR-10) 와 다양한 FL 시나리오에 걸쳐 FedTSV 의 효과를 입증하여, 프라이버시 보호 분산 학습에 대한 그 이점을 강조합니다.

실험 결과
저자들은 100 명의 클라이언트 (70 명 IID, 10 명 non-IID, 20 명 악의적) 를 대상으로 MNIST 및 CIFAR-10 데이터셋에서 FedAvg, 코사인-경사 샤플리 값 (CGSV), 그리고 Leave-One-Out (LOO) 방법과 같은 베이스라인에 대해 FedTSV 를 평가했습니다.

수렴 및 정확도: FedTSV 는 베이스라인에 비해 일관되게 수렴을 가속화하고 더 높은 글로벌 정확도를 달성했습니다. CIFAR-10 에서 FedAvg 는 약 0.65 의 낮은 정확도 수준에서 포화되었으나, FedTSV 는 안정적이고 우수한 성능을 유지했습니다.
강건성: FedTSV 는 라벨 손상 및 통계적 이질성에 대해 더 큰 안정성을 보여주었습니다. FedTSV 의 성능 변동은 다른 방법들보다 훨씬 작았으며, 특히 더 복잡한 CIFAR-10 환경에서 두드러졌습니다.
기여도 평가: 클라이언트 가중치의 시각화는 FedTSV 가 클라이언트 유형을 효과적으로 분리했음을 보여주었습니다: 악의적 클라이언트는 낮은 점수를 받았고, IID 정상 클라이언트는 양의 영역에 집중되었으며, non-IID 정상 클라이언트는 그 사이에 위치했습니다. 반면, FedAvg 는 균일한 가중치를 할당했고, CGSV 와 LOO 는 악의적 클라이언트에 대해 산재된 분포나 과대평가된 가중치를 보여주었습니다.

의의 및 주장
본 논문은 FedTSV 가 공정성 인식 연방 최적화를 위한 원칙적 기초를 제공한다고 주장합니다. 궤도 기반 업데이트 분석과 샤플리 값 원리를 통합함으로써, 이 방법은 효율적이고 강건한 메커니즘을 제공합니다. 저자들은 FedTSV 가 이질적이고 적대적인 클라이언트가 존재하는 상황에서 강건성을 향상시키면서도 계산 효율성을 유지한다고 주장합니다.

논문은 이론적 보장에 대해서는 겸손하게 접근하며, 일반적인 FedAvg 의 수렴 증명이 FedTSV 의 시간 가변적 목적 함수에 직접 적용되지 않는다고 명시하고, 엄격한 수렴 분석은 향후 연구 과제로 남겨두었습니다. 식별된 향후 연구 방향으로는 게임 이론적 관점에서 FedTSV 의 이론적 기초를 조사하는 것, 특히 장기 협력 학습에서의 인센티브 호환성과 공정성에 초점을 맞추는 것을 포함합니다.