Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

Gota Morishita 의 논문 "Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases"에 대한 상세한 기술적 요약입니다.

1. 문제 정의

연방 학습 (Federated Learning, FL) 은 중앙 집중식 원시 데이터 없이 분산된 클라이언트 대상 집합에서 글로벌 모델을 학습하는 것을 목표로 합니다. 표준 알고리즘 (예: FedAvg) 은 각 통신 라운드에 참여하는 클라이언트들이 대상 집합의 대표 표본이라고 암묵적으로 가정합니다. 그러나 실제로는 **선택 편향 (selection bias)**으로 인해 이러한 가정이 종종 실패하며, 본 논문은 이것이 두 가지 구별되는 단계에서 발생한다고 지적합니다.

1. 등록 편향 (Enrollment Bias): 기기 제약, 소프트웨어 요구 사항, 사용자 동의 등 어떤 클라이언트가 학습을 위해 접근 가능한지를 결정하는 자격 규칙에 의해 결정됩니다. 이는 *등록된 풀 (enrolled pool)*과 대상 집합 (target population) 사이의 불일치를 초래합니다.
2. 참여 편향 (Participation Bias): 배터리, 네트워크, 현지 시간 등 동적 요인에 의해 결정되며, 등록된 클라이언트 중 특정 통신 라운드에 실제로 참여하는 클라이언트를 규정합니다.

핵심 문제: 기존 문헌은 주로 라운드 수준의 참여 편향을 다루고 있습니다. 그러나 본 논문은 참여 편향이 완벽하게 보정되더라도, 등록 편향이 학습 목표 (등록된 하위 집합 최적화) 와 대상 집합 목표 간의 지속적인 불일치를 유발한다고 주장합니다. 등록된 풀이 대표성을 갖추지 못하면, 모델은 의도된 집합에 대해 비최적의 해로 수렴하게 됩니다.

2. 방법론

본 논문은 FL 을 2 단계 선택 모델로 공식화하고, **역확률 가중치 (Inverse Probability Weighting, IPW)**에 기반한 편향 제거 프레임워크를 제안합니다.

A. 2 단계 선택 프레임워크

저자들은 클라이언트 포함을 인과적 과정으로 모델링합니다.

• 1 단계 (등록): 클라이언트 $i$는 사전 등록 공변량 (예: 기기 유형, 지역) 인 $Z_i$를 조건으로 확률 $\pi^{enroll}_i = P(E_i=1 | Z_i)$로 등록됩니다 ($E_i=1$).
• 2 단계 (참여): 등록을 조건으로, 클라이언트 $i$는 라운드 전 공변량 (예: 배터리, 네트워크) 인 $X_{i,r}$를 조건으로 확률 $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$로 라운드 $r$에 참여합니다 ($A_{i,r}=1$).

전체 포함 확률은 다음과 같이 분해됩니다:
$$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$$

B. 제안된 알고리즘: FedIPW

대상 집합의 평균 업데이트를 회복하기 위해 저자들은 FedIPW(Federated Inverse Probability Weighting) 를 제안합니다.

• 메커니즘: 업데이트를 균등하게 평균내는 대신, 서버는 각 클라이언트의 업데이트 $\Delta_{i,r}$를 해당 클라이언트의 포함 확률의 역수로 가중치합니다:
  $$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$$
• 추정: 실제 확률은 알 수 없으므로, FedIPW 는 두 구성 요소를 별도로 추정합니다.
  1. $\hat{\pi}^{enroll}_i$는 사전 등록 공변량과 등록 지표 (집합 수준 데이터 필요) 를 사용하여 추정됩니다.
  2. $\hat{\pi}^{part}_{i,r}$는 등록된 클라이언트 간에 라운드 수준 공변량을 사용하여 추정됩니다.
• 이론적 보장: 무관성 (ignorability) 과 양수성 (positivity) 가정 하에서 FedIPW 는 대상 집합 평균 업데이트에 대한 편향 없는 추정자를 제공합니다.

C. 제한된 정보 확장: 집계 보정 (Aggregate Calibration)

많은 실제 시나리오에서 등록되지 않은 클라이언트에 대한 개인 수준의 공변량을 사용할 수 없어 완전한 등록 IPW 가 불가능합니다.

• 해결책: 저자들은 집계 보정 (Aggregate-Calibration) 확장을 도입합니다.
• 방법: 등록된 표본을 재가중치하여, 사전 등록 공변량 (예: 지역, OS 버전) 의 가중치 분포가 대상 집합의 알려진 **집계 요약 (예: 인구 조사 데이터)**과 일치하도록 합니다.
• 역할: 이는 개인 수준의 데이터가 누락된 경우 등록 편향을 부분적으로 보정하는 역할을 합니다.

3. 주요 기여

1. 2 단계 선택의 공식화: 본 논문은 등록 편향을 참여 편향과 구별하여 순차적 인과 과정으로 공식화합니다. 등록 편향을 무시하면 참여 편향만 보정해서는 해결할 수 없는 구조적 불일치가 발생함을 보여줍니다.
2. FedIPW 알고리즘: 표준 가정 하에서 대상 집합 목표를 회복하는 역확률 가중치 집계 체계의 유도.
3. 편향 바닥 (Bias Floor) 을 포함한 최적화 분석: 저자들은 잔류 가중치 오차(추정 오차 또는 등록 단계 생략과 같은 구조적 오명세로 인해 발생) 가 소멸하지 않는 편향 바닥을 유발함을 알고리즘에 구애받지 않는 분석을 통해 보여줍니다.
   • 오차 한계는 일시적 항, 분산 항, 그리고 $\epsilon_w^2 G^2 / \mu$에 비례하는 편향 바닥으로 분해됩니다. 여기서 $\epsilon_w$는 가중치 오차이고 $G$는 기울기 이질성입니다.
   • 이는 불완전한 선택 보정 (예: 참여만 보정) 이 지속적인 비최적성을 초래함을 증명합니다.
4. 집계 보정: 제한된 정보 환경에서 집합 요약을 사용하여 등록 편향을 부분적으로 완화하는 실용적 방법.

4. 실험 결과

저자들은 진정한 대상 집합 최적값을 정확하게 계산할 수 있는 합성 연방 로지스틱 회귀를 사용하여 이론을 검증했습니다.

• 목표 불일치: 단순한 FedAvg 는 진정한 최적값에 비해 훨씬 높은 대상 집합 손실을 가진 "선택된 클라이언트 해"로 수렴합니다.
• FedIPW 성능: FedIPW 는 등록 편향이 증가함에 따라 "오라클 (이상적)" 성능을 밀접하게 추적하며 대상 집합 목표를 성공적으로 회복합니다.
• 참여 편향만 보정하는 방법의 실패: 라운드 수준 참여만 보정하는 방법은 FedAvg 보다 개선되지만, 등록 편향이 강화됨에 따라 최적값에 도달하지 못하여 편향 바닥의 존재를 확인시켜 줍니다.
• 집계 보정: 개인별 등록되지 않은 데이터가 누락된 설정에서, 집계 보정은 참여 편향만 보정하는 방법의 잔류 오차를 크게 줄이지만, 집합 요약의 노이즈에 민감합니다.

5. 중요성과 함의

• 패러다임 전환: 본 논문은 "누가 학습할 수 있는가 (등록)"가 "누가 라운드에 참여하는가 (참여)"만큼 중요하다고 주장합니다. 등록된 풀이 대표성을 갖추지 못한다면, 라운드 수준 선택에만 초점을 맞춘 기존 FL 편향 제거 노력은 불충분합니다.
• 구조적 오차 vs 통계적 오차: 분석은 더 나은 모델로 줄일 수 있는 통계적 추정 오차와 (등록 단계 생략과 같은) 구조적 오명세로 인해 발생하는 회복 불가능한 편향 바닥을 구분합니다.
• 실무 지침: 이 연구는 실무자에게 다음과 같은 로드맵을 제공합니다.
  1. 등록되지 않은 사용자의 개인 데이터가 사용 가능한 경우, 2 단계 가중치를 적용한 FedIPW를 사용하십시오.
  2. 집계된 집합 데이터만 사용 가능한 경우, 집계 보정을 사용하여 등록 편향을 부분적으로 보정하십시오.
  3. 이질적인 환경에서 집합 정렬 목표를 달성하기 위해서는 참여 편향 보정만으로는 이론적으로 불충분합니다.

요약하자면, 본 논문은 연방 학습에서 대상 집합을 대표하는 모델을 달성하려면 등록과 참여 두 단계 모두에서 선택 편향을 보정해야 함을 입증하며, 이를 달성하기 위한 엄격한 수학적 프레임워크와 실용적 알고리즘을 제시합니다.