Detecting Atypical Clients in Federated Learning via Representation-Level Divergence

기술 요약: 표현 수준 발산을 통한 연동 학습의 비정상 클라이언트 탐지

문제 제기

연동 학습 (Federated Learning, FL) 은 원시 데이터를 공유하지 않고 분산된 클라이언트 간에 협력적 모델 훈련을 가능하게 하여, 프라이버시 및 보안 제약을 해결합니다. 그러나 FL 은 데이터 이질성 (비 i.i.d. 분포) 으로 인해 상당한 도전에 직면하며, 이는 종종 불안정한 수렴과 저하된 전역 성능을 초래합니다. 건전한 통계적 이질성을 넘어, 실제 배포 환경에서는 분포 변화, 센서 드리프트, 또는 비정상 입력으로 인해 클라이언트 업데이트가 이탈하는 위험이 존재합니다.

이러한 이탈을 탐지하기 위한 기존 접근법은 주로 모델 파라미터나 그래디언트를 비교하는 데 의존합니다. 저자들은 이러한 방법들이 각 클라이언트가 신경망 (NN) 의 내부 기능적 행동과 결정 경계에 미치는 영향에 대한 통찰력을 제한적으로 제공한다고 주장합니다. 비 i.i.d. 데이터로 인한 예상 가능한 변동성과, 집계 과정의 안정성이나 신뢰성을 훼손할 수 있는 잠재적 유해 이탈을 구분할 수 있는 메커니즘이 필요합니다.

방법론

본 논문은 클라이언트의 로컬 모델과 전역 모델 간의 기능적 발산을 정량화하기 위한 경량 기하학적 지표를 제안합니다. 파라미터를 분석하는 대신, 이 접근법은 활성화에 의해 유도된 입력 공간의 분할에 초점을 맞춥니다.

1. 활성화 패턴 및 입력 공간 분할:

   • ReLU 기반 순방향 신경망 (FF) 의 경우, 저자들은 각 층 $l$에 대해 이진 활성화 패턴 $a_l(x; \theta)$를 정의합니다.
   • 이러한 패턴은 입력 공간을 조각별 아핀 (piecewise-affine) 영역으로 분할합니다. 동일한 활성화 패턴을 공유하는 샘플은 동일한 영역에 속합니다.
   • 저자들은 이러한 패턴을 평가하기 위해 고정된 공유 프로브 세트 $P$(데이터의 i.i.d. 부분집합) 를 활용합니다.

2. 활성화 친화도 지표:

   • 주어진 층 $l$에 대해, 두 프로브 샘플 $x_i$와 $x_j$ 간의 활성화 친화도 $K^\theta_l(i, j)$는 그들의 활성화 패턴 간의 해밍 거리를 기반으로 계산됩니다.
   • 이 지표는 샘플이 횡단하는 초평면 (hyperplane) 의 수 측면에서 샘플 간의 '거리'를 정량화합니다. 높은 친화도는 샘플이 동일하거나 인접한 영역에 있음을 나타내고, 낮은 친화도는 여러 초평면으로 분리됨을 나타냅니다.
   • 이는 모델이 입력을 어떻게 그룹화하는지를 포착하는 친화도 행렬 $K^\theta_l$을 생성합니다.

3. 계층적 기하학적 발산:

   • 클라이언트 모델 ($\theta_c$) 과 전역 모델 ($\theta_g$) 을 비교하기 위해, 저자들은 그들의 친화도 행렬 간의 차이에 대한 푸로베니우스 노름을 계산합니다: $d_l(\theta, \theta') = \|K^\theta_l - K^{\theta'}_l\|_F$.
   • NN 의 구조를 고려하기 위해 계층적 발산 ($D_{hier}$) 이 정의됩니다. 초기 층은 거친 분할을 정의하고 깊은 층은 이를 정제하므로, 초기 층의 불일치는 더 큰 가중치를 받습니다.
   • 공식은 다음과 같습니다:
     $$D_{hier}(\theta, \theta') = d_1(\theta, \theta') + \sum_{l=2}^{L} \left( \prod_{r=1}^{l-1} \lambda_r \right) d_l(\theta, \theta')$$
     여기서 $\lambda_l = \exp(-\beta d_l)$은 초기 층에서 이미 상당한 차이가 존재할 경우 깊은 층에 대한 감쇠 인자로 작용합니다.

4. 이상 탐지:

   • FL 환경에서, 발산 $D_c^{(t)}$는 라운드 $t$의 각 클라이언트 $c$에 대해 계산됩니다.
   • 비정상 클라이언트를 식별하기 위해, 모든 클라이언트 간의 발산 분포의 중앙값과 중앙값 절대 편차 (MAD) 를 사용하여 강건한 이상치 점수 (z-score) 가 계산됩니다.

주요 기여

• 기하학적 관점: 파라미터 값이 아닌 NN 활성화 패턴에 의해 유도된 기하학적 구조에 기반하여 FL 클라이언트 행동을 분석하는 새로운 관점을 제시합니다.
• 경량 지표: 로컬 훈련이 입력 공간의 조직을 어떻게 변경하는지를 측정함으로써 기능적 발산을 정량화하는 지표를 제안하며, 파라미터 수준 비교를 넘어선 차이를 포착합니다.
• 해석 가능한 신호: 이 지표가 데이터 이질성 모니터링과 비정상 클라이언트 기여도 식별을 위한 해석 가능한 신호를 제공함을 입증합니다.

실험 결과

저자들은 Dirichlet 분할을 사용하여 비 i.i.d. 데이터를 시뮬레이션한 Stochastic Gradient Descent (SGD) 를 적용하여 Fashion-MNIST 의 MLP 와 CIFAR-10 의 ResNet-18 에 대해 두 가지 시나리오에서 지표를 평가했습니다.

1. 지표 검증 (이질성 분석):

   • 실험은 Dirichlet 파라미터 $\alpha$를 i.i.d.에 가까운 $\alpha=10$에서 매우 이질적인 $\alpha=0.1$까지 변화시켰습니다.
   • 결과: i.i.d.에 가까운 설정 ($\alpha=10$) 에서 클라이언트 발산은 빠르게 안정화되었습니다. 매우 이질적인 설정 ($\alpha=0.1$) 에서 지표는 발산의 체계적인 증가를 포착하고 전역 모델에서 지속적으로 이탈하는 클라이언트를 식별했으며, 이는 서로 다른 데이터 분포가 서로 다른 기하학적 조직을 유도한다는 직관과 일치했습니다.

2. 비정상 클라이언트 식별:

   • 한 클라이언트의 데이터셋에 교란 (가우시안 노이즈, 회전, 흐림) 을 적용하고 나머지는 표준으로 유지하여 '이동된 (shifted)' 클라이언트를 시뮬레이션했습니다.
   • 결과: 이동된 클라이언트는 모든 라운드에 걸쳐 일반 클라이언트에 비해 현저히 높은 기하학적 발산과 강건한 z-score 를 지속적으로 나타냈습니다. 일반 클라이언트가 안정적인 발산 값으로 수렴하는 동안, 이동된 클라이언트는 지속적인 이탈을 유지하여 입력 공간의 근본적으로 다른 기하학적 조직을 나타냈습니다. 이는 두 가지 아키텍처와 데이터셋 모두에서 유효했습니다.

의의 및 주장

본 논문은 NN 에 의해 유도된 기하학적 구조를 모니터링하는 것이 FL 에서 클라이언트 기여도를 평가하기 위한 의미 있고 해석 가능한 신호를 제공한다고 주장합니다. 제안된 지표는 안정적인 이질적 클라이언트와 기능적 변화를 유발하는 클라이언트를 효과적으로 구분합니다.

저자들은 이 작업을 위험 인식 집계 전략을 위한 도구로 위치시킵니다. 파라미터적 이탈이 아닌 기능적 이탈을 하는 클라이언트를 식별함으로써, 시스템은 기능적 행동에 기반하여 업데이트에 가중치를 부여하거나 필터링할 수 있습니다. 논문은 이 접근법이 더 정보에 입각한 집계를 위한 문을 연다고 결론지으며, 향후 작업으로 이 신호를 훈련 루프에 직접 통합하고 대규모 또는 적대적 환경에 적용하는 것이 필요하다고 지적합니다. 이 작업은 기존 암호학적 프라이버시 및 비잔틴 견고성 방법과 보완적으로 제시되며, 형식적 암호학적 보장이 아닌 기하학적 모니터링 신호를 제공합니다.