Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

기술적 요약: 부분 모델 공유가 연방 컨포멀 예측의 비잔틴 복원력을 향상시킴

문제 제기
연방 학습 (FL) 은 원시 데이터를 공유하지 않고 탈중앙화된 장치 간에 협력적 모델 훈련을 가능하게 하지만, 여전히 비잔틴 적대자에게 취약합니다. 이러한 악성 클라이언트는 손상된 기울기나 오해의 소지가 있는 정보를 제출하여 학습 과정을 조작함으로써 글로벌 모델을 저하시킬 수 있습니다. 연방 컨포멀 예측 (FCP) 은 통계적 커버리지 보장을 갖춘 분포 무관 불확실성 정량을 제공하지만, 표준 FCP 는 FL 의 취약점을 그대로 물려받습니다. Rob-FCP 와 같은 기존 견고한 접근법은 비준수 점수를 기반으로 악성 클라이언트를 탐지함으로써 보정 단계를 강화하는 데 주로 초점을 맞추고 있습니다. 그러나 이러한 방법들은 이미 학습된 모델을 손상시켜 컨포멀 구간으로 오류를 전파할 수 있는 연방 훈련 단계에서의 중독 (poisoning) 문제를 해결하지 못합니다. 더 나아가, 견고한 보정 방법들은 종종 추가적인 통신 오버헤드를 초래합니다.

방법론
저자들은 부분 공유 온라인 연방 학습 (PSO-Fed) 과 견고한 컨포멀 보정을 통합한 비잔틴 복원력 FCP 프레임워크를 제안합니다. 이 방법은 두 가지 명확한 단계로 운영됩니다:

1. 훈련 단계 (부분 모델 공유):
   전체 모델 매개변수 벡터를 교환하는 대신, 클라이언트와 서버는 각 반복에서 모델 좌표의 부분 집합만 교환합니다. $S_{k,n}$으로 정의된 대각 선택 행렬에 의해 정의되는 이 메커니즘은 본질적으로 공격 표면을 제한합니다. 적대자가 집계된 모델에 영향을 미칠 수 있는 매개변수의 비율을 제한함으로써, 부분 공유는 중독된 업데이트의 영향을 완화하면서 동시에 통신 비용을 줄입니다. 이전 연구의 이론적 분석에 따르면, PSO-Fed 는 비잔틴 클라이언트가 노이즈를 주입하더라도 수렴을 유지합니다.

2. 보정 단계 (히스토그램 기반 탐지):
   비준수 점수의 비잔틴 조작에 대응하기 위해, 정상 클라이언트는 로컬 점수를 히스토그램 기반 특성화 벡터로 압축합니다. 이러한 벡터는 $H$개의 빈 (bin) 을Across 점수의 경험적 확률 분포를 나타냅니다. 그런 다음 서버는 이러한 벡터 간의 쌍별 $\ell_2$ 거리를 계산하여 각 클라이언트에 악성도 점수($m_k$) 를 할당합니다. 이는 $K_b - 1$개의 가장 가까운 이웃까지의 평균 거리로 정의됩니다. 악성도 점수가 가장 낮은 클라이언트는 정상으로 식별되어 컨포멀 분위수를 추정하는 데 유지되는 반면, 이상치 (비잔틴 클라이언트) 는 제외됩니다.

주요 기여

• 이중 단계 복원력: 보정에만 초점을 맞춘 이전 연구들과 달리, 이 접근법은 연방 훈련과 컨포멀 보정 단계를 모두 보호합니다. 훈련 시간 중독을 완화하기 위해 부분 공유를 활용하고, 보정 시간 공격을 필터링하기 위해 히스토그램 기반 벡터 분석을 활용합니다.
• 통신 효율성: 이 방법은 훈련 중 모델 매개변수의 일부만 전송하고 보정 중 압축된 히스토그램 벡터를 전송함으로써 통신 오버헤드를 줄이며, 원시 점수나 전체 통계의 전송을 피합니다.
• 견고한 분위수 추정: 거리 기반 악성도 점수를 기반으로 비잔틴 기여자를 필터링함으로써, 서버는 정상 데이터만을 사용하여 컨포멀 분위수를 추정하여 유효한 예측 구간을 보장합니다.

실험 결과
저자들은 세 가지 비잔틴 공격 시나리오인 효율성 공격(비정상적으로 작은 점수 보고), 커버리지 공격(인위적으로 큰 점수 보고), 그리고 무작위 공격 하에서 제안된 방법을 표준 FCP 및 Rob-FCP 와 비교 평가했습니다.

• 탐지 효과성: 악성도 점수는 모든 공격 유형에 걸쳐 비잔틴 클라이언트와 정상 클라이언트를 명확하게 구분하여 신뢰할 수 있는 배제를 가능하게 했습니다.
• 커버리지 및 구간 너비: 다양한 공격 시나리오 하에서 제안된 방법은 표준 FCP(과도하게 팽창된 커버리지와 넓은 구간으로 고통받음) 및 Rob-FCP 에 비해 명목상 90% 목표에 더 가까운 커버리지를 달성했습니다.
• 성능 향상: 제안된 접근법은 Rob-FCP 보다 1.8 배, 표준 FCP 보다 2.2 배 더 좁은 예측 구간을 생성했습니다. 이러한 개선은 부분 공유를 통한 훈련 중 모델 중독의 완화 및 보정 중 견고한 분위수 추정에 기인합니다.

의의 및 주장
이 논문은 연방 불확실성 정량화에 대한 견고하고 통신 효율적인 접근법을 확립했다고 주장합니다. 통신 효율적인 부분 매개변수 교환과 견고한 컨포멀 보정을 결합함으로써, 이 방법은 전체 FCP 파이프라인에 걸쳐 비잔틴 공격에 대한 복원력을 달성합니다. 저자들은 그들의 접근 방식이 상당한 비율의 클라이언트 (예: 20%) 가 비잔틴일지라도 기존 방법보다 훨씬 더 좁은 경계를 가진 유효하고 신뢰할 수 있는 예측 구간을 산출한다고 주장합니다. 그들은 PSO-Fed 를 견고한 보정 프레임워크에 통합하는 것이 신뢰할 수 있는 FL 을 위한 유망한 방향을 제시한다고 결론지었으나, 부분 공유가 복원력과 커버리지에 미치는 구체적인 효과를 정량화하는 이론적 보장을 확립하는 것은 향후 연구 방향이라고 지적했습니다.