Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data

기술 요약: EdgeFD – 비동일 분포 (Non-IID) 데이터에 대한 효율적인 클라이언트 측 필터링을 위한 페더레이션 증류

문제 제기

페더레이션 증류 (Federated Distillation, FD) 는 전체 모델 파라미터 대신 공유 프록시 데이터셋에서 모델 출력 (소프트 로그) 을 교환함으로써 통신 비용을 줄이고 프라이버시를 강화하여 기존 페더레이션 학습 (Federated Learning, FL) 의 유망한 대안을 제공합니다. 그러나 기존 특징 기반 FD 방법들은 특히 비동일 분포 (Non-Independent and Identically Distributed, Non-IID) 데이터 조건 하에서 리소스가 제한된 엣지 장치에 배포될 때 상당한 장애물에 직면합니다.

현재 최첨단 접근 방식인 Selective-FD 와 같은 방법들은 프록시 데이터를 필터링하기 위해 복잡한 통계적 밀도 비율 추정기 (예: KuLSIF-DRE) 에 의존합니다. 이러한 방법들은 클라이언트가 계산 집약적인 행렬 연산을 사용하여 인-분포 (ID) 프록시 데이터와 아웃-오브-분포 (OOD) 프록시 데이터를 식별해야 하며, 종종 합성 보조 데이터가 필요합니다. 이는 엣지 장치의 확장성을 제한하는 높은 계산 및 메모리 오버헤드를 초래합니다. 또한, 모호한 지식에 대한 서버 측 필터링은 추가적인 지연 시간을 유발합니다. 과중한 통계적 추정기나 서버 측 개입 없이 클라이언트 측에서 프록시 데이터를 효과적으로 필터링할 수 있는 경량이고 강력한 FD 방법을 개발하는 것이 과제입니다.

방법론: EdgeFD 및 KMeans-DRE

저자들은 맞춤형 ML 모델을 가진 이종 엣지 장치에서 작동하도록 설계된 리소스 효율적인 페더레이션 증류 프레임워크인 EdgeFD를 제안합니다. 핵심 혁신은 **KMeans 기반 밀도 비율 추정기 (KMeans-DRE)**에 의해 구동되는 2 단계 클라이언트 측 필터링 전략입니다.

1. 워크플로우 개요:

• 초기화: 클라이언트들은 사설 데이터에서 로컬 KMeans 모델을 훈련하여 로컬 데이터 분포를 나타내는 중심점 (centroid) 위치를 계산합니다. 또한, 사설 데이터의 작은 부분집합 (예: 10~20%) 을 서버와 공유하여 프록시 데이터셋을 생성하며, 서버는 이를 집계하여 모든 클라이언트에 글로벌 프록시 데이터셋을 재배포합니다.
• 훈련 라운드:
  • 서버는 글로벌 프록시 데이터셋에서 무작위 인덱스를 선택하여 클라이언트에게 브로드캐스트합니다.
  • 클라이언트 측 필터링: 각 클라이언트는 로컬 모델을 사용하여 선택된 프록시 샘플에 대한 예측을 계산합니다. 핵심적으로, 클라이언트는 KMeans-DRE 필터를 적용합니다:
    • 각 프록시 샘플과 클라이언트의 사설 데이터에서 유도된 가장 가까운 중심점 사이의 유클리드 거리를 계산합니다.
    • 미리 정의된 임계값 ($T_{ID}$) 보다 거리가 짧은 샘플은 **인-분포 (ID)**로 분류됩니다.
    • 임계값을 초과하는 샘플은 **아웃-오브-분포 (OOD)**로 분류되어 폐기됩니다.
  • ID 샘플에 해당하는 예측만 서버에 업로드됩니다.
  • 서버는 이러한 필터링된 예측들을 집계하여 앙상블 교사 모델을 생성한 후, 클라이언트들이 지식 증류를 통해 로컬 모델을 업데이트하는 데 사용합니다.

2. 기술적 차이점:
복잡한 커널 밀도 추정과 보조 데이터에 의존하는 통계적 DRE 와 달리, EdgeFD 는 중심점 위치를 통해 데이터 분포를 포착합니다. 이는 합성 보조 데이터의 필요성을 제거하고 필터링 과정을 단순한 거리 계산으로 축소하여 계산 복잡성을 크게 낮춥니다.

주요 기여

1. 리소스 효율적인 KMeans-DRE: 본 논문은 계산 집약적인 통계적 방법을 KMeans 클러스터링으로 대체하는 새로운 밀도 비율 추정기를 소개합니다. 이 접근 방식은 (샘플 크기에 대한 KuLSIF-DRE 의 경우) 지수적 시간 복잡도를 선형으로 줄여 엣지 장치에 적합하게 만듭니다.
2. 서버 오버헤드 없는 클라이언트 측 필터링: EdgeFD 는 모호한 지식에 대한 서버 측 필터링의 필요성을 제거합니다. 로컬에서 ID 및 OOD 프록시 데이터를 효과적으로 구분함으로써 부정적인 지식 전달을 방지하고 통신 지연 시간을 줄입니다.
3. Non-IID 데이터에 대한 강건성: 이 방법은 클라이언트가 이종 데이터 분포와 맞춤형 모델 아키텍처를 보유하는 강하고 약한 Non-IID 시나리오를 처리하도록 설계되었으며, 이는 실제 세계의 엣지 배포에서 일반적인 제약 조건입니다.
4. 최소한의 프록시 데이터 요구 사항: 이 프레임워크는 클라이언트 사설 데이터의 작은 부분 (20%) 만을 프록시 데이터로 사용하여 효과적인 지식 증류를 입증하여 데이터 공유와 관련된 프라이버시 위험을 줄입니다.

실험 결과

저자들은 Strong Non-IID, Weak Non-IID, IID 시나리오에 걸쳐 MNIST, FashionMNIST, CIFAR-10 의 세 가지 벤치마크 데이터셋에서 EdgeFD 를 평가했으며, FedMD, FedED, Selective-FD 및 데이터 프리 접근 방식을 포함한 여섯 가지 최첨단 방법과 비교했습니다.

• 정확도 성능: EdgeFD 는 특히 까다로운 Non-IID 설정에서 기존 방법들을 일관되게 능가했습니다.
  • Strong Non-IID: MNIST 에서 98.92%, FashionMNIST 에서 88.55%, CIFAR-10 에서 **82.57%**를 달성하여 이전 최선 (Selective-FD) 을 유의미한 차이로 상회했습니다 (예: MNIST 에서 +4.24%).
  • Weak Non-IID: MNIST 에서 98.88%, FashionMNIST 에서 88.74%, CIFAR-10 에서 **84.88%**를 달성했습니다.
  • IID: 경쟁력 있는 성능을 유지하며 MNIST 에서 99.08%, FashionMNIST 에서 89.90%, CIFAR-10 에서 **86.37%**를 달성했습니다.
• 계산 효율성: 시간 및 공간 복잡도에 대한 비교 분석 결과, KMeans-DRE 는 학습 및 추정 단계 모두에서 선형 성장을 보이는 반면, KuLSIF-DRE 는 시간 복잡도에서 지수적 성장과 더 높은 메모리 소비를 나타냈습니다.
• 임계값 민감도: 실험은 더 높은 임계값이 OOD 포함을 증가시켜 정확도를 저하시키지만, 최적화된 임계값을 사용하면 복잡한 데이터셋인 CIFAR-10 에서 특징 추출 (ResNet-18) 을 사용할 때에도 방법이 강건하게 유지됨을 나타냈습니다.

중요성 및 주장

본 논문은 EdgeFD 가 엣지 컴퓨팅을 위한 페더레이션 증류의 중요한 확장성 병목 현상을 해결한다고 주장합니다. 과중한 통계적 추정기를 경량 KMeans 기반 접근 방식으로 대체함으로써, 이 방법은 처리 능력과 대역폭이 제한된 장치에서 협력 학습의 배포를 가능하게 합니다.

저자들은 EdgeFD 가 다음과 같은 방식으로 중앙 집중식 AI 와 분산 애플리케이션 간의 격차를 해소한다고 강조합니다:

• 서버에 사전 훈련된 교사 모델이 필요하지 않은 상태에서 강한 데이터 이질성 하에서 고정밀 모델 훈련을 가능하게 합니다.
• 계산 오버헤드를 리소스가 제한된 엣지 장치에 적합한 수준으로 줄입니다.
• 의료 컨소시엄, 로봇 함대, 운전자 모니터링 시스템과 같이 이종 모델과 엄격한 대역폭 제한이 관련된 시나리오에 대한 실용적인 솔루션을 제공합니다.

이 연구는 EdgeFD 가 페더레이션 증류의 실제 적용 가능성을 크게 향상시켜, 이종 엣지 환경에서 프라이버시를 보호하는 협력 학습을 위한 확장 가능한 경로를 제공한다고 결론지었습니다.