Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

기술 요약: 비정형(Non-IID) 및 불균형 환경에서의 사이버 보안을 위한 연합 학습 비교 연구

문제 정의
머신러닝(ML)은 네트워크 트래픽 분석 및 침입 탐지 분야에서 상당한 잠재력을 입증해 왔다. 그러나 그 효과는 개인정보 보호 규제와 데이터 공유 제한으로 인해 대표성 있고 최신 상태인 데이터셋을 수집하기 어렵다는 점에 의해 종종 제약을 받는다. 연합 학습(Federated Learning, FL)은 민감한 데이터를 로컬에 유지하면서 협력적인 모델 학습을 가능하게 함으로써 해결책을 제시한다. 이러한 약속에도 불구하고, 전형적인 FL 알고리즘인 Federated Averaging(FedAvg)은 비독립적 동일 분포(non-i.i.d.) 및 불균형한 데이터셋 크기를 특징으로 하는 이질적인 환경에서 낮은 수렴 속도와 성능을 보인다. 이러한 조건은 서로 다른 클라이언트(예: 네트워크 노드)가 고유한 공격 패턴과 다양한 트래픽 양을 경험하는 사이버 보안 분야에서 흔히 나타난다. 기존 문헌은 이러한 "병리적(pathological)" 설정 하에서 네트워크 침입 탐지 시스템(NIDS)을 위해 특화된 대안적 FL 알고리즘에 대한 포괄적인 평가가 부족하다.

방법론
본 연구는 분산 서비스 거부(DDoS) 공격에 대한 네트워크 침입 탐지에 적용되는 7가지 FL 알고리즘에 대한 체계적인 비교 평가를 제시한다. 평가는 "병리적" 시나리오로 설명되는 극심한 non-i.i.d. 및 불균형 설정 하에서 수행된다. 이 설정의 세부 사항은 다음과 같다:

• 데이터 분포: 15개의 클라이언트를 활용하며, 각 클라이언트는 정상 트래픽과 정확히 하나의 특정 유형의 DDoS 공격이 포함된 데이터셋을 보유한다.
• 불균형: 클라이언트 간의 데이터 볼륨은 4개 차수(orders of magnitude) 이상의 차이를 보인다. 개별 클라이언트의 데이터셋은 로컬 관점에서는 정상 샘플과 악성 샘플 간에 균형이 잡혀 있으나, 연합 전체로 보면 데이터 크기와 공격 유형의 표현 측면에서 매우 불균형하다.
• 평가 대상 알고리즘: 본 연구는 베이스라인인 FedAvg와 다음 6가지 고급 기법을 비교한다:
  • 범용 목적: FedProx (정규화), SCAFFOLD (제어 변수), FedALA (적응형 로컬 집계).
  • 사이버 보안 특화: DAFL (차이 인지형), FedSBS (탐욕적 클라이언트 선택), FLAD (DDoS에 대한 적응형 접근 방식).
• 실험 설정: 실험에는 15가지의 뚜렷한 DDoS 공격 유형을 다루는 최신 벤치마크 데이터셋(CIC-IDS2017, CIC-IDS2018, CIC-DDoS2019)을 사용한다. 글로벌 모델은 경량화된 제약 조건을 반영하기 위해 CPU 전용 리소스 상에서 Flower 프레임워크를 사용하여 학습된 다층 퍼셉트론(MLP)이다.
• 지표: 성능은 탐지 정확도(F1 스코어), 학습 시간, 통신 오버헤드, 클라이언트 선택 패턴을 기준으로 평가된다. 결과의 신뢰성을 보장하기 위해 서로 다른 랜덤 시드를 사용한 10회의 독립적인 실행을 수행한다.

주요 기여

1. 적응 및 검토: 저자들은 컴퓨터 비전용으로 설계된 알고리즘을 포함하여, NIDS의 DDoS 탐지 요구 사항에 맞게 최첨단 FL 알고리즘을 검토하고 적응시킨다.
2. 다차원적 평가: 단순히 최종 정확도에만 집중하는 연구와 달리, 본 연구는 탐지 성능, 모델 일반화, 학습 시간, 통신 오버헤드에 걸친 포괄적인 비교를 제공한다.
3. 병리적 조건 하의 분석: 각 클라이언트가 고유한 공격 프로필을 관찰하는 극단적인 이질성 환경에서 알고리즘의 동작을 조사하여, 다양한 클라이언트 선택, 집계 및 로컬 학습 전략의 강점과 한계를 밝힌다.
4. 재현성: 재현성을 높이기 위해 평가된 알고리즘과 실험 설정(데이터셋 구성 포함)을 포함한 오픈 소스 구현체를 제공한다.

결과
비교 분석을 통해 다음과 같은 몇 가지 중요한 사실이 도출되었다:

• 정확도 및 일반화: 대부분의 알고리즘은 특히 과소 표현되었거나 특징 분포가 뚜렷한 WebDDoS, LDAP, LOIC 공격에 대해 효과적으로 일반화하는 데 어려움을 겪는다. FedAvg, FedProx, SCAFFOLD, FedSBS는 일반적으로 이러한 특정 공격에 대해 0.8 미만의 F1 스코어를 달s한다. FedALA는 TCP 기반 공격에서 낮은 성능을 보인다. 반면, FLAD는 클라이언트 성능에 따라 학습을 동적으로 조정함으로써 모든 공격 유형에 대해 높은 F1 스코어(평균 0.97)를 달성하며 탁월한 강건성을 입증했다.
• 학습 시간 및 효율성:
  • DAFL은 매 라운드마다 15개 클라이언트 모두가 로컬 학습을 수행해야 하므로 가장 느린 클라이언트에 의해 프로세스가 병목 현상을 일으켜 가장 긴 학습 시간을 소요한다.
  • FLAD는 높은 통신 오버헤드에도 불구하고, 라운드당 더 적은 수의 클라이언트를 적응적으로 선택하고 이미 수렴한 클라이언트는 제외하며 정확도가 낮은 클라이언트에 더 많은 학습 단계를 할당함으로써 총 학습 시간을 크게 단축한다.
  • 표준 방식들(FedAvg, FedProx, SCAFFOLD, FedALA)은 유사한 학습 시간을 보이며, 로컬 작업이 전체 시간의 약 60%를 차지한다.
• 통신 오버헤드:
  • FedAvg, FedProx, FedALA, FedSBS는 베이스라인과 유사하게 낮은 통신 오버헤드를 유지한다.
  • SCAFFOLD, DAFL, FLAD는 더 높은 오버헤드를 유발한다. SCAFFOLD는 제어 변수를 교환하며, DAFL은 모든 클라이언트가 검증을 위해 글로벌 모델을 다운로드해야 하고, FLAD는 정확도 점수와 적응형 학습 파라미터의 전송을 필요로 한다.
• 클라이언트 선택: 정보에 기반한 클라이언트 선택(DAFL, FLAD) 또는 적응형 워크로드 배분을 사용하는 알고리즘이 무작위 선택(FedAvg, FedProx, SCAFFOLD, FedALA)을 사용하는 알고리즘보다 non-i.i.d. 조건에서 최종 모델 정확도 측면에서 우수한 성능을 보인다.

의의 및 주장
본 논문은 매우 이질적이고 불균형한 데이터 분포를 특징으로 하는 사이버 보안 시나리오의 경우, 정보에 기반한 클라이언트 선택 및 적응형 워크로드 배분이 로컬 학습이나 글로벌 집계 자체를 수정하는 것보다 탐지 성능을 향상시키는 데 더 효과적인 메커니즘이라고 주장한다.

저자들은 모든 클라이언트를 동일하게 취급하는 것(고정 확률 선택 또는 균등한 워크로드)이 희귀하거나 까다로운 공격 패턴이 글로벌 모델에 충분히 기여하도록 보장하는 데 실패한다고 주장한다. 대신, FLAD 및 DAFL에서 볼 수 있듯이 현재의 학습 기여도에 따라 클라이언트를 동적으로 우선순위화하는 전략은 연합이 이질적인 정보를 더 효과적으로 활용할 수 있게 한다. 이러한 적응형 접근 방식은 추가적인 통신 및 조정 비용을 발생시키지만, 진화하는 위협을 완화하기 위해 적시 업데이트가 중요한 네트워크 침입 탐지 분야에서는 통신 효율성보다 적응성이 더 유리하다는 것이 본 연구의 결론이다. 본 연구의 결과는 향후 사이버 보안을 위한 FL 솔루션이 선택 및 워크로드 관리를 통해 클라이언트 수준의 이질성을 직접적으로 해결하는 메커니즘을 우선시해야 함을 시사한다.