XAI FL-IDS: A Federated Learning and SHAP-Based Explainable Framework for Distributed Intrusion Detection Systems

기술 요약: XAI FL-IDS

문제 제기
본 논문은 사물인터넷 (IoT) 및 산업용 사물인터넷 (IIoT) 환경의 현재 침입 탐지 시스템 (IDS) 에서 발생하는 두 가지 치명적인 한계를 다룹니다. 첫째, 전통적인 IDS 아키텍처는 중앙 집중식 탐지에 의존하여 IoT 노드가 원시 데이터를 중앙 서버로 전송해야 합니다. 이 방식은 상당한 네트워크 오버헤드를 초래하며, 민감한 로컬 정보가 전송 중에 노출됨에 따라 데이터 보장을 보장하지 못합니다. 둘째, 기존 머신러닝 기반 IDS 모델은 "블랙박스"로 작동하여 의사결정 과정을 설명하지 않은 채 공격 유형을 식별합니다. 이러한 해석 가능성의 부재는 관리자가 특정 탐지가 왜 이루어졌는지 이해하는 능력을 저해하여 시스템의 유용성과 신뢰성을 제한합니다.

방법론
저자들은 프라이버시 보장을 위한 연방 학습 (Federated Learning, FL) 과 해석 가능성을 위한 SHapley Additive exPlanations (SHAP) 을 활용한 설명 가능한 AI (Explainable AI, XAI) 를 통합한 새로운 프레임워크인 XAI FL-IDS 를 제안합니다.

• 연방 학습 아키텍처: 이 시스템은 중앙 서버와 10 개의 클라이언트를 사용합니다. 원시 데이터를 공유하는 대신, 각 클라이언트는 자체 비공개 데이터셋 (Edge-IIoTset 데이터셋에서 파생됨) 에서 로컬 모델을 학습하고 서버에는 모델 업데이트 파라미터만 전송합니다.
• 모델 선택 전략: 표준 FL 에는 집계 단계에서 중요한 수정이 도입되었습니다. 모든 클라이언트 업데이트를 평균화하는 방식 (예: FedAvg) 대신, 서버는 이전 라운드에서 계층적 점수 매기기를 기반으로 단일 최상위 성능 모델을 식별하고, 다음 반복을 위해 모든 노드에 이 우수한 모델을 브로드캐스트합니다.
• 로컬 구현: 각 클라이언트는 XGBoost 알고리즘을 활용합니다. 로컬 학습 과정에는 데이터 전처리 (결측값 처리, 범주형 인코딩, 정규화), 적응형 가중치 (scale_pos_weight) 를 통한 클래스 균형 조정, 그리고 지속적인 부스팅이 포함됩니다.
• 해석 가능성 (XAI): SHAP 값은 두 수준에서 계산됩니다:
  1. 로컬 수준: 평가 후 각 클라이언트는 Tree-Explainer 를 사용하여 SHAP 값을 계산하여 로컬 예측을 해석합니다.
  2. 글로벌 수준: 서버는 선택된 최상위 모델을 사용하여 글로벌 테스트 세트에 대한 SHAP 값을 계산합니다.
     이 이중 수준 아키텍처는 로컬 이질성과 글로벌 안정성 모두에 걸친 특징 중요도 변화를 추적할 수 있게 합니다.
• 실행 환경: 이 프레임워크는 Python, Jupyter Notebook 및 분산 실행을 위한 Ray 라이브러리를 사용하여 구현되었으며, GPU 가속 없이 CPU 기반 환경에서 실행됩니다.

주요 기여

1. 프라이버시 보호형 IDS: 이 프레임워크는 원시 네트워크 트래픽 데이터 전송의 필요성을 제거하여 로컬 IoT 노드의 정보 기밀성을 보장하면서도 높은 탐지 성능을 유지합니다.
2. 향상된 해석 가능성: SHAP 를 통합함으로써 시스템은 개별 특징이 침입 탐지 결정에 어떻게 영향을 미치는지에 대한 상세한 통찰력을 제공하여, 단순한 이진 플래깅을 넘어 설명 가능한 결과로 나아갑니다.
3. 최적화된 집계: 제안된 "최상위 모델 선택" 정책은 전통적인 평균화 방식을 대체하여, 가장 효과적인 로컬 모델을 전체 네트워크에 전파함으로써 학습 효율성과 모델 품질을 개선하는 것을 목표로 합니다.
4. 이중 수준 해석 가능성: 이 시스템은 클라이언트 및 서버 수준 모두에서 특징 중요도 역동성을 고유하게 포착하여 모델의 의사결정 논리에 대한 포괄적인 관점을 제공합니다.

결과
시스템은 5 가지 위협 카테고리에 걸쳐 14 가지 공격을 포함하는 Edge-IIoTset 데이터셋을 사용하여 평가되었습니다. 실험 결과는 다음과 같습니다:

• 높은 정확도: 제안된 방법은 99% 이상의 정확도를 달성하여 특정 사례에서는 100% 에 도달했으며, 확립된 기준선 (예: 99.7% 기준선) 을 능가하거나与之 일치했습니다.
• 강건한 지표: 시스템은 정밀도 (Precision), 재현율 (Recall), F1 점수, 로그 손실 (Log-Loss) 지표 전반에 걸쳐 일관되게 우수한 성능을 발휘했습니다. 더 낮은 로그 손실 값은 모델이 올바른 결과에 높은 확률을 부여했음을 나타냅니다.
• 효율성: 최상위 모델 선택 전략은 전통적인 평균화 방식에 비해 클라이언트당 평균 학습 시간을 크게 단축하여, 하위 최적 학습 라운드에 대한 자원 낭비를 방지했습니다.
• SHAP 진화: SHAP 출력 분석은 모델의 의사결정 경계와 신뢰도가 시간이 지남에 따라 개선되었음을 보여주었습니다 (예: 클라이언트 5 의 경우 라운드 1 의 0.5 에서 라운드 9 의 0.85 로 의사결정 경계가 이동). 이는 시스템의 학습 능력을 확인시켜 줍니다.

의의 및 주장
본 논문은 XAI FL-IDS 가 현대 IDS 프레임워크의 프라이버시와 해석 가능성이라는 이중 과제를 효과적으로 해결한다고 주장합니다. 데이터가 로컬에 머무르도록 보장하고 투명한 의사결정 과정을 제공함으로써, 이 프레임워크는 안전하고 신뢰할 수 있으며 분산된 침입 탐지 시스템의 개발을 진전시킵니다. 저자들은 이 작업을 사이버 보안 분야에서 더 신뢰할 수 있는 AI 로 나아가는 한 걸음으로 위치시키며, 향후 버전에서는 IoT 장치의 제한된 자원에 더 잘 부합하도록 경량 모델을 탐구하고 성능을 더욱 최적화하기 위해 다양한 특징 선택 방법을 모색할 수 있다고 언급합니다.