Machine Unlearning for the XGBoost Model with Network Intrusion Datasets

기술 요약: 네트워크 침입 데이터셋을 활용한 XGBoost 모델의 머신 언러닝(Machine Unlearning)

문제 정의
머신 언러닝(Machine Unlearning, MU)은 전체 재학습의 계산 비용 없이 훈련된 모델에서 특정 데이터 포인트를 제거하는 핵심 기술로 부상하였으며, 이는 GDPR의 "잊힐 권리"와 같은 개인정보 보호 규정을 준수하는 데 필수적입니다. 그러나 기존의 머신 언러닝 연구는 주로 딥러닝과 이미지 데이터에 집중되어 있어, 네트워크 침입 탐지(Network Intrusion Detection, NID) 영역에는 상당한 공백이 존재합니다. NID 시스템은 표 형식(tabular) 데이터와 XGBoost와 같이 높은 성능을 보이는 전통적인 트리 기반 모델에 크게 의존합니다. 이러한 모델들은 효과적이지만, 확립된 언러닝 메커니즘이 부족합니다. 또한, NID 데이터셋은 종종 오라벨링(mislabeling)과 같은 품질 문제를 겪으며, 모델의 신뢰성을 유지하기 위해 특정 샘플을 제거해야 할 필요가 있습니다. 데이터를 삭제할 때마다 모델을 처음부터 다시 훈련시키는 것은 계산적으로 비효요하며, 이에 따라 XGBoost 및 표 형식의 NID 데이터에 특화된 MU 접근 방식이 필요합니다.

방법론: XGBoost-Forget
이러한 격차를 해소하기 위해, 저자들은 SISA(Sharded, Isolated, Sliced, Aggregated) 프레임워크를 변형한 언러닝 접근 방식인 XGBoost-Forget을 제안합니다. 방법론은 다음과 같이 작동합니다:

1. 데이터 파티셔닝(Data Partitioning): 훈련 데이터셋을 여러 개의 독립적인 샤드(shard)로 나눕니다.
2. 슬라이싱 및 체크포인팅(Slicing and Checkpointing): 각 샤드 내에서 데이터를 더 작은 슬라이스(slice)로 다시 나눕니다. 각 샤드에 대해 독립적인 XGBoost 모델을 훈련시킵니다. 훈련은 슬라이스 단위로 점진적으로 진행되며, 각 슬라이스가 처리될 때마다 모델의 상태(파라미터)를 체크포인트로 저장합니다.
3. 추론(Inference): 모든 샤드 모델의 출력을 결합하여 최종 예측을 생성합니다.
4. 언러닝 프로세스(Unlearning Process): 특정 데이터를 잊어야 한다는 요청이 들어오면, 시스템은 대상 샘플을 포함하고 있는 샤드(들)를 식별합니다. 제거할 데이터가 포함된 해당 샤드 내의 슬라이스들만 재훈련됩니다. 대상 데이터를 포함하지 않는 슬료스는 캐시에서 재사용됩니다. 영향을 받은 샤드 모델은 남은 데이터와 후속 슬라이스들을 사용하여 다시 구축되는 반면, 다른 샤드들은 건드리지 않은 상태로 유지됩니다.

주요 기여

• 최초의 XGBoost 언러닝 접근법: 본 연구는 표 형식 데이터 분석의 지배적인 알고리즘인 XGBoost 모델을 위해 특별히 설계된 최초의 알려진 언러닝 방법을 소개합니다.
• 표 형식 NID로의 적용: 이 연구는 기술을 실제 표 형식 데이터셋(IoT-23 및 GeNIS)에 적용함으로써 머신 언러닝 연구와 네트워크 침입 탐지 사이의 간극을 메웁니다.
• 포괄적인 평가: 제안된 방식은 모델 유용성(정확도, 정밀도, 재현율, F1-스코어), 언러닝 효율성(실행 시간), 그리고 망각 품질(공격 성공률 및 젠슨-샤논 발산)을 아우르는 일련의 지표를 통해 평가됩니다.

실험 결과
연구팀은 두 가지 데이터셋인 IoT-23(실제 IoT 악성/정상 트래픽)과 GeNIS(단계적 공격 시퀀스)에 대해 XGBoost-Forget을 평가했습니다. 결과는 전체 재학습(XGB-R) 및 신경망(NN)으로 구현된 SISA 프레임워크와의 비교를 통해 검증되었습니다.

• 예측 성능: XGBoost-Forget(XGB-FU)은 원래 모델 및 재학습된 베이스라인과 거의 동일한 예측 성능을 유지했습니다. 두 데이터셋 모두에서 XGB-FU는 원래 모델과 유사한 수준의 정확도, 정밀도, 재현율, F1-스코어 값을 달성하였으며, 성능 저하는 미미했습니다.
• 효율성 (실행 시간): XGBoost-Forget은 전체 재학습에 비해 현저히 빠른 언러닝 시간을 보여주었습니다. 예를 들어, GeNIS 데이터셋에서 언러닝은 약 4초가 소요되는 전체 재학습에 비해 약 0.5~0.7초 만에 완료되었습니다. 또한 모든 구성에서 SISA-NN 베이스라인보다 실행 시간 면에서 우수한 성능을 보였습니다.
• 망각 품질:
  • 공격 성공률 (Attack Success Rate, ASR): "오염된" 데이터(백도어 트리거)의 제거를 테스트하기 위해 ASR이 사용되었습니다. 감염된 샤드를 단독으로 평가했을 때, 언러닝 후 ASR은 급격히 감소하여(예: GeNIS에서 약 100%에서 ~1.5%로) 재학습된 베이스라인 수준에 근접했습니다. 이는 오염된 영향력이 효과적으로 제거되었음을 나타냅니다. 모든 샤드가 결합되었을 때, 비감염 샤드들에 의한 희석 효과 덕분에 ASR은 낮은 수준을 유지했습니다.
  • 젠슨-샤논 발산 (Jensen–Shannon Divergence, JSD): JSD 지표는 원본 vs 언러닝된 모델, 그리고 재학습된 모델 vs 언러닝된 모델 비교 모두에서 0에 가까운 값을 나타냈습니다. 저자들은 이 지표가 예상대로 작동하지 않았다고 언급했는데, 이는 제거 비율이 매우 작아(0.01%) JSD가 의미 있는 분포 변화를 포착할 만큼 충분한 변화를 유도하지 못했기 때문인 것으로 보입니다.

의의 및 주장
본 논문은 XGBoost-Forget이 예측 정확도를 희생하지 않으면서 표 형식 데이터의 전통적인 트리 기반 모델에 머신 언러닝을 효과적으로 적용할 수 있음을 성공적으로 입증했다고 주장합니다. 주요 의의는 네트워크 침입 탐지라는 특정 맥락에서 정확하면서도(모델 유용성 유지) 효율적인(재학습보다 훨씬 빠름) 솔루션을 제공한다는 점에 있습니다.

저자들은 XGBoost-Forget이 크고 복잡한 표 형식 데이터셋에 적합하지만, JSD와 같은 평가 지표의 동작은 데이터셋의 특성과 제거된 데이터의 크기에 따라 달라질 수 있다고 겸허하게 결론지었습니다. 그들은 특히 작은 제거 비율을 다루는 시나리오에서 현재의 결과가 JSD가 미세한 변화를 포착하는 데 적합하지 않을 수 있음을 시사함에 따라, 언러닝 평가 지표를 정교화하기 위한 추가적인 조사가 필요하다고 제안합니다. 본 연구는 비-딥러닝, 표 형식 도메인을 위한 향후 머신 언러닝 연구의 토대를 마련합니다.