Forensic-Oriented Intrusion Detection Using Synthetic Network Traffic Data and Explainable Artificial Intelligence

기술 요약: 합성 네트워크 트래픽 데이터와 설명 가능한 인공지능를 이용한 포렌식 지향적 침입 탐지

문제 정의
디지털 포렌식 침입 조사 과정에서 머신러닝(ML) 파이프라인의 광범위한 도입을 가로막는 두 가지 구조적 장벽은 데이터 가용성과 투명성이다. 첫째, 실제 네트워크 캡처 데이터는 데이터 보호 규정(예: GDPR)이나 원본 증거의 처리를 금지하는 증거 관리 연속성(chain-of-custody) 요구사항에 따라 학습에 사용할 수 없는 민감한 사용자 식별 정보가 포함될 수 있다. 둘째, 고성능 ML 모델(예: 딥러닝, 앙상블 방법)은 법정에서 방어 가능한 보고에 필요한 인스턴스 수준의 근거가 부족한 "블랙박스"로 작동하는 경우가 많다. 기존 연구들은 이러한 문제들을 독립적으로 다루고 있으나, 합성 데이터 생성, 침입 탐지, 그리고 설명 가능성을 단일 파이프라인 내에 통합하면서 확립된 포렌식 표준(ISO/IEC 27037, 27041, 27042 및 NIST SP 800-86)을 준수하는 프레임워크는 선행된 사례가 없다.

방법론
저자들은 원본 디지털 증거와 파생된 분석 아티팩트 간의 엄격한 분리를 구현하는 포렌식 지향적 프레임워크를 제안한다. 방법론은 다음의 6단계 과정을 따른다:

1. 증거 처리: 원본 데이터셋(CICIDS2017, UNSW-NB15, Kitsune)은 SHA-256 무결성 해시를 가진 불변의 읽기 전용 아티팩트로 취급된다. 모든 처리는 "클린 카피(clean copies)" 또는 합성 파생물에서 수행된다.
2. 합성 데이터 생성: SDV(Synthetic Data Vault) 프레임워크의 CTGAN(Conditional Generative Adversarial Networks)을 사용하는 매개변수화된 파이프라인을 통해 합성 네트워크 트래픽을 생성한다. 이 접근 방식은 사후 오버샘플링 아티팩트 없이 클래스 불균형 문제를 해결하며, 원본 증거를 노출하지 않고도 재현 가능한 실험을 가능하게 한다.
3. 분류: 침입 탐지를 위해 XGBoost 이진 분류기가 채택되었다. XGBoost는 테이블형 데이터에 대한 높은 성능과 SHAP(SHapley Additive exPlanations) TreeExplizer와의 호환성(근사치가 아닌 정확한 인스턴스 수준의 특성 기여도를 제공함) 때문에 선택되었다.
4. 설명 가능성: 본 프레임워크는 SHAP을 통합하여 글로벌 요약(특성 중요도 순위)과 로컬 워터폴 플롯(개별 예측의 분해)을 모두 생성한다. 이는 통계적 예측을 포렌식 보고에 적합한 관측 가능한 네트워크 동작(예: 흐름 지속 시간, 패킷 속도)으로 매핑한다.
5. 평가 프로토콜: 본 연구는 원본 증거를 학습에 사용할 수 없는 법적 제약 시나리오를 시뮬레이션하기 위해 TSTR(Train-on-Synthetic, Test-on-Real) 프로토콜을 활용한다. 세 가지 시나리오를 비교한다: Real-to-Real (R→R), Synthetic-to-Real (S→R), Mixed-to-Real (M→R).
6. 검증: 통계적 충실도는 원본 데이터와의 구별 가능성(개인정보 보호)을 유지하면서 운영 유용성을 확보하기 위해 Kolmogorov–Smirnov(KS) 검정을 사용하여 평가된다.

주요 기여

• 포렌식 증거-아티팩트 분리 파이프라인: ISO/IEC 27037, 27041, 27042 및 NIST SP 800-86의 통제를 받는 워크플로우 내에 합성 데이터, ML 기반 탐지, 설명 가능성을 최초로 통합하였다. 이는 원본 증거를 수정하지 않은 상태로 유지하면서 합성 또는 제어된 복사본으로부터 분석 아티팩트를 도출해야 한다는 요구사항을 실행한다.
• 경험적 TSTR 검증: 합성 데이터로만 학습된 모델이 실제 트래픽에서 높은 탐지 성능을 달erm할 수 있음을 입증하였다. CICIDS2017의 경우, S→R 시나리오는 R→R 베이스라인(0.97)의 교차 검증 편차 범위 내인 0.96의 F1-macro를 달성하였다.
• 포렌식 해석 계층: 본 연구는 SHAP 기여도를 Brute Force, Port Scan, Denial-of-Service (DoS) 공격에 대한 특정 포렌식 지표에 매핑한다. 이는 합성 학습이 전문가 증언에 필요한 "공격 지문(attack fingerprints)"을 보존함을 확인시켜 준다.
• 데이터 혼합에 대한 방법론적 통찰: 클래스 분포에 대한 엄격한 제어 없이 실제 데이터와 합성 데이터를 혼합하는 것(M→R)이 클래스 편향으로 인해 성능 저하(F1-macro 0.87)를 초래함을 식별하였으며, 이는 데이터 증강 시 매개변수 제어의 필요성을 강조한다.
• 운영 경계 조건: 교차 데이터셋 검증 결과, 합성 전용 학습의 효과는 특성 공간의 차원수에 크게 의존함을 밝혀냈다. 이 접근 방식은 고차원 데이터(예: 78개 특성을 가진 CICIDS2017)에서는 효과적이지만, 저차원 데이터셋(예: 7개 특성을 가진 Kitsune)에서는 크게 저하되며, 이를 통해 약 30개의 수치적 흐름 수준 특성이라는 실질적인 경계를 설정하였다.

결과

• 성능: CICIDS2017에서 S→R 모델은 R→R(0.97) 및 M→R(0.87)과 비교하여 0.96의 F1-macro를 달성하였다. XGBoost는 R→R 시나리오에서 Random Forest(0.95)와 SVM(0.92)보다 우수한 성능을 보였다.
• 통계적 충실도: KS 검정은 합성 데이터가 원본 데이터와 통계적으로 구별됨(CICIDS2017의 경우 평균 |KS| = 0.38)을 확인하였으며, 이는 이진 분류에 필요한 분포적 특성을 유지하면서도 개인정보 보호 요구사항을 충족함을 의미한다.
• 설명 가능성 일관성: Brute Force, Port Scan, DoS 공격에 대한 SHAP 기여도는 실제 인스턴스와 합성 인스턴스 간에 일관되게 나타났으며, 이는 합성 데이터가 포렌식 분석에 필요한 행동 패턴을 보존함을 입증한다.
• 차원 영향: UNSW-NB15(45개 특성)에서 S→R 성능은 F1-macro 0.52로 떨어졌다. Kitsune(7개 특성)에서는 0.24로 급락하였다. 그러나 이러한 저차원 케이스에서는 M→R 시나리오가 성능을 베이스라인 수준(각각 0.98 및 0.96)으로 회복시켰다.

의의
본 논문의 주요 의의는 단순히 탐지 정확도에 있는 것이 아니라, 방어 가능하고, 재현 가능하며, 감사 가능한 워크플로우를 구축하는 데 있다. 원본 증거와 분석 아티팩트를 엄격히 분리하고 설명 가능한 모델을 활용함으로써, 본 프레임워크는 역사적으로 ML의 법적 허용성을 저해해 온 "투명성 장벽"을 해결한다. 본 연구는 개인정보 보호 또는 증거 관리 연속성 제약으로 인해 원본 증로를 사용할 수 없는 학습 시나리오에서 합성 데이터가 기능적인 대체재 역할을 할 수 있음을 보여준다. 단, 이는 특성 공간이 충분히 풍부하고 생성 과정이 엄격하게 매개변수화되어 있을 때를 전제로 한다. 저자들은 본 프레임워크가 ML 출력을 독립적인 악의적 의도의 증거가 아닌, 전문가의 판단을 지원하는 분석적 지표로 위치시킴으로써 통계적 귀속의 인식론적 한계와 일치하도록 설계되었음을 강조한다.