From Detection to Response: A Deep Learning and Retrieval-Augmented Generation Framework for Network Intrusion Mitigation

기술 요약: 탐지부터 대응까지

문제 제기
머신러닝 기반 침입 탐지 시스템 (IDS) 은 네트워크 공격을 분류하는 데 높은 정확도를 달성했지만, 보안 분석가들의 중요한 운영적 요구사항인 적절한 대응 방안 결정에는 자주 실패합니다. 현재의 딥러닝 모델은 종종 결정 논리를 설명하지 않고 예측 레이블만 제공하는 "블랙박스"로 작동합니다. 또한, SHAP 및 LIME 과 같은 기존 설명 가능한 AI(XAI) 기법은 영향력 있는 특징을 식별하지만 실행 가능한 완화 지침을 제공하지는 않습니다. 더 나아가, NIST 가이드라인, MITRE ATT&CK 와 같은 권위 있는 사이버 보안 지식 출처는 실시간 사고 발생 시 수동으로 참조하기에는 너무 방대합니다. 본 논문은 고정확도 위협 탐지와 구조화되고 증거 기반이며 실행 가능한 대응 전략 생성 사이의 간극을 해소합니다.

방법론
저자들은 딥러닝 기반 침입 탐지와 검색 증강 생성 (RAG) 파이프라인을 통합하는 통합형 엔드투엔드 프레임워크를 제안합니다. 이 시스템은 다음 다섯 가지 모듈식 단계를 통해 작동합니다:

1. 데이터 수집 및 전처리: 본 프레임워크는 CICIDS2018 과 UNSW-NB15 두 가지 벤치마크 데이터셋을 활용합니다. 데이터셋 간 평가를 가능하게 하기 위해 통합된 66 차원 특징 공간이 구성됩니다. 범주형 특징은 원-핫 인코딩되며, 차원 간격을 메우기 위해 제로 패딩이 적용됩니다. 특징 해석 사전은 기술적 특징 이름을 인간이 읽을 수 있는 설명과 보안 함의로 매핑합니다.
2. 신뢰도 보정 DNN 분류: 단일 다중 클래스 모델 대신, 시스템은 원-비트-레스트 (one-vs-rest) 전략 (Benign-vs-Rest, DoS-vs-Rest, DDoS-vs-Rest) 을 사용하여 세 개의 독립적으로 훈련된 이진 딥 신경망 (DNN) 앙상블을 활용합니다.
   • 아키텍처: 모델은 ReLU 활성화 함수를 사용하는 완전 연결 계층을 활용합니다. CICIDS2018 모델은 세 개의 은닉 계층을 사용하는 반면, UNSW-NB15 모델은 배치 정규화 및 드롭아웃 정규화를 포함하는 네 개의 은닉 계층을 사용합니다.
   • 클래스 불균형 처리: 심각한 클래스 불균형 (예: DoS 트래픽이 UNSW-NB15 의 0.64% 만 차지함) 을 해결하기 위해 시스템은 클래스 가중 이진 교차 엔트로피 손실, 무작위 오버샘플링, 제어된 언더샘플링, 그리고 F1 점수 기반 모델 선택을 활용합니다.
   • 출력: 앙상블은 예측 클래스와 스칼라 신뢰도 점수를 생성하며, 이는 분석가 우선순위 설정을 안내하기 위해 이산형 "SOC 트라이어지 등급 (매우 높음, 높음, 중간, 낮음)"으로 매핑됩니다.
3. 설명 인식 프롬프트 구성: 분류 시, 시스템은 그라디언트 기반 귀속을 통해 가장 영향력 있는 상위 5 개 특징을 추출합니다. 이러한 특징은 해석 사전을 통해 자연어 설명으로 매핑됩니다. 그 후 다음을 포함하는 구조화된 프롬프트가 구성됩니다:
   • 탐지 컨텍스트 (공격 클래스, 신뢰도, 등급).
   • 네트워크 흐름 메타데이터 (IP, 포트, 타임스탬프).
   • 이상 지표 (상위 5 개 특징 및 그 해석).
   • 명시적 인용 요구사항을 가진 시니어 사이버 보안 분석가로 LLM 의 역할을 정의하는 시스템 역할 지시문.
4. 하이브리드 RAG 검색: 프롬프트는 NIST 특수 간행물 및 MITRE ATT&CK 를 포함한 14 개의 권위 있는 문서로 구성된 지식베이스에서 관련 지침을 검색하여 보강됩니다. 검색 파이프라인은 하이브리드 방식을 사용합니다:
   • 어휘 검색: BM25 순위 매기기.
   • 의미 검색: FAISS 및 문장 변환기를 사용한 밀집 벡터 검색.
   • 쿼리 확장: 사이버 보안 전용 동의어 사전이 용어를 확장합니다 (예: "DoS"를 "자원 고갈"로).
   • 재순위 매기기: 크로스-인코더가 상위 후보를 재순위 매기어 프롬프트를 위한 최종 상위 5 개 청크를 선택합니다.
5. LLM 기반 보고서 생성: 로컬에 배포된 Ollama 를 통한 LLaMA 3:8B 모델이 구조화된 사고 대응 보고서를 생성합니다. 보고서는 검색된 인용문에 기반한 근거, 주요 지표, 신뢰도 평가, 위협 평가 및 권장 사항 섹션을 포함합니다.

주요 기여

1. 구조화된 프롬프팅 전략: 일반적인 쿼리가 아닌 구체적인 탐지 증거 (예측 클래스, 신뢰도, 상위 5 개 이상 특징) 에 LLM 추론을 결합하는 새로운 방법.
2. 하이브리드 검색 파이프라인: 권위 있는 출처에서 관련 완화 전략을 추출하기 위해 BM25 키워드 검색, FAISS 기반 밀집 벡터 검색, 그리고 크로스-인코더 재순위 매기기를 결합한 검색 시스템.
3. 엔드투엔드 완화 프레임워크: 공격을 탐지할 뿐만 아니라 구조화되고 인용에 기반한 완화 보고서를 생성하여 탐지와 대응 사이의 간극을 해소하는 시스템.
4. 엄격한 평가: BERTScore, ROUGE, BLEU 지표를 사용하여 RAG 강화 출력과 전문가가 작성한 정답 및 바닐라 LLM 베이스라인을 비교하는 평가 프레임워크.

결과

• 탐지 성능: 앙상블 DNN 은 CICIDS2018 데이터셋에서 99.84% 의 정확도를, UNSW-NB15 데이터셋에서 95.30% 의 정확도를 달성했습니다. 특히, 균형 조정 개입을 적용한 후 불균형이 심한 UNSW-NB15 데이터셋에서 DoS 재현율 (recall) 은 베이스라인 0.30% 에서 97.6% 로 크게 향상되었습니다.
• 검색 성능: 하이브리드 검색 파이프라인은 평균 역순위 (MRR) 0.87 및 평균 지연 시간 1.8 초로 97% 의 성공률을 달성했습니다.
• 보고서 품질: RAG 강화 보고서는 모든 지표를 통해 바닐라 LLM 출력보다 현저히 우수한 성능을 보였습니다. 베이스라인과 비교하여 RAG 시스템은 BERTScore F1 에서 4.4% 향상, ROUGE-1 에서 32.5% 증가, ROUGE-2 에서 126.4% 증가, BLEU 에서 244.1% 증가를 보였습니다. 생성된 보고서는 일관되게 NIST 및 MITRE 출처에 대한 인용을 포함했습니다 (각각 93.3% 및 86.7% 인용률).

의의
본 논문은 해당 프레임워크가 탐지가 실행 가능한 대응과 분리되어 있는 IDS 연구의 지속적인 한계를 성공적으로 해결했다고 주장합니다. 신뢰할 수 있는 사이버 보안 지식에 기반한 RAG 파이프라인과 딥러닝 탐지를 통합함으로써, 이 시스템은 정확할 뿐만 아니라 설명 가능하고, 컨텍스트를 인지하며, 보안 운영 센터 (SOC) 분석가에게 운영상 유용한 완화 보고서를 생성합니다. 저자들은 이 접근 방식이 공격 탐지와 효과적인 대응 사이의 시간을 단축함으로써 장기적인 시스템 중단 위험을 완화한다고 강조합니다. 로컬에 배포된 LLM 의 사용은 민감한 네트워크 트래픽 데이터를 외부 API 로 라우팅하는 것과 관련된 개인정보 보호 및 규제 문제를 해결합니다.