Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation

기술 요약: 다중 소스 사이버 보안 로그: ATT&CK 레이블이 지정된 데이터셋 및 SLM 평가

문제 정의
현대의 다단계 사이버 공격은 시스템, 네트워크, 브라우저 로그를 동시에 가로지릅니다. 이러한 공격을 탐지하려면 전체 공격 체인을 재구성하기 위해 세 가지 소스 모두에서 발생하는 이벤트를 상관 분석해야 합니다. 머신러닝(ML) 방법론은 이러한 교차 소스 패턴을 학습할 수 있는 경로를 제공하지만, 이를 위해서는 레이블이 지정된 다중 소스 데이터가 필요하며 현재 공공 영역에는 이러한 데이터가 존재하지 않습니다. 기존 데이터셋은 상당한 한계를 가지고 있습니다: 네트워크 전용 데이터셋(예: CICIDS, UNSW-NB15)은 호스트 및 브라우저 가시성이 부족하고, 호스트 중심 데이터셋(예: LMDG, CICAPT-IIoT)은 브라우저 텔레메트리를 누락하고 있으며, 가장 유사한 선행 연구인 ATLAS는 세 가지 소스를 모두 포함하지만 세밀한 MITRE ATT&CK 기법(technique) 레이블이 없어 이벤트를 단순히 악성 또는 정상으로만 분류합니다. 결과적으로 연구자들은 세 가지 소스 모두를 기법 수준에서 추론하는 모델을 훈련하거나 평가할 수 없습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 새로운 데이터셋을 구축하고, 다음과 같은 방법론을 통해 소형 언어 모델(SLM)의 학습 가능성을 평가했습니다:

1. 데이터셋 구축:

   • 범위: 데이터셋은 13개월(2025년 1월 ~ 2026년 2월) 동안 기록된 약 230만 개의 이벤트로 구성된 870개의 세션(70개의 공격 시뮬레이션 및 800개의 정상 사용자 세션)을 포함합니다.
   • 소스: Windows 엔드포인트(물리 및 가상)에서 세션당 20분 간격으로 시스템, 네트워크, 브라우저 로그를 동시에 캡처했습니다.
   • 공격 시뮬레이션: 합성 트래픽 생성기가 아닌 실제 도구(예: Revenge-RAT, BD2 .NET Injector, C2를 위한 Playit.gg)를 사용하여 공격을 생성했습니다. 시나리오는 초기 접근(Initial Access), 실행(Execution), 지속성(Persistence), 권한 상승(Privilege Escalation), 방어 회피(Defense Evasion), 자격 증명 접근(Credential Access), 탐색(Discovery), 측면 이동(Lateral Movement), 수집(Collection), 유출(Exfiltration), 명령 및 제어(Command and Control), 임팩트(Impact)를 포함한 12가지 ATT&CK 전술(tactics)과 53가지 기법(techniques)을 다룹니다.
   • 정상 데이터: 모델의 오탐(false positive)에 대한 견고성을 보장하기 위해 일상적인 사용자 활동(웹 브라우징, 생산성 도구, 소프트웨어 개발, 시스템 관리, 엔터테인먼트)을 캡처한 800개의 세션을 포함했습니다.
   • 레이블링: 악성 이벤트에는 특정 ATT&CK 기법 ID가 태깅되었습니다. 데이터는 SLM의 입력 단위 역할을 하는 타임스탬프가 찍힌 7개의 이벤트 시퀀스인 "청크(chunks)"로 구조화되었습니다.

2. 모델 평가:

   • 모델: 세 가지 지시어 튜닝된(instruction-tuned) SLM을 선정했습니다: Qwen2.5-1.5B, Llama-3.2-3B, Phi-4-Mini (3.8B 파라미터).
   • 미세 조정(Fine-Tuning): 모든 모델은 랭크(rank) 16, 스케일링 팩터 32의 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정되었습니다.
   • 태스크: 모델은 두 가지 태스크에 대해 평가되었습니다:
     1. 청크 분류(Chunk Classification): 청크가 "정상"인지 "의심스러운지" 결정합니다.
     2. ATT&CK 기법 식별(ATT&CK Technique Identification): 의심스러운 이벤트에 대해 특정 기법 ID와 추론 근거를 생성합니다.
   • 지표: 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-스코어(macro 및 weighted), 완전 일치 정확도(exact-match accuracy), 평균 부분 일치(average partial match), 단어 수준 F1(word-level F1)을 포함한 10가지 지표를 사용했습니다.

주요 기여

1. 새로운 다중 소스 데이터셋: 본 논문은 실제 공격 도구로부터 유도된 개별 항목별 ATT&CK 기법 레이블과 함께 시스템, 네트워크, 브라우저 로그를 결합한 데이터셋을 공개합니다. 이는 12가지 전술과 53가지 기법을 다룹니다.
2. SLM 벤치마킹: 본 연구는 다중 소스 보안 데이터에 대해 베이스 모델과 LoRA 미세 조정 형태 모두에서 세 가지 SLM에 대한 통제된 평가를 제공합니다.
3. 학습 가능성의 실증적 증거: 저자들은 미세 조정이 모든 지표에서 모델 성능을 크게 향상시켰음을 보여줌으로써, 해당 데이터셋이 학습 가능한 신호를 포함하고 있음을 입증했습니다.

결과

• 성능 향상: 미세 조정은 세 모델 모두에서 10가지 지표 전반에 걸쳐 일관된 개선을 가져왔습니다.
  • 청크 분류: 베이스 모델의 정확도는 약 7~8%에 머물렀습니다. 미세 조정 후, 정확도는 89.9%에서 97.0% 사이로 상승했습니다.
  • 과잉 경보 수정: 베이스 모델은 거의 모든 정상 트래픽을 의심스러운 것으로 레이블링하는 심각한 과잉 경보 현상을 보였습니다(정상 세션을 올바르게 식별한 비율이 0.1% ~ 0.7%에 불과함). 미세 조정은 이를 해결하여, 정상 세션에 대한 재현율이 89.6%~98.0%로 개선되었습니다.
  • 모델 변동성: Phi-4-Mini (3.8B)가 청크 분류에서 97.0%의 정확도를 달성하고 의심스러운 세션의 97.0%를 식별하여 가장 우수한 성능을 보였습니다. Llama-3.2-3B는 희귀 공격을 식별하는 데 어려움을 겪으며 의심스러운 세션의 39.5%만을 식별했습니다.
• 기법 식별: 이 태스크는 여전히 도전적이었습니다. 베이스 모델은 0%의 완전 일치 정확도를 기록했습니다. 미세 조정된 모델은 개선되었으며, Phi-4-Mini는 41.6%의 완전 일치 정확도에 도달했습니다. 그러나 높은 부분 일치 점수(0.857–0.931)와 단어 수준 F1 점수(0.819–0.930)는 모델이 정확한 출력 문자열을 재현하는 데 실패하더라도 대부분의 기저 추론을 포착했음을 나타냅니다.

의의 및 주장
본 논문은 통제된 시뮬레이션이 SLM 학습에 적합한 고품질의 다중 소스 로그 데이터셋을 생성할 수 있다고 주장합니다. 주요 의의는 다음을 입증하는 데 있습니다:

1. 데이터 부족 문제 해결: 새로운 데이터셋은 세밀한 ATT&CK 레이블링을 갖춘 공공 다중 소스 데이터의 공백을 메웁니다.
2. SLM의 분류 작업 적합성: 베이스 SLM은 오탐으로 인해 운영상 사용이 불가능하지만, 미세 조정된 SLM은 초기 분류(triage) 단계에서 보안 운영 센터(SOC) 분석가를 지원할 수 있는 충분한 신뢰성을 확보합니다.
3. 추론 능력: 높은 부분 일치 점수는 미세 조정된 SLM이 정확한 기법 식별이 아직 완벽하지 않더라도 관련 기법과 추론 근거를 제안함으로써 인간 분석가를 도울 수 있음을 시사합니다.

저자들은 테스트된 모델의 샘ка 크기가 제한적임을 언급하며, 결과가 확정된 순위보다는 경향성을 나타낸다는 점에서 결론에 대해 겸허한 태도를 유지합니다. 그들은 성능의 비약적 향상은 실재하지만, 특정 모델의 우월성을 입증하기 위해서는 실제 운영 로그에서의 추가 검증과 반복적인 실험이 필요하다고 인정했습니다.