Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

기술 요약: 멀티 레이블 ATT&CK 기법 분류를 위한 오픈 소스 LLM 평가

문제 정의

사이버 위협 인텔리전스(CTI) 보고서를 MITRE ATT&CK 기법으로 분류하는 것은 선제적 방어를 위해 매우 중요하지만, 비정형 텍스트의 복잡성, 다단계 공격 패턴, 그리고 211개의 클래스로 구성된 분류 체계로 인해 여전히 노동 집약적인 과정으로 남아 있다. 대규모 언어 모델(LLM)은 문맥 이해 측면에서 유망한 가능성을 보여주었으나, 기존의 평가는 실제 보고서의 멀티 레이블 특성을 반영하지 못하고 단순화된 단일 기법 문장에 의존함으로써 성능 지표가 부풀려지는 한계를 가지고 있다. 결과적으로, 복잡하고 비정형적인 CTI 보고서에 대한 오픈 소스 LLM의 베이스라인 성능은 아직 평가되지 않은 상태이며, 이는 보안 실무자들이 이러한 모델을 위협 수집 파이프라인에 통합할 때 참고할 수 있는 경험적 근거가 부족함을 의미한다.

방법론

이러한 격차를 해소하기 위해 저자들은 데이터셋 구축, 모델 평가, 통계 분석을 아우르는 엄격한 실험 프레임워크를 설계하였다.

1. 데이터셋 구축 (RQ1)
저자들은 The DFIR Report에서 추출한 83개의 복잡한 비정형 CTI 보고서(2020년 4월~2025년 2월)의 "Case Summary" 섹션에서 추출한 2,076개의 문장으로 구성된 그라운드 트루스(ground-truth) 데이터셋을 큐레이션하였다.

• 주석 프로세스: 독립적 레이벨링, 교차 레이벨링, 저합의 사례에 대한 재레이벨링, 분쟁 해결을 포함하는 6단계 주석 전략이 채택되었다.
• 범위: 문장들은 (Enterprise v17.1의 211개 중) 114개의 고유한 ATT&CK 기법에 매핑되었다. 데이터셋은 거짓 양성률(false positive rates)을 평가하기 위해 기법 양성(1,281개 문장)과 음성(795개 문장) 클래스를 모두 포함한다.
• 품질 관리: 프로세스는 평균 상호 주석자 합의도 $\kappa = 0.68$ (실질적 합의)를 달성하였으며, 65개의 기법이 $\kappa \geq 0.7$ 임계값을 초과하였다.
• 특성: 데이터셋은 심각한 클래스 불균형(불균형 비율 = 229.0)과 롱테일 분포를 보이며, 레이블이 지정된 문장의 40.2%가 여러 기법을 포함하고 있다(평균 카디널리티 = 1.58).

2. 모델 평가 (RQ2)
8B에서 236B 파라미터에 이르는 7개의 오픈 소스 LLM(Llama 3.1, Gemma 3, DeepSeek-V2.5, GPT-OSS 변형 모델 포함)을 평가하였다.

• 실험 설계: 다음을 조합한 53개의 추론 구성을 테스트하는 전요인 설계(full factorial design)를 적용하였다:
  • 프롬프트 전략: 제로샷(Zero-Shot) vs. 쓰리샷(Three-Shot, N=3).
  • 추론 방식: 생각의 사슬(Chain-of-Thought, CoT) vs. CoT 미사용.
  • 온도(Temperature): 0.0 vs. 0.5.
• RAG 베이스라인: LLM70 모델이 외부 지식에 기반하도록 ATT&CK 문서의 FAISS 벡터 데이터베이스를 사용하는 검색 증강 생성(RAG) 파이프라인을 구현하여, 이를 표준 추론과 비교하였다.
• 지표: 모든 기법 인스턴스에 대한 운영 커버리지를 반영하기 위해 마이크로 평균 정밀도(Micro-averaged Precision), 재현율(Recall), F1 점수를 주요 지표로 사용하였다.

3. 통계적 분석 (RQ3)
추론 설정(파라미터 크기, 프롬프트 전략, 추론 방식, 온도)과 분류 성능 간의 단조적 관계를 평가하기 위해 스피어먼 순위 상관계수($\rho$)를 적용하였다.

주요 기여

1. 데이터셋: 83개의 비정형 보고서에서 추출한 2,076개 문장을 활용하여 114개 ATT&CK 기법에 매핑한, 공개 가능한 인간 주석 기반 그라운드 트루스 데이터셋을 구축하였으며, 이는 현재까지 해당 분야에서 가장 큰 규모의 데이터셋이다.
2. 성능 벤치마크: 멀티 레이블 ATT&CK 분류에 대한 경험적 베이스라인을 확립함으로써, 현재의 오픈 소스 LLM이 이 작업에서 상당한 어려움을 겪고 있음을 밝혀냈다.
3. 통계적 분석: 모델 크기와 추론 하이퍼파라미터의 영향을 정량화하는 상관관계 연구를 수행하여, 파라미터 크기가 성능의 유일한 통계적으로 유의미한 예측 변수임을 식별하였다.

결과

• 베이스라인 성능: 가장 높은 성능을 보인 비-RAG 구성(DS236, 236B 파라미터, T=0.0, 3-shot, CoT)의 마이크로 평균 F1 점수는 단 0.22에 불과했다.
• 모델 편차: 성능은 모델 크기와 아키텍처에 따라 크게 달랐다. 236B 모델(DS236)과 70B 모델(LLM70)이 상위 클러스터(F1 0.20–0.22)를 형성한 반면, 작은 모델들(예: GPT20, 20B)은 무작위 추측 수준의 성능(F1 $\leq$ 0.03)을 보였다.
• 하이퍼파라미터 영향:
  • 파라미터 크기: F1 점수와 통계적으로 유의미한 양의 상관관계를 보였다 ($\rho = 0.85, p = 0.014$).
  • 프롬프트 전략 및 추론 방식: 퓨샷(Few-Shot) 프롬프팅이나 생각의 사슬(CoT) 추론 모두 모델 구성 전반에 걸쳐 통계적으로 유의미한 이득을 생성하지 못했다 ($p > 0.05$).
  • 온도: 0.0과 0.5 사이의 변화는 성능에 통계적으로 유의미한 영향을 미치지 않았다.
• RAG 영향: LLM70에 RAG를 구현했을 때 마이크로 F1 점수가 0.32로 증가하였으며(변화량 $\Delta = +0.10$), 이는 주로 재현율의 상당한 증가(0.23에서 0.41로)에 의해 주도되었다. 이러한 개선은 프롬프트 튜닝보다는 외부 지식 접지(grounding) 덕분인 것으로 분석되었다.
• 오류 분석: 실패 사례는 키워드 과의존 또는 환각에 의한 유형 I(False Positive)과 도메인 지식 부족 또는 다단계 동작 합성 능력 부족에 의한 유형 II(False Negative)로 분류되었다.

의의 및 주장

본 논문은 복잡한 멀로 레이블 CTI 분류에 대한 오픈 소스 LLM의 첫 번째 경험적 베이스라인을 제공한다고 주장한다. 저자들은 최대 F1 점수가 0.22에 불과하다는 점을 근거로, 현재의 오픈 소스 LLM은 프로덕션 등급의 ATT&CK 분류에는 불충분하다고 단언한다. 이는 단순화된 데이터셋에서 종종 더 높은 점수를 보고하는 기존의 특화된 도구들과 대조적이다.

연구는 프롬프트 엔지니어링 전략(N-shot, CoT, 온도)이 이 영역의 성능 격차를 줄이는 데 효과적인 수단이 아님을 결론짓는다. 대신, 결과는 파라미터 크기가 결정적인 요소이며, **검색 접지(RAG)**가 재현율을 크게 높여주는 가장 생산적인 방향임을 나타낸다. 저자들은 자신들의 데이터셋과 연구 결과를 향후 연구를 위한 재현 가능한 토대로 제시하며, 향후 연구가 프롬프트 튜닝보다는 계층적 RAG, 파라미터 효율적 미세 조정(PEFT), 계층 인식 지표에 집중해야 한다고 제언한다.