Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings
이 논문은 솔라윈즈, XZ 유틸, 로그4j 등 3 가지 주요 공격 캠페인의 90 개 CTI 보고서를 분석하여 단일 보고서 기반보다 다중 보고서 기반 ATT&CK 기법 추출이 F1 점수를 약 26% 향상시킨다는 것을 실증적으로 입증하면서도, 여전히 78.6% 미만의 성능 한계와 의미상 유사한 기법 간 오분류로 인한 제어 커버리지 손실이 존재함을 밝혔습니다.
이 논문은 "사이버 공격을 한 번의 보고서로만 판단하면 얼마나 위험한가?" 라는 질문에 답하는 연구입니다.
마치 "한 명의 증인만 믿고 사건을 해결하려는 형사" 와 같은 상황을 상상해 보세요. 이 논문은 그 형사가 "여러 명의 증인 (보고서) 을 모아 이야기를 종합하면 사건이 훨씬 더 명확해진다" 는 것을 증명했습니다.
자, 이 복잡한 연구를 일상적인 비유로 쉽게 풀어보겠습니다.
🕵️♂️ 1. 문제 상황: "한 장의 보고서"는 불완전한 퍼즐
사이버 공격 (해킹) 은 보통 한 번에 끝나는 게 아니라, 여러 단계로 이루어진 '캠페인 (대규모 작전)' 형태입니다.
기존 방식: 보안 회사나 기관에서 공격에 대한 보고서 하나를 내면, 연구원들은 그 단 하나의 보고서만 보고 "아, 이 해커는 이런 수법을 썼구나!"라고 결론을 내리고 방어책을 세웠습니다.
문제점: 하지만 해커는 한 번에 모든 수법을 다 쓰지 않습니다. A 기관은 "해커가 문을 뚫었다"고 쓰고, B 기관은 "해커가 비밀번호를 훔쳤다"고 씁니다. 한 장의 보고서만 보면 방어할 수 있는 구멍 (기술적 취약점) 을 놓치게 됩니다.
🔍 2. 연구의 핵심: "여러 증인을 모으자!"
연구진은 "SolarWinds", "XZ Utils", "Log4j" 라는 세 가지 유명한 대규모 사이버 공격 사건을 대상으로 실험을 했습니다.
실험 방법: 같은 공격 사건에 대해 작성된 여러 개의 보고서 (최대 45 개까지) 를 한데 모아 분석했습니다.
비유: 마치 수사팀이 여러 명의 목격자 (보고서) 를 불러와서 "누가 언제 무엇을 봤는지" 모두 합쳐서 진실을 재구성하는 것과 같습니다.
📊 3. 주요 발견 (결과)
① 여러 보고서를 합치면 성능이 26% 향상됩니다!
비유: 한 명만 보면 70% 만 보이지만, 10 명을 모으면 96% 를 볼 수 있습니다.
결과: 여러 보고서를 분석하면 해커가 사용한 수법 (ATT&CK 기법) 을 찾아내는 정확도가 크게 올라갔습니다. 특히 AI(대형 언어 모델) 가 여러 보고서를 읽었을 때 가장 잘 알아냈습니다.
② "10~15 개" 정도면 충분합니다 (포화 지점)
비유: 수백 명의 증인을 다 불러올 필요는 없습니다. 보통 10~15 명의 증인 이야기를 들으면, 새로운 정보는 더 이상 나오지 않습니다.
결과: 보고서가 1015 개 정도 모이면, 더 이상 추가해도 발견되는 해킹 수법은 거의 없습니다. 이는 보안 팀이 모든 보고서를 다 읽을 필요 없이, **핵심 보고서 1015 개만 집중하면 된다**는 뜻입니다.
③ 긴 보고서가 더 좋습니다 (읽기 힘들어도 괜찮아요!)
비유: "읽기 쉬운 동화책"보다는 "어렵고 긴 기술 매뉴얼" 이 해커의 수법을 더 잘 설명합니다.
결과: 글이 길고, 해시값이나 IP 주소 같은 구체적인 기술적 내용이 많은 보고서일수록 AI 가 해커의 수법을 잘 찾아냈습니다. 반대로 "읽기 쉬운" (간단한) 글은 오히려 중요한 정보를 놓쳤습니다.
④ 가장 큰 함정: "비슷한 수법"을 헷갈립니다
비유: 해커가 "문고리 (T1021)"를 뺐는지, "열쇠 (T1550)"를 훔쳤는지 구분하기 어렵습니다. 둘 다 문을 여는 수법이라서 AI 가 자주 혼동합니다.
결과: AI 가 해킹 수법을 잘못 분류한 경우 중 33% 는 서로 매우 비슷한 수법 사이에서 발생한 실수였습니다.
🛡️ 4. 왜 이것이 중요한가요? (방어책의 공백)
이 연구의 가장 중요한 메시지는 "해커의 수법을 놓치면, 우리도 방어책을 놓친다" 는 것입니다.
비유: 해커가 "창문 (수법)"을 뚫는다는 것을 놓치면, 우리는 "창문 잠금장치 (방어책)"를 설치하지 않게 됩니다.
결과: 해킹 수법을 10% 만 놓쳐도, 그에 대응하는 방어책 (Controls) 은 23% 나 놓치게 됩니다. 즉, 작은 실수가 큰 보안 구멍으로 이어집니다.
💡 5. 결론 및 제안
이 논문은 우리에게 이렇게 말합니다:
"더 이상 단 하나의 보고서만 믿지 마세요. 여러 보고서를 모아 (최소 10~15 개), 기술적으로 상세한 긴 보고서를 중점적으로 분석하세요. 그래야 해커의 모든 수법을 파악하고, 우리 회사의 방어벽을 완벽하게 세울 수 있습니다."
한 줄 요약:
"한 장의 보고서로는 해커의 전모를 알 수 없다. 여러 증인 (보고서) 을 모아, 어렵지만 상세한 이야기를 종합해야 진짜 방어책을 세울 수 있다."
1. 연구 배경 및 문제 정의 (Problem)
배경: 대규모 사이버 공격 (캠페인) 은 CISA 와 같은 정부 기관부터 독립 보안 연구자, 사고 대응 팀에 이르기까지 다양한 출처의 여러 CTI(사이버 위협 정보) 리포트를 통해 문서화됩니다. 각 리포트는 전략적 개요부터 기술적 세부 사항까지 서로 다른 관점을 제공합니다.
문제점:
기존 자동화 방법론들은 주로 단일 리포트 (Single Report) 기반의 데이터셋에서 평가되었습니다.
단일 리포트만 분석하면 공격 캠페인의 전체적인 행동과 필요한 통제 (Controls) 를 파악하기 어렵고, 이는 공격 기법 (ATT&CK Technique) 의 파편화된 시각과 보안 통제 미비로 이어집니다.
기존 연구들 (NER, 인코더 기반 분류, 디코더 기반 LLM 등) 은 서로 다른 데이터셋과 설정을 사용하여 비교가 어렵고, 단일 리포트 환경에서도 F1 점수 최대 72.5% 로 여전히 많은 기법을 놓치고 있습니다.
연구 목표: 단일 리포트 평가가 아닌, 다중 리포트 캠페인 환경에서 최신 ATT&CK 기법 추출 방법론의 성능을 재현하고 비교하여, 보안 연구자들이 캠페인 단위의 공격 기법과 통제 요소를 더 정확하게 추출할 수 있도록 돕는 것입니다.
2. 연구 방법론 (Methodology)
이 연구는 Büchel et al. [10] 의 작업을 개념적 복제 (Conceptual Replication) 하고 확장 (Extension) 한 형태입니다.
데이터셋:
학습 데이터: AnnoCTR 데이터셋 (118 개 기법) 과 MITRE ATT&CK 공식 문서에서 수집한 추가 샘플을 사용하여 29 개의 방법을 학습/파인튜닝.
테스트 데이터: CTIfecta 데이터셋 (SolarWinds, XZ Utils, Log4j 세 가지 주요 캠페인의 총 90 개 CTI 리포트).
필터링: ATT&CK 식별자가 명시적으로 포함된 리포트를 제외하고, 실제 기법 추출이 필요한 90 개 리포트를 최종 테스트셋으로 사용.
평가된 29 개 방법론:
NER (Named Entity Recognition): 6 개 방법 (규칙 기반 파이프라인, 어블레이션 연구 수행).
Encoder-based Classification: 15 개 방법 (BERT 및 RoBERTa 기반 모델).
Decoder-based LLM: 8 개 방법 (Zero-shot, Few-shot, RAG, SFT 등 다양한 프롬프트 및 파인튜닝 기법).
평가 지표 및 프로세스:
캠페인 단위 집계: 각 리포트별 예측 결과를 해당 캠페인의 모든 리포트에 대해 합집합 (Union) 하여 캠페인 수준의 성능을 평가.
성능 측정: 정밀도 (Precision), 재현율 (Recall), F1 점수.
오류 분석: 오분류 (False Positive) 및 미탐지 (False Negative) 된 기법들의 의미론적 유사성 (Cosine Similarity, t-SNE) 분석.
통제 (Control) 영향 분석: 추출된 기법을 P-SSCRM(Proactive Software Supply Chain Risk Management) 통제 프레임워크에 매핑하여, 기법 추출 오류가 보안 통제 커버리지에 미치는 영향을 정량화.
성능 포화 (Saturation) 분석: 리포트 수를 점진적으로 증가시키며 성능이 포화되는 지점 (최소 필요 리포트 수) 확인.
리포트 특성 분석: 단어 수, 문장 수, 가독성 점수, 발행 기관, 날짜 등이 성능에 미치는 영향 분석.
3. 주요 기여 (Key Contributions)
캠페인 단위 복제 연구: 단일 리포트가 아닌, 동일 캠페인의 다중 CTI 리포트를 대상으로 한 자동화 추출 방법론의 체계적인 평가.
통제 수준 (Control-level) 평가 지표: 단순 기법 추출을 넘어, 추출 오류가 보안 통제 (Mitigation) 커버리지에 미치는 영향을 정량화하는 새로운 메트릭 제안.
성능 포화 임계값: 자동화 접근법이 성능 포화에 도달하기 위해 필요한 최소 CTI 리포트 수 (10~15 개) 를 실증적으로 규명.
리포트 특성 최적화: 추출 성능을 극대화하는 리포트의 텍스트 및 구조적 특성 (긴 분량, 기술적 세부사항 포함 등) 을 규명하여 비용 효율적인 CTI 수집 가이드 제공.
오류 원인 규명: 기존 방법론이 자주 놓치거나 오분류하는 ATT&CK 기법의 특성과 의미론적 중복 (Semantic Overlap) 이 오류에 미치는 영향 분석.
4. 주요 결과 (Key Results)
RQ1 (단일 vs 다중 리포트):
NER 및 Decoder-based LLM은 다중 리포트 환경에서 성능이 크게 향상됨 (F1 점수 평균 약 26% 증가). 특히 LLM 의 재현율이 28.5% 증가.
반면, Encoder-based Classification은 다중 리포트 환경에서 성능이 저하됨 (F1 점수 30% 감소).
결론: NER 과 LLM 은 다중 리포트 집계 시 유리하나, 단일 리포트에서는 인코더 기반 분류가 더 나을 수 있음.
RQ2 (오류 분석):
오분류 (FP) 의 약 **33.3%**는 의미론적으로 유사한 기법들 (예: T1587 vs T1588) 사이에서 발생.
이러한 오류 중 약 **79.2%**는 동일한 전술 (Tactic, 예: Defense Evasion) 을 공유하는 기법들 사이에서 발생.
의미론적 유사성과 전술 공유가 모델의 혼란을 유발하는 주요 원인임.
RQ3 (통제 커버리지 영향):
기법 추출 오류는 보안 통제 누락으로 직결됨.
가장 성능이 좋은 방법 (Decoder-based LLM + RAG) 도 ATT&CK 기법의 약 90% 만 추출하지만, 이는 **보안 통제 커버리지 77.1%**에 불과함.
약 10% 의 기법 누락이 약 23% 의 통제 누락 (Gap) 을 초래함. Governance(G), Deployment(D), Environment(E) 영역에서 통제 누락이 두드러짐.
RQ4 (성능 포화):
대부분의 접근법은 5~15 개의 리포트 추가 시 성능 포화에 도달.
예외적으로 Log4j 및 XZ Utils 캠페인에서 LLM 은 22~30 개 리포트까지 성능이 향상됨.
NER 은 1 개 리포트만으로도 정밀도 (Precision) 1.0 을 달성하지만 재현율은 낮음.
RQ5 (리포트 특성):
성공 요인: 리포트가 길고 (Word/Sentence Count), 기술적 세부사항이 풍부할수록 성능이 좋음.
발행 기관: CISA, Google, Apache 등 정부 기관 및 주요 벤더의 리포트가 성능 포화 단계 (Pre-segment) 에 크게 기여.
무관한 요소: 가독성 점수 (Readability Score) 는 성능과 상관관계가 없으며, 오히려 기술적 용어가 많을수록 점수가 낮아지지만 추출 성능은 높음.
5. 의의 및 시사점 (Significance)
연구 방향 전환: 단일 리포트 기반 평가에서 벗어나, 다중 리포트 캠페인 환경에서의 평가가 필수적임을 강조.
실무적 가이드:
보안 운영 (SOC): 낮은 오경보 (False Positive) 를 원한다면 NER 기반 접근법 선호.
위협 인텔리전스 (Threat Intel): 포괄적인 공격 기법 파악을 원한다면 LLM 기반 접근법 선호 (높은 재현율).
CTI 수집 전략: 가독성보다는 기술적 깊이가 있는 긴 리포트를 우선적으로 수집하고, 정부 기관이나 주요 벤더의 보고서를 중점적으로 활용해야 함.
보안 통제 중요성: ATT&CK 기법 추출만으로는 부족하며, 추출된 기법이 실제 **보안 통제 (Mitigation)**로 어떻게 연결되는지 분석해야 공격 캠페인의 위험을 온전히 이해할 수 있음.
향후 과제: 텍스트뿐만 아니라 명령어 추적 (Command Traces) 등 멀티모달 데이터를 활용한 추출 파이프라인 개발 필요.
이 논문은 사이버 위협 인텔리전스 자동화 분야에서 단일 문서 분석의 한계를 극복하고, 다중 소스 통합을 통한 더 정확한 공격 행동 분석과 보안 통제 수립의 중요성을 입증했습니다.