🤖 machine learning

Constructing Multi-label Hierarchical Classification Models for MITRE ATT&CK Text Tagging

이 논문은 고전적인 머신러닝 방법을 사용하여 높은 정확도(전술 수준에서 94%, 기술 수준에서 82%)를 달면서도 복잡한 LLM 기반 아키텍처의 필요성을 제거하며 MITRE ATT&CK 텍스트 태깅을 자동화하는 다중 레이블 계층적 분류 프레임워크를 소개하며, 이는 GPT-4o의 성능을 크게 상회한다.

원저자: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

게시일 2026-01-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사이버 공격에 관한 방대한, 혼란스러운 이야기들을 정리하려는 사서라고 상상해 보세요. 새로운 이야기(즉, "위협 보고서")가 들어올 때마다, 당신은 나중에 다른 사서들이 찾을 수 있도록 특정 카테고리에 분류해야 합니다.

사이버 보안의 세계에서, 이 분류 시스템을 MITRE ATT&CK라고 부릅니다. 이것은 거대한 2단계 서랍장과 같습니다:

상단 서랍 (전술, Tactics): "나쁜 놈이 왜 이 일을 했는가?"라는 질문에 답합니다 (예: "비밀번호를 훔치고 싶어서" 또는 "자신의 흔적을 숨기기 위해서").
하단 서랍 (기법, Techniques): "그들이 어떻게 그 일을 했는가?"라는 질문에 답합니다 (예: "특정 유형의 피싱 이메일을 사용했다" 또는 "특정 소프트웨어 결함을 이용했다").

수년 동안 보안 전문가들은 이 보고서들을 읽고 수동으로 올바른 서랍에 분류해야 했습니다. 이는 느리고, 지루하며, 인간의 실수에 취약합니다. 이 논문은 그들을 대신해 분류 작업을 수행할 로봇 조수를 만드는 것에 관한 것입니다.

"상향식(Bottom-Up)" 구축 방식

거대하고 복잡한 로봇을 처음부터 만드는 대신(이것은 "하향식" 접근법입니다), 저자들은 블록을 쌓듯이 단계별로 시스템을 구축했습니다. 그들은 이전 블록이 견고하다는 것을 확인했을 때만 작은 단계를 시작하여 복잡성을 더했습니다.

1단계: 단순 분류기 ( "단일 라벨" 로봇)
먼저, 그들은 단순한 머신러닝 모델이 문장을 보고 단 하나의 "왜(Why)"(전술)를 추측하도록 가르쳤습니다. 그들은 이를 유명한 AI 챗봇인 GPT-4o와 비교 테스트했습니다.

결과: 단순한 로봇이 승리했습니다. 이 로봇은 약 **82%**의 정답률을 보인 반면, GPT-4o는 **59%**에 그쳤습니다. 저자들은 이처럼 구조화된 특정 작업의 경우, 화려하고 복잡한 AI보다 단순한 고전적 도구가 실제로 더 낫다는 것을 발견했습니다.

2단계: 다중 라벨 분류기 ("다중 라벨" 로봇)
현실은 단순하지 않습니다. 하나의 문장은 종종 여러 가지 공격 이유를 포함하기 때문입니다. 그래서 그들은 로봇을 업그레이드하여 단 하나의 이유가 아닌 상위 3개의 "왜"를 추측하도록 했습니다.

결과: 이를 통해 정확도가 **94%**로 향상되었습니다.

3단계: 계층적 분류기 ("전체 분류" 로봇)
마지막으로, 그들은 로봇에게 "왜"와 "어떻게"를 함께 추측하도록 가르쳤습니다. 만약 로봇이 "왜"가 "비밀번호 훔치기"라고 추측한다면, 그다음에는 구체적인 "어떻게"(예: 키로깅)를 찾도록 하는 방식입니다.

결과: 이 시스템은 전체 "왜 + 어떻게" 조합에 대해 **82%**의 정확도를 달enc성했습니다.

"비법 소스" (성공 요인)

저자들은 최신 기술인 "생성형 AI"나 복잡한 신경망을 사용하지 않았습니다. 대신 그들은 고전적인 머신러닝(구체적으로 "TF-IDF"를 결합한 "확률적 경사 하강법")을 사용했습니다.

이것을 이렇게 생각해보세요: 식료품점에 가기 위해 매우 복잡하고 비싼 페라리를 만드는 대신, 매우 신뢰할 수 있고 효율적인 자전거를 만든 것입니다. 자전거는 목적을 달성하는 데 더 빠르고, 비용이 적게 들며, 수리하기도 쉽습니다.

또한 그들은 개인정보 보호 잠금 장치(해싱)를 추가했습니다. 만약 그들이 자신들의 로봇을 세상과 공유하고 싶지만, 학습에 사용된 비밀 레시피(데이터)를 공유하는 것이 걱정된다고 가정해 봅시다. 그들은 로봇이 원래의 재료를 아무도 볼 수 없게 하면서도 데이터로부터 학습할 수 있도록 데이터를 암호화하는 방법을 찾아냈습니다. 이를 통해 그들은 안전하게 로봇을 대중에게 공개할 수 있었습니다.

"새로운 도서관" 테스트

그들의 로봇이 정말 똑똑한지 확인하기 위해, 저자들은 단순히 로봇이 학습했던 이야기들로만 테스트하지 않았습니다. 그들은 로봇이 한 번도 본 적 없는 금융 위협(은행 특화)에 관한 완전히 새로운 이야기들을 주었습니다.

결과: 처음에는 로봇이 혼란스러워했습니다(새로운 이야기들이 기존 것과 달랐기 때문입니다). 하지만, 아주 약간의 새로운 이야기들에 대한 학습을 제공하자, 로봇은 빠르게 이를 올바르게 분류하는 법을 배웠습니다. 이는 로봇이 방대한 양의 새로운 데이터 없이도 유연하게 적응할 수 있음을 증명합니다.

핵심 요약

이 논문의 결론은 특정 문제를 해결하기 위해 항상 가장 비싸고 복잡한 AI가 필요한 것은 아니라는 점입니다. 작업을 작고 관리 가능한 단계로 나누고 신뢰할 수 있는 고전적 도구를 사용함으로써, 그들은 다음과 같은 시스템을 구축했습니다:

특정 작업에 대해 최고 수준의 AI 챗봇(GPT-4o)보다 더 정확합니다.
실행 속도가 더 빠르고 비용이 저렴합니다.
대중과 안전하게 공유할 수 있습니다.
아주 적은 추가 학습만으로도 새로운 유형의 데이터에 적응할 수 있습니다.

그들은 다른 보안 팀들이 자신들의 사이버 위협 보고서를 정리하는 데 사용할 수 있도록 이 "로봇 사서"를 GitHub에 무료로 공개했습니다.

기술 요약: MITRE ATT&CK 텍스트 태깅을 위한 다중 레이블 계층적 분류 모델 구축

문제 정의

MITRE ATT&CK 프레임워크는 사이버 보안을 위한 핵심 지식 베이스로서, 공격자의 행위를 전술(tactics, 공격의 '이유' 또는 목표)과 기법(techniques, 공격에 사용된 '방법')의 계층 구조로 조직합니다. 이 프레임워크의 주요 응용 분야는 사이버 위협 인텔리전스 보고서, 취약점 설명, 그리고 위협 시나리오를 수동으로 주석(annotation) 처리하여 하위 분석을 용이하게 하는 것입니다. 현재 이 태깅 프로세스는 주로 수동으로 이루어지고 있어 보안 분석가들에게 병목 현상을 야기하고 있습니다. 이를 자동화하거나 반자동화하기 위해 다양한 계산적 방법론들이 등장했으나, 이러한 노력들을 분류할 통일된 프레임워크가 부족하며, 복잡한 대규모 언어 모델(LLM)이나 자원 집약적인 아키텍처에 의존하지 않는 견고하고 접근 가능한 모델에 대한 필요성이 존재합니다.

방법론

저자들은 전형적인 "top-down" 방식의 AI/ML 아키텍처 선택에서 벗어나, "bottom-up" 단계별 구축 방식을 제안합니다. 이 접근 방식은 복잡도에 따라 단일 레이블 다중 클래스 분류부터 복잡한 다중 레이블 계층 매핑까지 태깅 작업을 분류하는 구조화된 "태스크 공간(task space)" 정식화(표 1)에 의해 유도됩니다.

본 방법론은 고전적 머신러닝(구체적으로 TF-IDF 벡터화와 확률적 경사 하강법(SGD) 분류기)을 사용하여 세 가지 실험 단계로 진행됩니다:

실험 단계 1 (다중 클래스 전술 분류):
- 태스크: 문장( $D$ )을 단일 전술( $T$ )에 매핑.
- 접근 방식: 14,405개의 일반 사이버 인텔리전스 문장을 바탕으로 베이스라인 다중 클래스 SGD 모델을 학습.
- 비교: 텍스트-투-텍스트(Text-to-Text) 프롬프트 엔지니어링 기법을 사용한 GPT-4o와 벤치마킹 수행.
- 결과: 고전적 SGD 모델이 GPT-4o(81.95% 대 59% 정확도)를 유의미하게 상회함.
실험 단계 2 (다중 레이블 계층 구조 구축):
- 태스크: 시스템을 확장하여 여러 전술과 그에 대응하는 기법들을 예측(태스크 공간의 ID 7).
- 접근 방식:
  - Top-N 예측: 단일 레이블 대신 상위 $n=3$ 개의 예측된 전술을 출력하도록 다중 클래스 모델을 수정.
  - 계층적 조건화(Hierarchical Conditioning): 각 예측된 전술에 대해, 상위 $m=3$ 개의 연관 기법을 예측하도록 별도의 전술 특화 다중 클래스 SGD 모델을 학습.
  - 보안: 공개 배포를 용이하게 하기 위해, 모델 성능을 저하시키지 않으면서 민감한 학습 데이터를 암호화할 수 있도록 벡터화 과정에 해싱 메커니즘(MurmurHash3)을 통합.
- 결과: 시스템은 전술 수준에서 약 94%의 정확도를, 기법 수준(다중 클래스 변환으로 간주 시)에서 82%의 정확도를 달성함.
실험 단계 3 (새로운 도메인으로의 일반화):
- 태스크: JPMorgan Chase의 전문가들이 작성한 552개의 금융 위협 시나리오라는 희소 데이터셋에 대해 베이스라인 모델을 평가.
- 접근 방식: 일반 사이버 인텔리전스 데이터로 학습된 모델을 이 새로운 도메인에 테스트한 후, 해당 도메인의 작은 서브셋을 사용하여 처음부터 새로운 모델을 학습시킴.
- 결과: 베이스라인 모델은 제한적인 일반화 성능(41% 정확도)을 보였으나, 아키텍처의 적응성을 입증하여 최소한의 재학습을 통해 66%의 정확도로 향상됨.

주요 기여

계층화된 태스크 공간 정식화: 본 논문은 MITRE ATT&CK 텍스트 태깅 작업을 위한 구조화된 분류 체계(표 1)를 제공하여, 기존의 AIML 접근 방식들을 정리하고 향후 발전 경로를 명확히 합니다.
Bottom-Up 모델 구축: 저자들은 사전에 정의된 복잡한 아키텍처를 사용하는 대신, 실험을 통해 CISA의 "MITRE ATT&CK 매핑을 위한 모범 사례"를 유기적으로 내포하는 계층적 모델을 구축하는 방법론을 제시합니다.
성능 대 복잡도: 고전적 머신러닝 방법(SGD + TF-IDF)이 이 특정 작업에 대해 최첨단 성능(GPT-4o 포함)을 충족하거나 능가할 수 있음을 입립함으로써, LLM, RAG, 에이전트 또는 복잡한 DAG 기반 방식에 대한 의존성을 제거합니다.
공개 배포 및 보안: 저자들은 모델 성능을 유지하면서도 민감한 학습 데이터를 보호하기 위해 데이터 해싱을 포함한, 공유 가능하고 안전한 버전의 태깅 시스템을 GitHub를 통해 공개했습니다.
도메인 적응 예시: 베이스라인 모델이 어떻게 저자원(low-resource) 데이터셋(금융 위협 시나리오)을 위해 부트스트래핑될 수 있는지 보여줌으로써, 저자원 모델 구축의 잠재력을 강조합니다.

결과

전술 수준 정확도: 다중 레이블 계층적 접근 방식은 전술 수준에서 약 94%의 정확도를 달성했습니다.
기법 수준 정확도: 해당 접근 방식은 기법 수준에서 약 82%의 정확도를 달성했습니다.
GPT-4o 비교: GPT-4o는 전술 수준에서 약 60%의 정확도만을 기록하여, 고전적 SGD 방식보다 유의미하게 낮은 성능을 보였습니다.
계층적 이점: 결과는 계층적 접근 방식이 효과적임을 확인했습니다. 기법이 잘못된 전술과 결합되었을 때는 결코 올바르게 예측되지 않았으며, 이는 조건부 모델링 전략의 타당성을 입증합니다.
데이터 보안: 데이터 암호화를 위한 해싱 통합은 시스템 성능에 큰 영향을 미치지 않았으며, 이를 통해 안전한 공개 배포가 가능해졌습니다.

의의 및 주장

본 논문은 사이버 보안 커뮤니티가 전문적인 보안 활동과 풍부한 수학적/기술적 AIML 문헌 사이의 간극에 직면해 있다고 주장합니다. 엄격한 태스크 정식화와 고성능의 접근 가능하며 안전한 베이스라인 모델을 제공함으로써, 저자들은 이 간극을 메우고자 합니다.

저자들은 많은 접근 방식이 존재함에도 불구하고, 저자원 또는 희소 데이터 환경에서의 사용성 문제로 인해 보안 전문가들 사이에서 광범위한 채택이 드물다는 점을 강조합니다. 따라서 본 연구의 의의는 단순히 성능 지표에 있는 것이 아니라, 제안된 시스템의 사용성, 공유 가능성 및 확장성에 있습니다. 본 논문은 데이터 프라이버시를 준수하고 최소한의 자원을 요구하는 직관적이고 고전적인 머신러닝 접근 방식이 보안 전문가들에 의한 자동화된 태깅 도구 채택의 전제 조건임을 역설합니다. 저자들은 자신들의 목표가 최종적이고 완벽한 솔루션을 주장하는 것이 아니라, 향후 발전을 촉진하고 미래 연구를 위한 토대를 제공하는 데 있음을 명시적으로 밝히고 있습니다.