Vendor-Conditioned Contrastive Learning for Predicting Organizational Cyber Threat Targets

기술 요약: TRACE – 조직적 사이버 위협 표적 예측을 위한 벤더 조건부 대비 학습

문제 제기
사이버 공격은 막대한 재정적 피해를 입히며, 2029 년까지 연간 전 세계 비용이 15.6 조 달러에 달할 것으로 예상됩니다. 사이버 위협 인텔리전스 (CTI) 는 해커 포럼에서 악의적 행위자들이 악용 코드와 기법을 공유하는 분석에 크게 의존하지만, 현재 연구에는 중요한 격차가 존재합니다. 바로 '어떤 특정 조직이' 이러한 악용에 표적이 되는지 식별하는 부분입니다. 이전 연구들은 악용 식별, MITRE ATT&CK 매핑, 또는 교차 언어 감지에 초점을 맞추었으나, 조직 표적 예측에는 거의 주목하지 않았습니다. 또한, 기존 모델들은 종종 **시간적 분포 변화 (temporal distribution shift)**를 고려하지 못합니다. 새로운 벤더, 제품, 취약점이 등장함에 따라 악용 게시물에 사용되는 언어는 진화합니다. 과거 데이터로 훈련된 모델은 미래 게시물에 적용될 때 신뢰할 수 없는 패턴을 학습할 수 있으므로, 정적 정확도가 아닌 미래 지향적 일반화를 테스트하는 평가 프로토콜이 필요합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 시간적 드리프트에 대한 강건성을 유지하면서 조직 표적을 예측하도록 설계된 TRACE(악용의 시간적 표현 및 분류) 프레임워크를 제안합니다.

1. 데이터 구축:

   • 저자들은 35 개 소스 (해커 포럼, 악용 데이터베이스, 다크넷 마켓 포함) 에서 30 년 (1990~2026) 에 걸쳐 수집된 870 만 개의 게시물을 집계한 HackerSignal 데이터셋을 활용하여 대규모 다소스 말뭉치를 구축했습니다.
   • 이 중 악용이 풍부한 소스의 352,866 개 영어 게시물을 서브셋으로 선정하여 개체 추출을 수행했습니다.
   • 150 개 이상의 벤더 및 제품 이름 패턴을 포함한 큐레이션된 **가제트 (gazetteer)**를 사용하여 벤더 참조를 추출하고 정규화했으며, 이를 CMS/오픈 소스, 엔터프라이즈 소프트웨어, 웹 플랫폼, 네트워킹/IoT, 모바일, 게이밍, 데이터베이스 등 7 가지 조직 카테고리에 매핑했습니다.
   • 이 과정을 통해 129,126 개의 샘플로 구성된 골드 스탠다드 데이터셋이 도출되었습니다.
   • 시간적 분할: 실제 배포를 시뮬레이션하고 데이터 누수를 방지하기 위해 데이터를 시간순으로 분할했습니다. 2022 년 이전 게시물 (125,963 개 샘플) 로 훈련, 2022~2023 년 데이터로 검증, 2024 년 이후 데이터 (분포 외/OOD) 로 테스트를 수행했습니다.

2. 모델 아키텍처 (TRACE):

   • 기본 인코더: 프레임워크는 전문 용어 (CVE, 쉘 명령어, 난독화된 페이로드) 를 처리하기 위해 사이버 보안 말뭉치에 특별히 사전 훈련된 CySecBERT(BERT-base 인코더) 를 활용합니다.
   • 듀얼 헤드 설계:
     • 분류 헤드: 인코더의 [CLS] 표현을 7 가지 조직 카테고리 로짓 (logits) 으로 매핑하는 선형 계층으로, 표준 교차 엔트로피 손실 ($L_{CE}$) 을 통해 최적화됩니다.
     • 대비 투영 헤드: 2 층 MLP 가 표현을 128 차원 공간으로 투영합니다. 이 헤드는 지도 대비 (SupCon) 손실 ($L_{SC}$) 을 사용하여 최적화됩니다.
   • 벤더 조건부 목적 함수: 표준 분류와 달리, 대비 손실은 조직 카테고리가 아닌 벤더 정체성으로 샘플을 그룹화합니다. 이는 동일한 벤더에 대한 악용 게시물들의 임베딩을 가깝게 묶고 다른 벤더들은 멀어지게 합니다. 이는 동일한 벤더에 대한 악용 게시물들이 더 넓은 카테고리를 초월하여 특정 어휘와 코드 패턴을 공유한다는 관찰을 활용합니다.
   • 훈련 목적 함수: 전체 손실은 가중 합입니다: $L = L_{CE} + \lambda L_{SC}$, 여기서 $\lambda = 0.1$입니다. 이는 분류가 주요 목표이면서 대비 목적 함수가 임베딩 공간을 벤더 일관성 있게 형성하도록 보장합니다.

주요 기여

1. 대규모 다소스 말뭉치: 30 년간의 데이터를 아우르는 9 개의 서로 다른 악용 데이터베이스 및 해커 포럼에서 파생된 129,126 개의 레이블이 지정된 샘플 데이터셋을 구축했습니다.
2. 벤더 조건부 대비 학습: 벤더 정체성을 보조 감독 신호로 사용하는 파인튜닝 전략을 도입했습니다. 이 접근법은 모델이 벤더 수준의 구조를 보존하는 표현을 학습하도록 장려하여, 시간적 분포 변화 하에서 일반화 성능을 향상시킵니다.
3. 시간적 OOD 평가: 미래 데이터 (2024 년 이후) 에 대한 모델 성능을 테스트하는 엄격한 평가 프로토콜을 통해, 진화하는 악용 언어를 처리하는 프레임워크의 능력을 입증했습니다.

실험 결과
TRACE 프레임워크는 고전적 머신러닝 (Naïve Bayes, SVM, 로지스틱 회귀), GloVe 및 FastText 임베딩을 사용한 딥러닝 아키텍처 (RNN, LSTM, CNN, Transformers), 그리고 사전 훈련된 트랜스포머 (BERT, RoBERTa, ModernBERT, CySecBERT) 를 포함한 17 개의 벤치마크 모델과 비교 평가되었습니다.

• 성능: TRACE 는 시간적 OOD 테스트 세트에서 마이크로 F1 점수 97.00% 및 **정확도 98.65%**를 달성하여 모든 베이스라인을 크게 능가했습니다.
• 베이스라인 비교:
  • 도메인 적응: 도메인 특화 사전 훈련이 결정적이었습니다. CySecBERT(F1=94.45%) 는 범용 BERT(89.29%) 및 RoBERTa(84.36%) 보다 현저히 우수했습니다.
  • 임베딩: 딥러닝 베이스라인의 경우, 악용 말뭉치에서 훈련된 FastText 임베딩이 범용 GloVe 임베딩보다 일관되게 우수했습니다 (예: BiLSTM: 81.84% vs 63.11%).
  • 대비 이득: 벤더 조건부 대비 목적 함수는 표준 CySecBERT 파인튜닝 대비 상당한 향상을 제공하여 F1 점수를 2.55 퍼센트 포인트(94.45% 에서 97.00% 로) 향상시켰습니다.
• 카테고리별 분석: TRACE 는 희귀 클래스를 더 잘 분리하는 벤더 일관성 표현을 학습함으로써, 특히 게이밍 (F1 점수가 72.34% 에서 91.80% 로 증가) 과 같은 저지원 카테고리에서 가장 큰 개선을 보였습니다.

의의 및 주장
본 논문은 TRACE 가 신흥 악용에 의해 어떤 산업이 표적 being 되는지 신속하게 식별할 수 있도록 하여, 선제적 CTI 를 위한 강력한 메커니즘을 제공한다고 주장합니다. 연구는 임베딩 선택이 모델 성능에서 가장 중요한 단일 요소임을 강조하며, 해커 커뮤니티의 전문 용어를 처리하기 위해서는 도메인 특화 사전 훈련과 말뭉치 훈련 임베딩이 필수적이라고 지적합니다.

저자들은 정적 역사적 데이터로 훈련된 모델이 진화하는 위협에 배포될 때 종종 실패하므로, 시간적 OOD 평가가 모델 유용성에 대한 현실적인 평가를 제공한다고 강조합니다. 학습 목적 함수에 벤더 수준 구조를 통합함으로써, TRACE 는 대상 어휘와 패턴이 시간이 지남에 따라 변화하더라도 보조 메타데이터가 조직 표적 예측을 위한 표현의 판별력을 향상시킬 수 있음을 입증했습니다.

한계점
저자들은 고정밀도이지만 사전에 등재되지 않은 벤더는 놓칠 수 있는 가제트 기반 레이블링 방식을 사용했다고 지적합니다. 또한, 7 개 카테고리 분류 체계는 조직을 광범위한 그룹으로 집계하여 경계를 모호하게 만들 수 있습니다 (예: 웹 플랫폼과 오픈 소스 CMS 구분). 데이터베이스 (테스트 샘플 2 개) 및 게이밍 (테스트 샘플 30 개) 과 같은 카테고리의 낮은 샘플 수는 이러한 특정 클래스에 대한 카테고리별 지표의 통계적 신뢰도를 제한합니다.