TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

기술 요약: TTPRINT

문제 정의
비정형 사이버 위협 정보 (CTI) 보고서에서 MITRE ATT&CK 기법을 자동으로 추출하는 것은 높은 재현율 (진실로 설명된 모든 기법 포착) 과 높은 정밀도 (지원되지 않는 기법의 환각 방지) 를 동시에 최적화해야 하는 오픈셋 다중 레이블 문제입니다. 기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 규칙 기반 및 감독 학습 방법: TTPDrill 과 같은 시스템이나 파인튜닝된 트랜스포머 (예: LADDER, MITREtrieval) 는 다양한 보고서 스타일과 진화하는 공격 설명에 대한 일반화 능력이 부족합니다. 이러한 방법들은 종종 명시적 키워드나 고정된 온톨로지에 의존하여 암시적이거나 재구성된 행위를 포착하지 못합니다.
• 단일 패스 LLM 접근법: 대규모 언어 모델 (LLM) 은 유망한 가능성을 보이지만, 단일 추론 단계에서 적용할 경우 가설 생성과 검증을 결합하게 됩니다. 이러한 결합은 두 가지 누적된 실패 모드를 초래합니다: (1) 모델이 신뢰도를 위해 포괄성을 희생하여 덜 두드러진 행위를 누락시키고, (2) 운영 보고서 언어와 표준 MITRE 정의 간의 표면적 어휘 불일치로 인해 잘못된 기법 매핑이 발생합니다.

방법론: TTPRINT
저자들은 인간 분석가 워크플로우에서 영감을 받아 재현율 지향 생성과 정밀도 지향 검증을 분리하는 "발산 - 수렴 (diverge-then-converge)" 설계를 활용한 TTPRINT라는 4 단계 파이프라인을 제안합니다.

1. 발산 단계 (포괄성 극대화):

   • 행위 추출: 원시 CTI 보고서는 원자적이고 자기 완결적인 공격 행위 집합으로 분해됩니다. 중요한 점은 이 단계가 컨텍스트 붕괴를 방지하기 위해 도구 이름, 명령 문자열, 레지스트리 경로와 같은 구체적인 기술 산출물을 보존하여 하위 단계가 정확한 식별을 위한 충분한 세부 정보를 갖도록 한다는 것입니다.
   • TTP 제안: 각 원자적 행동에 대해 LLM 은 광범위한 후보 MITRE ATT&CK 기법 집합 (최대 $k$개의 서로 다른 상위 수준 식별자) 을 제안합니다. 이 단계는 재현율을 우선시하며, 잠재적 기법이 조기에 폐기되지 않도록 판단을 의도적으로 유보합니다.

2. 수렴 단계 (증거로 필터링):

   • 스팬 국소화: 결정론적 알고리즘이 제안된 각 행위를 원본 보고서 내의 특정 연속 문장 창 (증거 스팬) 에 고정합니다. 이는 모든 후속 추론을 전체 문서 컨텍스트가 아닌 검증 가능한 텍스트 지원으로 제한하여 노이즈와 환각 위험을 줄입니다.
   • TTP 검증: LLM 은 각 후보 기법을 세 가지 입력 (행위 텍스트, 국소화된 증거 스팬, 공식 MITRE ATT&CK 정의) 에 대해 평가합니다. 모델은 증거가 해당 기법을 명시적으로 지지하는지 여부를 나타내는 신뢰도 점수 ($c_{ver}$) 를 출력합니다.
   • 임계값 설정: 조정 가능한 신뢰도 임계값 ($\tau$) 을 초과하는 후보는 유지됩니다. 이 매개변수는 재학습이나 아키텍처 변경 없이 재현율 - 정밀도 트레이드오프를 명시적으로 제어할 수 있게 합니다.

주요 기여

• 아키텍처 원칙: 이 논문은 단일 패스 추출에서 정밀도와 재현율의 결합을 구조적 한계로 규명하고, 가설 생성과 증거 기반 검증을 명시적으로 분리하는 발산 - 수렴 원칙을 제안합니다.
• TTPRINT 파이프라인: 모든 예측이 특정 소스 구절로 추적 가능하도록 보장하여 완전한 감사 가능성을 제공하는 결정론적 스팬 국소화를 특징으로 하는 새로운 구현입니다.
• 평가 리소스:
  • TRAM-Clean: 널리 사용되는 TRAM 벤치마크의 체계적으로 정제된 버전으로, 원래 주석의 오탐지와 미탐지를 수정하여 신뢰할 수 있는 기준선을 제공합니다.
  • TTPRINT-Bench: 고립된 문장이 아닌 비정형 전체 문서에서의 추출을 평가하도록 설계된, 150 개의 전체 CTI 보고서 (2022~2025 년) 로 구성된 새로운 문서 수준 벤치마크로, 이중 주석 및 조정된 정답을 포함합니다.

결과
TRAM-Clean 과 TTPRINT-Bench 에서 평가된 TTPRINT 는 최첨단 기준선 대비 상당한 개선을 보여줍니다:

• 성능: TTPRINT 는 TRAM-Clean 에서 Macro-F1 76.48%, TTPRINT-Bench 에서 **87.39%**를 달성했습니다. 이는 각각 선도적인 기준선 (CoT GPT-4o) 대비 **63.5%**와 **29.4%**의 개선입니다.
• 정밀도와 재현율: 두 지표를 균형 있게 맞추기 어려운 단일 패스 방법과 달리, TTPRINT 는 이를 동시에 개선합니다. TTPRINT-Bench 에서 재현율은 50.70% 에서 95.50% 로, 정밀도는 69.90% 에서 82.15% 로 증가했습니다.
• 절제 연구: 어떤 단계 (행위 추출, 스팬 국소화, 또는 검증) 를 제거해도 성능이 크게 저하됩니다. 특히 스팬 국소화는 컨텍스트 희석과 환각 위험을 줄여 정밀도와 재현율 모두를 향상시킵니다.
• 모델 중립성: 파이프라인의 효과성은 여섯 가지 다른 LLM 백본 (GPT-4o, Claude Sonnet, Gemini, Qwen, DeepSeek 포함) 에서도 유지됩니다. TTPRINT 파이프라인을 갖춘 소형 모델이 단일 패스 프롬프팅을 사용하는 대형 모델보다 종종 더 나은 성능을 발휘하여, 아키텍처 설계가 성능의 주요 동인임을 시사합니다.
• 임계값 민감도: 검증 임계값 $\tau$는 정밀도 - 재현율 프런티어에 대한 매끄럽고 단조로운 제어를 제공하여 사용자가 SOC 트라이지 (높은 재현율), 균형, 또는 자동화된 대응 (높은 정밀도) 시나리오에 적합한 운영 지점을 선택할 수 있게 합니다.

의의 및 주장
이 논문은 TTPRINT 가 소스 증거로 직접 추적 가능한 고재현율, 고정밀 TTP 추출 방법을 제공함으로써 CTI 분석가 워크플로우의 중요한 격차를 해소한다고 주장합니다. 생성과 검증을 분리함으로써 시스템은 단일 패스 LLM 프롬프팅의 내재적 트레이드오프를 완화합니다. 저자들은 이 접근 방식이 모델 중립적이므로 데이터 주권 문제를 가진 조직이 성능을 희생하지 않고 로컬 호스팅 오픈소스 LLM 을 배포할 수 있음을 강조합니다. TRAM-Clean 과 TTPRINT-Bench 의 공개는 문장 수준 평가에서 현실적인 문서 수준 추출로 분야를 고도화하여 자동화된 위협 정보 분석에 대한 향후 연구를 촉진하는 것을 목표로 합니다.

저자들은 범위를 겸손하게 유지하며, 시스템이 주요 보안 벤더의 영어 보고서를 대상으로 하며 MITRE 분류 체계 자체에 내재된 모호성 (예: 의미적으로 인접한 기법) 은 현재 해결하지 못한다고 명시합니다. 또한 추출 품질이 전문가 주석에 대해 검증되었지만, 하류 운영 지표 (예: 트라이지 시간) 에 미치는 영향은 향후 통제된 배포 연구를 통해 검증되어야 함을 덧붙입니다.