기술 요약: 표준화된 위협 헌팅을 통한 LLM 지원 블루 팀 벤치마킹

문제 제기

사이버 위협의 규모와 정교함이 증가함에 따라 블루 팀 방어자들은 위험을 사전에 탐지하고 완화하기 위해 상당한 압박을 받고 있습니다. 대규모 언어 모델(LLM)이 악성코드 분류, 침투 테스트, 퍼징과 같은 고립된 사이버 보안 작업에서 잠재력을 입증해 왔지만, 실제 세계의 위협 헌팅에서의 효과는 충분히 탐구되지 않았습니다. 기존 연구는 종종 단일 지점 분석 작업에 초점을 맞추어, 본질적으로 다단계이며 연쇄적인 위협 헌팅의 특성을 다루지 못합니다. 실제 위협 헌팅은 위협 귀속부터 사고 대응까지의 일련의 종속적 작업을 요구하며, 한 단계의 출력이 다음 단계의 맥락으로 사용됩니다. 기존 LLM 응용 프로그램은 종종 이러한 상호의존성을 처리하는 데 필요한 구조화된 워크플로우가 부족하여, 복잡한 방어 시나리오에서 신뢰성 문제, 환각 현상, 그리고 실행 가능하고 표준화된 출력의 부재와 같은 문제들을 초래합니다.

방법론: CYBERTEAM

이러한 격차를 해소하기 위해 저자들은 블루 팀 위협 헌팅에서 LLM을 엄격하게 평가하고 안내하기 위해 설계된 벤치마크인 CYBERTEAM을 소개합니다. 이 방법론은 다음 세 가지 핵심 기둥을 기반으로 구축되었습니다:

1. 표준화된 워크플로우 및 작업 종속성

CYBERTEAM은 조사의 완화까지의 실제 세계 진행 상황을 반영하는 종속 체인으로 위협 헌팅을 모델링합니다. 이 벤치마크는 30 가지 분석 작업을 네 가지 범주로 체계화합니다:

• 위협 귀속: 기원 규명 (예: 행위자 식별, 인프라 추출, 캠페인 상관관계).
• 행동 분석: 적대자 상호작용 이해 (예: 파일 시스템 활동, 네트워크 프로파일링, TTP 추출).
• 우선순위 결정: 긴급성과 위험 평가 (예: 공격 벡터 분류, 심각도 점수 매기기).
• 대응 및 완화: 실행 가능한 방어 전략 생성 (예: 플레이북 추천, 패치 코드 생성).

개방형 추론과 달리, CYBERTEAM은 하류 작업이 상류 단계의 검증된 출력에 의존하는 구조화된 파이프라인을 강제합니다.

2. 운영 모듈

표준화와 다양한 시나리오에 필요한 유연성 사이의 균형을 맞추기 위해 CYBERTEAM은 LLM 추론을 안내하는 9 개의 운영 모듈을 통합합니다. 이러한 모듈은 비구조화된 위협 로그를 개별적이고 실행 가능한 단계로 변환합니다:

• 추출 및 파싱: 개체명 인식 (NER), 정규식 파싱 (REX), 텍스트 스팬 위치 확인 (SPA).
• 추론 및 종합: 요약 (SUM), 텍스트 매핑 (MAP), 분류 (CLS), 수학 계산 (MATH).
• 지식 통합: 외부 위협 인텔리전스 (예: CVE, MITRE ATT&CK) 접근을 위한 검색 증강 생성 (RAG).
• 유사성: 텍스트 유사성 매칭 (SIM).

각 작업 $t_i$는 이러한 모듈들의 특정 시퀀스 $f^*_i$와 연관되어, LLM이 내부 지식에만 의존하는 대신 특정 작업 (예: 완화 전략을 요약하기 전에 RAG 를 사용하여 권고안을 검색) 을 수행하도록 보장합니다.

3. 데이터 및 평가

• 데이터 소스: 이 벤치마크는 취약점 데이터베이스 (NVD, MITRE CVE, CWE, CAPEC, D3FEND, Exploit-DB, VulDB) 및 위협 인텔리전스 플랫폼 (VirusTotal, AlienVault OTX, MISP, Mandiant, Recorded Future, IBM X-Force 등) 을 포함한 23 개의 다양한 소스에서 452,293 개의 샘플을 집계합니다.
• 평가 전략: 저자들은 CYBERTEAM 에 대해 주요 산업 LLM (예: GPT-5.1, Grok-4.1, Llama-3.1-405B) 과 최첨단 사이버 보안 에이전트를 평가합니다.
• 기준선: 성능은 In-Context Learning (ICL), Chain-of-Thought (CoT), Tree-of-Thought (ToT) 를 포함한 개방형 추론 전략과 비교됩니다.
• 지표: 추출을 위한 F1 점수, 분류를 위한 정확도, 생성을 위한 BERTScore, 순위 매기기를 위한 Hit@k, 코드 생성을 위한 통과율, 수치 추정을 위한 정규화된 거리와 같은 작업별 지표가 사용됩니다.

주요 결과

실증적 평가는 다음과 같은 몇 가지 중요한 발견을 도출합니다:

1. 표준화의 우위성: 모듈식 표준화 접근 방식 (CYBERTEAM) 은 모든 30 개 작업에서 개방형 추론 전략 (ICL, CoT, ToT) 일관되게 능가합니다. 예를 들어, 플레이북 추천에서 표준화 방법은 GPT-5.1 로 Hit@10 점수 92.7% 를 달성한 반면, CoT 는 90.5% 이었고 ICL 은 훨씬 낮은 점수를 기록했습니다. 보안 제어 조정 및 권고안 상관관계에서도 유사한 향상이 관찰되었습니다.
2. 복잡한 종속성 처리: 성능 격차는 강한 상호의존성이 필요한 작업 (예: 이벤트 시퀀스 재구성) 에서 가장 두드러지며, 여기서 표준화된 워크플로우는 CoT 대비 정확도를 20% 이상 향상시켰습니다. 개방형 방법은 종종 다단계 헌팅에 필요한 올바른 논리적 순서나 정보 흐름을 유지하지 못합니다.
3. 노이즈에 대한 강건성: CYBERTEAM 에 의해 안내된 LLM 은 토큰 수준의 노이즈 (무작위 문자 삽입) 를 상대적으로 잘 처리하지만, 의미 수준의 노이즈(개사되거나 문맥적으로 이동된 텍스트) 에는 여전히 취약하여 성능이 크게 저하됩니다. 이는 고품질의 전문가 큐레이션 위협 보고서에 대한 지속적인 필요성을 강조합니다.
4. 해석 가능성: 모듈식 접근 방식은 해석 가능성을 향상시킵니다. 개방형 프롬프트의 불투명한 추론 체인과 달리, CYBERTEAM 의 출력은 특정 작업 (예: 어떤 RAG 검색이 특정 완화에 영향을 주었는지) 으로 거슬러 올라가 추적할 수 있어 인간 감사 및 신뢰를 용이하게 합니다.
5. 효율성 트레이드오프: 표준화된 파이프라인은 순차적 모듈 실행으로 인해 단순 ICL 보다 더 높은 지연 시간을 초래하지만, Tree-of-Thought (ToT) 의 극심한 오버헤드에 비해 신뢰성과 계산 비용 사이의 더 유리한 균형을 제공합니다.

중요성 및 주장

이 논문은 CYBERTEAM이 블루 팀 위협 헌팅에서 LLM 을 평가하기 위한 최초의 포괄적이고 실무 기반 벤치마크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 패러다임 전환: 고립된 작업 평가를 넘어 실제 세계 방어 작전을 반영하는 전체적이고 워크플로우 기반의 평가로 전환.
• 구조화된 추론 검증: 고위험 사이버 보안 작업의 경우 구조화된 모듈식 추론이 개방형 생성보다 우월함을 입증. 저자들은 운영 절차 (모듈을 통해) 에 엄격히 순응함으로써 환각을 줄이고 출력이 실행 가능한 방어 목표와 일치하도록 보장한다고 주장합니다.
• 실행 가능한 통찰력: 표준화되었지만 유연한 추론 워크플로우를 통해 LLM 을 안내하는 프레임워크를 제공하여 보안 운영 센터 (SOC) 에 AI 를 통합하기 위한 청사진 제시.

저자들은 LLM 이 잠재력을 지니고 있지만, 위협 헌팅에서의 배포는 복잡하고 상호의존적인 시나리오에서 신뢰성, 해석 가능성, 그리고 효과성을 보장하기 위해 표준화된 워크플로우의 규율을 필요로 한다고 결론지었습니다. CYBERTEAM 은 AI 지원 사이버 보안 방어를 위한 미래 혁신을 주도하기 위한 연구 커뮤니티의 자원으로 기능합니다.