CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence

기술 요약: CTIConnect

문제 정의

사이버 위협 인텔리전스(CTI)는 선제적 방어를 위해 필수적이지만, 생태계는 방대한 양과 극심한 이질성이라는 특징을 가지고 있다. 이는 구조화된 지식 베이스(CVE, CWE, CAPEC, MITRE ATT&CK)부터 서로 다른 스키마, 어휘 및 추상화 수준을 사용하는 비구조화된 벤더 위협 보고서에 이르기까지 광범위하게 걸쳐 있다. 대규모 언어 모델(LLM)은 강력한 추론 능력을 제공하지만, 기존 벤치마크들은 현실적인 검색 증강 설정(retrieval-augmented settings)에서 LLM을 평가하는 데 실패하고 있다. CTIBench나 SEvenLLM과 같은 현재의 벤치마크들은 폐쇄형 학습(closed-book) 설정에 의존하거나(파라미터 메모리만을 테스트함) 단일 보고서 추출에만 집중하여, 다양한 교차 참조 소스 전반에서 정보를 검색하고 합성해야 하는 핵심적인 필요성을 간과하고 있다.

식별된 특정 과제는 **교차 소스 의미론적 격차(cross-source semantic gap)**이다. 즉, 한 가지 어휘로 표현된 쿼리(예: 분석가의 서술적 산문)가 다른 어휘로 인코딩된 관련 증거(예: 공식 택소노미 항목)와 체계적으로 일치하지 못하는 현상이다. 이 격차로 인해 표준 임베딩 기반 검색이 무너지며, 일반적인 범용 검색 증강 생성(RAG) 전략은 CTI 도메인 고유의 어휘적 및 구조적 불일치를 해소할 수 없다.

방법론

벤치마크 구축 (CTIConnect)

저자들은 5개의 이질적인 CTI 소스를 1,860개의 전문가 검증 QA 쌍으로 통합한 통합 평가 환경인 CTIConnect를 구축하였다. 구축 파이프라인은 다음 3단계로 구성된다:

1. 시드 상관관계 주석(Seed Correlation Annotation): 권위 있는 소스(MITRE/NVD 매핑)로부터 근거가 되는 상관관계를 확립하거나, 비구조화된 데이터의 경우 이중 전문가 주석을 통해 확립한다.
2. 템플릿 제약 QA 합성(Template-Constrained QA Synthesis): 형식의 일관성을 보장하고 환각(hallucination)을 줄이기 위해 프롬프트 템플릿을 사용하여 상관관계를 특정 작업별 질문과 답변으로 변환한다.
3. 다층적 품질 관리(Multi-layered Quality Control): LLM 기반 필터링, 도메인 전문가의 독립적 검증, 그리고 시니어 CTI 분석가의 최종 판정을 결합하여 높은 데이터 품질을 확보한다.

작업 환경 (Task Landscape)

본 벤치마크는 CTI 분석의 모든 교차 소스 방향을 나타내는 세 가지 카테고리의 9가지 작업을 다룬다:

• 엔티티 연결 (Entity Linking, 구조화 $\to$ 구조화): 택소노미 간의 항목 매핑 (예: CVE에서 CWE로, CAPEC에서 ATT&CK로). 작업에는 근본 원인 매핑(RCM), 취약점 인스턴스화(WIM), 공격 기법 도출(ATD), 공격 표면 발견(ESD)이 포함된다.
• 엔티티 속성 부여 (Entity Attribution, 비구조화 $\to$ 구조화): 서술적 묘사를 공식 택소노미 항목에 접지(grounding)함. 작업에는 공격 기법 속성 부여(ATA) 및 취약점 카탈로그 속성 부여(VCA)가 포함된다.
• 다중 문서 합성 (Multi-Document Synthesis, 비구조화 $\to$ 비구조화): 여러 벤더 보고서에 흩어져 있는 인텔리전스를 집계함. 작업에는 위협 행위자 프로파일링(TAP), 악성코드 계보 분석(MLA), 캠페인 스토리라인 구축(CSC)이 포함된다.

검색 전략

본 연구는 세 가지 검색 구성을 평가한다:

1. 폐쇄형 학습 (Closed-Book, CB): 파라미터 지식만을 사용하는 베이스라인.
2. 바닐라 RAG (Vanilla RAG, VR): 변환 없이 원시 쿼리를 직접 임베딩함.
3. 도메인 특화 (Domain-Specific, DS) 전략: 특정 의미론적 격차를 해결하기 위해 설계된 맞춤형 접근 방식:
   • 추출 후 검색 (Extract-then-Retrieve, EtR): 엔티티 연결을 위해, LLM이 의미적 콘텐츠를 추출하고 이를 검색 전 타겟 지식 베이스와 정렬된 키프레이즈로 정규화(canonicalize)한다.
   • 분해 후 검색 (Decompose-then-Retrieve, DtR): 엔티티 속성 부여를 위해, 입력을 원자적 행동으로 분해하고 각 행동을 정규화하여 검색 전 독립적으로 검색한 뒤 집계한다.
   • CSKG 가이드 RAG (CSKG-Guided RAG): 다중 문서 합성을 위해, 사이버 보안 지식 그래프(CSKG)를 사용하여 엔티티 별칭(예: "APT29" $\equiv$ "Cozy Bear")을 해결하고, 원시 텍스트 청크가 아닌 정규화된 엔티티를 기준으로 보고서의 순위를 매긴다.

실험 결과

평가 설정

10개의 최신 SOTA LLM(GPT-5, LLaMA-3-405B, Claude-Sonnet-4 등 오픈소스 및 독점 모델 패밀리 포함)을 691쌍의 하위 집합에 대해 평가하였으며, 대표 모델들에 대해서는 전체 1,860쌍의 벤치마크에 대해 검증을 수행하였다.

주요 결과

1. 성능 향상: 도메인 특화 전략은 바닐라 RAG를 크게 상회한다. 엔티티 연결에서 최대 +35.2%, 엔티티 속성 부여에서 +16.0%, 다중 문서 합성에서 **+11.3%**의 성능 향상을 보였다.
2. 작업별 병목 현상:
   • 엔티티 연결: 주요 병목은 주로 검색 인프라이다. 정규화를 통해 올바른 증거가 검색되면, 더 작은 모델들도 거의 천장에 근접한 정확도(평균 DS: 97%)로 작업을 수행할 수 있다.
   • 엔티티 속성 부여: 병목이 모델의 추론으로 이동한다. 이 작업은 서술을 분해하고 근본 원인을 추론해야 한다. 모델 크기를 키울수록 상당한 이득(8B에서 405B 모델까지 최대 +29.5%)을 얻으며, 잘못된 검색은 직접적으로 정밀도(precision)를 저하시킨다.
   • 다중 문서 합성: 성능은 검색(별칭 처리)과 모델 추론(상충하는 설명의 합성) 모두에 의해 제한된다.
3. 의미론적 격차 분석: 바닐라 RAG는 "교차 소스 의미론적 격차"로 인해 실패한다.
   • 엔티티 연결은 작은 유사도 격차(0.06)를 보이지만, 후보군 식별 문제로 어려움을 겪는다.
   • 엔티티 속성 부여는 어휘 불일치로 인해 중간 정도의 격차(0.31)를 보인다.
   • 다중 문서 합성은 엔티티 별칭 및 청크 수준의 노이즈로 인해 가장 큰 격차(0.43)를 보인다.
4. 범용 vs 도메인 특화: 강력한 범용 검색 패러다임(Retrieve-then-Rerank, IRCoT)은 성능 격차를 단 **1~5%**만 좁힐 뿐이다. 이는 CTI의 의미론적 격차를 메우기 위해서는 일반적인 검색 개선이 아닌 구조적 개입(정규화, 분해, 엔티티 해결)이 필요함을 확인시켜 준다.
5. 모델 스케일링: 모델 크기 확장은 엔티티 속성 부여(+19.2% 평균 이득)에서 엔티티 연결(+3.4%)이나 합성(+2.7%)보다 불균형하게 큰 혜택을 준다. 검색 전략이 최적화될 경우, 작은 오픈소스 모델도 프런티어 독점 모델과 대등한 성능을 낼 수 있다.

의의 및 주장

본 논문은 CTIConnect가 이질적인 소스 전반에서 LLM을 체계적으로 평가하는 최초의 검색 증강 벤치마크라고 주장한다. 이 논문의 주요 기여는 "원 사이즈 피츠 올(one-size-fits-all)" 방식의 검색 접근법이 CTI에는 부적절하다는 점을 입증한 것이다. 대신, 효과적인 CTI 시스템은 다양한 데이터 소스 간의 의미론적 격차를 메우기 위해 특정 구조적 개입(정규화, 분해, 별칭 해결)을 적용하는 **작업 인지형 검색 아키텍처(task-aware retrieval architectures)**를 필요로 한다.

저자들은 이러한 결과가 확장 가능한 지식 검색 아키텍처를 설계하기 위한 실행 가능한 지침을 제공한다고 주장하며, 자원이 제한된 환경에서는 단순히 모델 크기를 키우는 것보다 도메인 특화 검색 인프라에 투자하는 것이 더 큰 수익을 가져올 수 있음을 시사한다. 결과는 시간적 분할(2008–2025)에 걸쳐 안정적으로 유지되어, 지속적으로 진화하는 위협 환경에 대한 벤치마크의 유효성을 보여준다.