기술 요약: GraphRAG를 활용한 사이버 위협 인텔리전스(CTI)의 운영화

1. 문제 정의

본 연구가 다루는 핵심 과제는 사이버 위협 인텔리전스(CTI) 보고서 발행과 효과적인 탐지 규칙 배포 사이의 운영 격차입니다. 보고서에는 공격자의 상세한 행동, 도구, 그리고 전술·기법·절차(TTPs)가 포함되어 있지만, 이를 탐지 규칙으로 변환하려는 자동화된 시도들은 대개 표준 검색 증강 생성(Standard RAG)에 의존합니다. 이러한 시스템은 일반적으로 IP 주소, 도메인 이름, 파일 해시와 같은 단순하고 낮은 수준의 침해 지표(IOC)를 추출하는 데 그칩니다.

"고통의 피라미드(Pyramid of Pain)" 프레임워크에 따르면, 이러한 낮은 수준의 IOC(피라미드의 하단)는 공격자가 교체하기 쉽고 빠르며(종종 몇 시간 또는 며칠 단위), 이로 인해 탐지 기능이 빠르게 무용지물이 됩니다. 반면, 행동 패턴 및 TTPs(피라미드의 상단)는 공격자가 변경하기에 비용이 많이 드는 요소입니다. 본 논문은 현재의 자동화 파이프라인이 이러한 내구성이 높은 상위 피라미드 단서들을 우선시하는 데 실패하며, 결과적으로 운영 수명이 짧은 헌팅 계획을 생성한다고 주장합니다.

2. 방법론

본 연구는 생성 모델, 생성 프롬프트, 평가 모델을 동일하게 유지한 상태에서, CTI 보고서로부터 위협 헌팅 계획을 생성하기 위한 두 가지 검색 아키텍처를 비교합니다.

2.1 시스템 아키텍처

파이프라인은 vLLM으로 서빙되는 세 개의 로컬 엔드포인트를 갖춘 단일 워크스테이션에서 실행되는 완전한 온프레미스 환경입니다:

• 계획 생성 (Plan Generation): openai/gpt-oss-20b
• 임베딩 (Embedding): Qwen/Qwen3-Embedding-8B
• 판단 (Judging): fdtn-ai/Foundation-Sec-8B-Instruct (사이버 보안에 특화된 튜닝 모델)

2.2 검색 백엔드 (Retrieval Back-ends)

세 가지 파이프라인이 평가되었습니다:

1. 표준 RAG (Standard RAG - 베이스라인): 보고서를 600단어 크기의 청크(chunk)로 나누고 80단어의 중첩(overlap)을 둡니다. 쿼리와의 코사인 유사도를 기반으로 상위 8개의 청크를 검색하여 생성 모델에 결합합니다.
2. GraphRAG 로컬 검색 (GraphRAG Local Search): 인덱싱 과정에서 지식 그래프(엔티티: 액터, 악성코드, 기법, 취약점, 도메인, IP, 파일; 및 이들의 관계)를 구축합니다. 검색은 쿼리에 임베딩된 엔티티로부터 그래프를 탐색하여 관계, 텍xt 유닛 및 커뮤니티 요약을 수집하는 방식으로 이루어집니다.
3. GraphRAG 글로벌 검색 (GraphRAG Global Search): 리덴(Leiden) 커뮤니티 탐지를 통해 생성된 커뮤니티 요약 배치(batch)로 LLM에 질의하고 부분적인 답변을 재요약함으로써 답변을 합성합니다.

2.3 데이터 처리

• 수집 (Ingestion): 3단계 후처리 클리닝 루틴(_post_clean)을 통해 PDF에서 워터마크, 헤더, 푸터 및 TLP 마커를 제거하여 존재하지 않는 엔티티에 대한 LLM의 환각 현상을 방지합니다.
• 생성 (Generation): "강화된(hardened)" 프롬프트(V2)는 모델이 수석 분석가로서 역할을 수행하도록 지시하며, 캠페인 요약, 행동 탐지 체인(Primary), IOC 목록(Fragile), ATT&CK 커버리지, IOC 회전 탄력성 분석, 오탐 완화와 같은 특정 섹션을 포함한 계획을 생성하게 합니다. 결정적으로, 모든 탐지는 피라미드 레벨 태그와 구체적인 쿼리(Splunk SPL/Microsoft Sentinel KQL)를 포함해야 합니다.

2.4 평가 (LLM-as-Judge)

다회차(multi-turn) 평가 하네스는 Foundation-8B 모델을 사용하여 10점 척도의 루브릭에 따라 계획을 채점하며, 이는 두 가지 티어로 나뉩니다:

• 티어 1 (기초 품질): 일반적인 완결성 및 기술적 정확성.
• 티어 2 (고통의 피라미드 탄력성): 주요 지표로서, 저수준 IOC 대비 고수준 TTPs에 대한 의존도를 측정합니다.
• 강건성 검사: 8B 모델의 산술 오류를 완화하기 위해, 모델의 합계 결과를 신뢰하는 대신 개별 기준 점수로부터 티어 총점을 프로그래밍 방식으로 재계산합니다. 평가는 컨텍스트 제한을 관리하기 위해 4회차로 나뉩니다.

2.5 실험 코퍼스

연구에는 네 곳의 벤더(CrowdStrike, Cyble, EclecticIQ, Mandiant)로부터 수집한 9개의 실제 CTI 보고서가 사용되었으며, 다양한 캠페인 유형(APT, e-crime, 취약점 권고 사항)을 다룹니다. APT28(FancyBear) 보고서에 대한 심층 사례 연구가 수행되었습니다.

3. 주요 결과

실험은 생성된 탐지 계획의 내구성과 관련하여 일관된 결과를 도출했습니다:

• IOC 회전 탄력성: APT28 사례 연구에서 보고서 내의 모든 IOC(IP, 도메인, 해시)가 교체되었을 때(공격자의 회피 시뮬레이션), GraphRAG 계획은 100%의 탐지가 계속 작동한 반면, Standard RAG 계획은 29%만 작동했습니다.
• 피라미드 레벨 이동: APT28 사례 연구는 IOC 회전 후에도 GraphRAG 계획이 더 높은 피라미드 레벨(L4–L7)에서 탐지를 유지함을 명시적으로 보여주었습니다. 반면 Standard RAG 계획은 그러지 못했습니다. 네 곳의 벤더로부터 얻은 9개의 실제 CTI 보고서에 대해 반복된 비교 실험에서도 동일한 일반적 패턴이 확인되었습니다. 즉, 두 시스템이 유사한 총점을 기록하더라도 GraphRAG 계획은 Standard RAG에 비해 일관되게 더 높고 회피하기 어려운 피라미드 레벨에 도달했습니다. 다만, 모든 9개 보고서에 대한 피라미드 레벨별 세부 내역(L4–L7 vs. L1–L3)은 텍스트에 명시적으로 상세히 기술되지 않았으며, 광범위한 실험은 개별적인 레벨별 비교보다는 전반적인 경향성을 확인하는 데 중점을 두었습니다.
• 프롬프트 민감도: 검색 아키텍처(GraphRAG vs. Standard)가 지배적인 요인이었으나, 연구는 생성 프롬프트의 문구가 결과에 상당한 영향을 미친다는 점에 주목했습니다. 행동 기반 탐지 요구 사항을 엄격히 준수하도록 하기 위해 "강화된" 프롬프트가 필수적이었습니다.
• 실패 모드: 연구는 파이프라인 고유의 특정 실패 모드를 식별했습니다:
  • GraphRAG 글로벌 검색: 짧은 보고서(커뮤니티가 3~4개 미만인 경우)에서 조용히 실패하여 거의 빈 듯한 답변을 생성함.
  • 판단 모델 (Judge Model): 8B 판단 모델은 점수 합산 시 산술 오류를 보였고, 긴 출력값에 대해 JSON 파싱 실패를 보였으며, 이에 따라 프로그래밍 방식의 재계산 및 다회차 평가 전략이 필요했습니다.

4. 기여도

본 논문은 네 가지 구체적인 기여를 합니다:

1. 재현 가능한 파이프라인: 통합된 프롬프트와 로컬 LLM을 사용하여 CTI PDF를 위협 헌팅 계획으로 변환하는 세 가지 서로 다른 검색 백엔드(GraphRAG Local, GraphRAG Global, Standard RAG)를 갖춘 완전한 온프레미스 파이프라인을 제공합니다.
2. 특화된 평가 하네스: 탐지 엔지니어링에 맞춤화된 다회차 LLM-as-Judge 시스템으로, 명시적인 점수 상한/하한과 단계별 카운팅 절차를 갖춘 사이버 보안 도메인 특화 판단 모델을 특징으로 하며, 이를 통해 실질적인 IOC가 부족함에도 잘 작성된 것처럼 보이는 계획이 받는 "보상 해킹(reward hacking)"을 방지합니다.
3. 경험적 평가:
   • 기준별 점수를 제공하는 APT28 권고 사항에 대한 심층 사례 연구.
   • 탄력성 측면에서 GraphRAG의 우월성 패턴을 확인하는 4개 벤더의 9개 실제 보고서에 대한 광범위한 실험.
4. 실패 모드 특성화: (짧은 텍스트에서의 GraphRAG Global, 8B 모델의 산술/JSON 오류 등) 핵심 아키텍처 비교와 구별되는 파이프라인 고유의 실패 모드에 대한 상세한 분석.

5. 의의 및 주장

본 논문은 지식 그래프를 인식하는 검색이 자동으로 SOC 배포 가능한 헌팅 계획을 생성하기 위한 아키텍처적으로 올바른 기초라고 주장합니다. 결과는 벡터 유사도 기반 검색에서 그래프 기반 검색으로 전환하는 것이 생성된 출력의 본질을 근본적으로 변화시켜, 취약한 IOC 의존형 규칙에서 내구성이 있는 행동 기반 헌팅 전략으로 이동시킨다는 것을 입증합니다.

저자들은 검색 백엔드가 매우 중요하지만, 생성 프롬프트의 문구 또한 그 자체만큼이나 "중요하다"는 점을 강조합니다. 이 연구는 모든 CTI 운영화 과제를 해결한다고 주장하는 것이 아니라, GraphRAG가 "고통의 피라미드" 프레임워크와 정렬됨으로써 자동화된 탐지 계획의 운영 수명을 유의미하게 연장한다는 증거를 제공합니다.