DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

기술 요약: DEFENGRAPH

문제 정의
대규모 언어 모델(LLM)은 사이버 보안 의사결정 분야에서 유망한 가능성을 보여주지만, 고도의 긴박함과 시간적 변화가 발생하는 환경에서는 치명적인 한계점을 드러냅니다. 구체적으로, LLM은 환각(hallucination) 현상을 보이기 쉽고, 시간적 추론에 어려움을 겪으며, 특정 시스템 컨텍스트에 대한 근거(grounding)가 부족합니다. 표면적 또는 임베딩 기반 유사성에 의존하는 기존의 검색 증강 생성(RAG) 방식은 부적절한 문서(예: 리눅스 경보에 대해 윈도우 침해 사고 티켓을 검색하는 경우)를 검색하여 LLM의 추론을 혼란스럽게 만드는 경우가 많습니다. 또한, 사이버 보안 데이터는 낮은 신호 대 잡음비(signal-to-noise ratio)를 특징으로 하며, 방대한 양의 정상적이거나 오도하는 로그(예: 잘못 입력된 비밀번호)를 포함하고 있어 표준적인 지식 그래프(KG) 검색 방법으로는 이를 효과적으로 필터링하지 못합니다. 핵심 과제는 장기적인 도메인 지식과 실시간으로 진화하는 이벤트 컨텍스트 모두에 LLM의 출력을 결합하여, 충실하고 시간적으로 인지된 방어 전략을 제공할 수 있는 시스템을 구축하는 것입니다.

방법론: DEFENGRAPH 프레임워크
저자들은 블루 팀(Blue Team) 방어자를 지원하기 위해 설계된 이중 계층 지식 그래프 강화 RAG 프레임워크인 DEFENGRAPH를 제안합니다. 이 시스템은 다음과 같은 파이프라인을 통해 구조화된 지식 표현과 LLM 기반 생성을 통합합니다.

1. 이중 계층 지식 그래프 구축:

   • 정적 지식 그래프 (SKG): 사이버 레인지 블루프린트 및 문서에서 추출한 장기적 인프라 지식, 시스템 아키텍처, 전형적인 공격자 행동 및 역사적 방어 플레이북을 인코딩합니다.
   • 동적 지식 그래프 (DKG): 실전 훈련 중에 기록된 시간 변화에 따른 보안 이벤트, 공격자 흔적 및 방어자 티켓 조치를 포착합니다. 노드에는 경보, 티켓, IP, 파일 등이 포함되며, 엣지는 시간적 및 의미적 관계를 인코딩합니다.

2. 그래프 기반 검색 프로세스 (GRP):
   SIEM(Wazuh) 경보를 수신하면, 시스템은 쿼리 그래프를 구성하고 다음 방법을 사용하여 SKG 및 DKG로부터 관련 서브그래프를 검색합니다:

   • 의미 기반 트리플 매칭 (STM): 사전 학습된 언어 모델을 사용하여 쿼리와 지식 베이스 간의 트리플(엔티티, 관계, 엔티티)을 인코딩하고 매칭합니다.
   • 경로 전파 점수 (PMC): 이웃 트리플의 특징을 집계하여 경로 매칭 점수를 계산함으로써 가장 관련성이 높은 경로를 식별합니다.
   • 서브그래프 합성: 상위 매칭 경로들을 하나의 서브그래프로 병합하며, 주변 컨텍스트를 포착하기 위해 2-홉(2-hop) 이웃을 샘플링합니다.

3. LLM 기반 컨텍스트 필터링 및 재순위화:
   검색된 서브그래프에 내재된 노이즈 문제를 해결하기 위해, DEFENGRAPH는 두 가지 LLM 기반 모듈을 채택합니다:

   • 컨텍스트 필터 (CF): 검색된 경로를 특정 경보 컨텍스트와 대조하여 가장 관련성이 높은 엔티티와 경로를 점수화하고 선택하며, 부적절한 "그레이(grey)" 노드를 필터링합니다.
   • 추론 재순위화기 (Reasoning Re-ranker): **시간적 가중치 할당(Temporal Weight Assignment)**을 포함하여, 필터링된 경로를 경보와의 관련성 및 역사적 지식에 따라 재정렬합니다. 이는 시스템이 최근의 진화하는 위협을 우선시하도록 쿼리 시점과 가까운 엔티티에 더 높은 가중치를 부여합니다.

4. 방어 활동 생성:
   최종적으로 순위가 매겨진 추론 경로는 LLM 프롬프트에 삽입되어, 인간의 방어 관행과 일치하는 실행 가능하고 컨텍스트를 인지한 완화 전략을 생성합니다.

주요 기여

• DEFENGRAPH 프레임워크: 정적 도메인 지식과 동적 실시간 이벤트 데이터를 결합하여 컨텍스트를 인지한 방어 전략을 생성하는 새로운 시간적 KG-RAG 프레임워크입니다.
• ACDC 사이버 레인지 데이터셋: 시뮬레이션된 해양 항만 환경에서의 실전 레드 vs 블루 팀 훈련에서 파생된 포괄적인 사이버 보안 데이터셋을 구축하고 공개했습니다. 여기에는 820만 개 이상의 방화벽 로그, 610만 개의 Wazuh 경보, 326개의 침해 사고 대응 티켓 및 레드 팀 흔적이 포함되어 있으며, 이는 현실적이고 노이즈가 많으며 이질적인 데이터 소스를 나타냅니다.
• 성능 향상: DEFENGRAPH가 여러 모델(GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3)에 걸쳐 LLM 출력의 충실성과 해석 가능성을 크게 향상시킨다는 것을 입증했습니다. 이는 인간이 작성한 그라운드 트루스(ground truth)와 더 밀접하게 일치하는 방어 권고안을 생성합니다.

실험 결과
본 프레임워크는 ACDC 데이터셋을 사용하여 4개의 주요 LLM에 대해 평가되었으며, LLM 단독, 하이브리드 RAG, GraphRAG를 포함한 베이스라인들과 비교되었습니다. 주요 결과는 다음과 같습니다:

• 추론 재현율 (Reasoning Recall, RAR): GPT-4o 기준으로, DEFENGRAPH는 추론 재현율을 61.45%(SKG 전용)에서 73.49%(전체 모델)로 향상시켰습니다. LLaMA-3(46.99% → 61.45%) 등 다른 모델에서도 유사한 이점이 관찰되었습니다.
• 티켓-액션 재현율 (Ticket-Action Recall, TAR): 시스템은 그라운드 트루스 방어 조치의 훨씬 더 높은 비율을 복구했습니다. GPT-4o의 경우, TAR가 52.17%에서 72.46%로 증가했습니다.
• 정밀도 및 오류율: 정밀도(TAP)는 완만한 상승(GPT-4o 기준 24.49% → 29.24%)을 보였으나, 시스템은 낮은 오류 액션 비율(4% 미만)을 유지했습니다. 오류는 주로 인간 방어자가 쉽게 식별할 수 있는 과잉 대응이나 오탐(false positive)으로 구성되었습니다.
• 콜드 스타트 강건성 (Cold-Start Robustness): 이전 티켓 이력이 없는 시나리오(DKG 리셋)에서도 시스템은 강력한 추론 능력을 유지했으나, 액션 재현율은 감소하여 정밀한 액션 정렬을 위한 동적 컨텍스트의 중요성을 강조했습니다.
• 어블레이션 연구 (Ablation Studies): 실험 결과 정적 및 동적 KG가 모두 필수적임을 확인했습니다. DKG를 제거하면 TAR가 약 20% 감소했고, SKG를 제거하면 약 25% 감소하여, 역사적 구조와 실시간 컨텍스트 모두의 필요성을 입증했습니다.

의의
본 논문은 DEFENGRAPH를 근거가 있고 시간적 인지가 가능한 사이버 보안 의사결정 지원을 위한 최첨단 솔루션으로 자리매김합니다. 침입 탐지, 공격 추적 또는 위협 인텔리전스 구조화에 집중하는 기존의 KG 기반 시스템과 달리, DEFENGRAPH는 실행 가능한, 티켓과 정렬된 완화 단계를 생성하는 것을 직접적인 목표로 합니다. 이중 계층 그래프와 LLM 기반 필터링 및 재순위화를 통합함으로써, 본 프레임워크는 노이즈가 많은 구조화된 도메인에서 전통적인 RAG의 취약성을 해결하고, LLM이 정적 시스템 토폴로지와 동적인 공격 진화 모두를 반영하는 충실한 추론을 제공할 수 있게 합니다. 저자들은 이 접근 방식이 KG 기반의 이해와 운영에 유용한 대응 가이드 사이의 간극을 메운다고 주장합니다.