OntoLogX: Ontology-Guided Knowledge Graph Extraction from Cybersecurity Logs with Large Language Models

다음은 논문 "OntoLogX: Ontology-Guided Knowledge Graph Extraction from Cybersecurity Logs with Large Language Models"에 대한 상세한 기술 요약입니다.

1. 문제 정의

사이버보안 시스템 로그는 공격자 행동, 취약점, 악성 흔적에 대한 증거를 포함하고 있어 사이버 위협 인텔리전스 (CTI) 의 핵심 원천입니다. 그러나 이러한 로그에서 실행 가능한 인텔리전스를 추출하는 과정은 여러 가지 장애물에 직면해 있습니다.

• 비구조화 및 이질적인 데이터: 다양한 장치와 세션 간에 로그의 형식, 구문, 의미론이 크게 다릅니다.
• 분절성: 공격 시나리오는 종종 여러 로그 항목에 걸쳐 분산되어 있어 전체 서사를 재구성하기 어렵습니다.
• 전통적 방법의 한계: 규칙 기반 파서와 휴리스틱은 진화하는 위협 행동과 다양한 로그 형식 전반에 걸쳐 일반화되는 적응력이 부족합니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 자연어 처리에 뛰어나지만, 사실적 일관성, 도메인 특화 기반, 그리고 중대한 사용자 개입이나 전처리 없이 구조적으로 유효한 출력을 생성하는 능력에서 종종 부족합니다.

핵심 문제는 수동 개입 없이 노이즈가 섞인 원시 로그 데이터를 일관되고 의미론적으로 일관되며 상호 운용 가능한 지식 그래프 (KG) 로 변환하면서도, 출력이 엄격한 도메인 온톨로지를 준수하도록 보장하는 자율 시스템의 필요성입니다.

2. 방법론: OntoLogX 프레임워크

OntoLogX 는 로그 이벤트를 순차적 및 점진적으로 처리하도록 설계된 자율 AI 에이전트입니다. 이는 LLM, 검색 증강 생성 (RAG), 그리고 반복적 검증을 활용하여 온톨로지 기반의 KG 를 구축합니다. 워크플로우는 네 가지 주요 단계로 구성됩니다.

A. 온톨로지 설계

시스템은 사이버보안에 맞춰 조정된 경량 맞춤형 로그 온톨로지를 사용합니다.

• 구조: Event, Source(장치/애플리케이션), Parameter(예: 타임스탬프, 네트워크 주소, 사용자), UserCredential 과 같은 핵심 클래스를 정의합니다.
• 정렬: 상호 운용성을 보장하기 위해 표준 출처 온톨로지 (예: prov-o) 와 W3C 시간 온톨로지에 매핑됩니다.
• 검증: 구문 및 의미론적 유효성을 보장하기 위해 동반 SHACL(Shapes Constraint Language) 스키마가 속성 카디널리티, 데이터 유형, 필수 필드에 대한 제약을 강제합니다.

B. 하이브리드 검색 (RAG)

새로운 로그 이벤트에 대한 KG 를 생성하기 전에 OntoLogX 는 퓨샷 프롬프트 (few-shot prompts) 역할을 할 의미론적으로 유사한 과거 예시를 검색합니다.

• 하이브리드 검색: 이전에 생성된 KG 의 그래프 데이터베이스에 대해 벡터 검색(의미론적 유사성용) 과 전체 텍스트 검색(정확한 키워드 매칭용) 을 결합합니다.
• 재순위화: 시스템은 단일 해석 주위에서 군집화되는 대신 다양한 패턴을 포괄하도록 관련성과 다양성을 균형 있게 맞추기 위해 **최대 한계 관련성 (MMR)**을 사용합니다.

C. 온톨로지 유도 생성

LLM 은 원시 로그, 선택적 컨텍스트 (예: 장치 유형), 그리고 검색된 예시를 기반으로 후보 KG 를 생성합니다.

• 구조화된 출력: 모델은 온톨로지에 의해 정의된 사전 정의된 스키마 (예: JSON 또는 Turtle 형식) 로 출력을 제한받아 자유 형식 텍스트 생성을 방지합니다.
• 모델 중립성: 프롬프트 설계는 일반적이어서 다양한 LLM 백엔드와의 호환성을 허용합니다.

D. 반복적 검증 및 수정

LLM 환각 및 구조적 오류를 완화하기 위해 OntoLogX 는 자기 수정 루프를 사용합니다.

1. 구문 검사: 출력 형식을 확인합니다.
2. 온톨로지 준수: SHACL 규칙에 대해 출력을 실행합니다.
3. 의미론적 검증: 논리적 불일치 (예: 누락된 Event 노드, 정의되지 않은 관계) 를 확인합니다.
4. 수정 프롬프트: 위반 사항이 발견되면 시스템은 특정 오류를 수정하기 위해 LLM 에게 타겟팅된 프롬프트를 생성합니다. 이 루프는 유효한 KG 가 생성되거나 시스템이 빈 그래프로 기본값을 설정할 때까지 최대 3 회 반복됩니다.

E. 하류 응용: 전술 예측

KG 가 생성되어 (시간적 또는 논리적 근접성에 기반한) 세션으로 그룹화되면, 최종 LLM 호출이 집계된 그래프를 분석하여 MITRE ATT&CK 전술을 예측합니다. 이는 저수준 로그 증거와 고수준 적대적 목표 간의 간극을 연결합니다.

3. 주요 기여

1. 경량 로그 온톨로지 및 SHACL 스키마: 원시 로그에서의 자동 추출에 필요한 단순성과 표현력 사이의 균형을 맞추도록 설계된 도메인 특화 스키마.
2. OntoLogX 에이전트: 인간의 개입 없이 원시 로그를 온톨로지 준수 KG 로 자율적으로 변환하는 검색 증강 및 LLM 기반 에이전트.
3. 반복적 수정 메커니즘: SHACL 검증을 사용하여 LLM 출력을 반복적으로 정제하는 새로운 피드백 루프로, 구조적 정확성을 크게 향상시킵니다.
4. 실증적 평가: 공개 벤치마크 데이터셋과 실제 허니팟 데이터셋 모두에서 시스템을 평가하고, 시스템 구성 요소에 대한 제거 연구 및 여덟 가지 다른 LLM 간의 비교를 포함한 포괄적인 연구.

4. 실험 결과

저자들은 AIT 로그 데이터셋(이질적, 비공격 중심) 과 Cowrie 허니팟 데이터셋(실제 적대적 활동) 두 가지 데이터셋에서 Llama 3.3, Claude 3.5, Mistral, Qwen3 Coder 를 포함한 여덟 가지 LLM 을 사용하여 OntoLogX 를 평가했습니다.

• KG 구축 품질:

  • 성능: 전체 파이프라인 (검색 + 구조화된 출력 + 수정) 이 가장 높은 정밀도, 재현율 및 F1 점수를 달성했습니다.
  • 모델 비교: Claude Sonnet 4와 **Qwen3 Coder (32B)**가 가장 잘 수행했습니다. 특히 코드 특화 모델 (Qwen) 과 추론 모델은 다양한 성공을 보였으며, 추론 모델 (예: gpt-oss) 은 구조화된 출력 도구에서 어려움을 겪어 종종 함수를 올바르게 호출하지 못했습니다.
  • 제거 연구: 검색 및 수정 메커니즘이 중요했습니다. 검색만으로도 일관성이 향상되었으나, 수정은 SHACL 위반을 크게 감소시켰습니다.
  • 트레이드오프: G-Eval 점수(의미론적 풍부함) 와 F1 점수(구조적 정밀도) 사이에는 트레이드오프가 존재합니다. 저자들은 노이즈가 있지만 의미론적으로 "풍부한" 그래프를 피하기 위해 균형 잡힌 접근 방식 (G-Eval 약 0.7–0.8) 이 최적이라고 주장합니다.

• MITRE ATT&CK 전술 예측:

  • OntoLogX 는 원시 로그에서 직접 전술을 예측하는 베이스라인 (LLM) 보다 우수한 성능을 보였습니다.
  • 강점: 구조화된 개체에 대한 다단계 추론이 필요한 Discovery, Credential Access, Defense Evasion과 같은 복잡하고 컨텍스트에 의존하는 전술에 대해 **재현율 (Recall)**이 뛰어났습니다.
  • 한계: Persistence와 같이 장기 상관관계가 필요한 전술의 경우 성능이 낮았는데, 이는 종종 짧은 로그 세션에서 완전히 포착되지 않는 환경적 컨텍스트에 의존하기 때문입니다.

5. 중요성 및 향후 작업

중요성:

• 자동화: OntoLogX 는 자율 에이전트가 비구조화 로그와 구조화 CTI 간의 간극을 효과적으로 연결하여 수동 파싱 및 규칙 공학의 필요성을 줄임을 입증했습니다.
• 상호 운용성: 출력을 표준 온톨로지에 기반함으로써 시스템은 의미론적 쿼리 및 기존 CTI 프레임워크와의 통합을 가능하게 합니다.
• 실행 가능한 인텔리전스: 저수준 이벤트를 MITRE ATT&CK 전술에 매핑하는 능력은 보안 분석가에게 즉각적이고 고수준의 위협 컨텍스트를 제공합니다.

한계 및 향후 방향:

• 컴퓨팅 비용: LLM 에 대한 의존성은 지연 시간과 비용을 초래하여 고처리량 실시간 환경에서는 어려울 수 있습니다.
• 할루시네이션: RAG 및 검증이 위험을 줄이지만, 할루시네이션을 완전히 제거할 수는 없습니다.
• 확장성: 향후 작업은 리소스 오케스트레이션을 최적화하고, 점진적 학습을 탐구하며, 다양한 기업 및 산업 로그 소스를 포괄하도록 온톨로지를 확장하는 것을 목표로 합니다.

결론적으로, OntoLogX 는 자동화된 사이버 위협 인텔리전스 분야에서 중요한 진전을 나타내며, 온톨로지 유도 제약과 LLM 의 생성적 능력을 결합하면 견고하고 해석 가능하며 실행 가능한 보안 통찰력을 얻을 수 있음을 입증했습니다.