Enabling Transparent Cyber Threat Intelligence Combining Large Language Models and Domain Ontologies

"Enabling Transparent Cyber Threat Intelligence: Combining Large Language Models and Domain Ontologies"라는 제목의 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

사이버 위협 인텔리전스 (CTI) 는 사이버 보안 시스템 로그에서 실행 가능한 통찰력을 추출하는 데 의존합니다. 그러나 현재 방법론은 다음과 같은 중대한 과제에 직면해 있습니다:

• 비정형 데이터: 로그 항목은 종종 비정형적이며, 구문적으로 불일치하고, 의미론적으로 모호하여 자동화된 해석을 어렵게 만듭니다.
• 전통적 방법의 한계: 규칙 기반 또는 휴리스틱 접근 방식은 진화하는 위협 행동과 새로운 공격 패턴에 대한 적응력이 부족합니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 자연어 처리에서 유망한 결과를 보여주지만, 도메인 특화 컨텍스트에서 정밀도가 부족하고, 환각 (hallucinations) 에 시달리며, 사이버 보안 스키마에 대한 엄격한 준수나 구조적 일관성이 결여된 출력을 생성하는 경향이 있습니다.
• 투명성 격차: 기존 AI 기반 추출은 종종 "블랙박스"로 작동하여, 인간 분석가가 추출된 위협 지표를 신뢰하고 검증하는 데 필요한 설명 가능성을 제공하지 못합니다.

해결하려는 구체적인 과제는 (특히 허니팟에서 나오는) 비정형 로그 데이터를 자동 추론 및 쿼리에 적합한 형식으로 정확하고 투명하며 의미론적으로 구조화할 수 있는 방법의 필요성입니다.

2. 방법론: OntoLogX

저자들은 원시 로그에서 구조화된 지식 그래프 (KG) 를 생성하기 위해 도메인 온톨로지와 **대규모 언어 모델 (LLM)**을 통합하는 AI 에이전트 방법론인 OntoLogX를 제안합니다. 워크플로우는 다음과 같이 작동합니다:

A. 핵심 구성 요소

1. 맞춤형 로그 온톨로지: 자유 텍스트 로그를 구문 분석하기 위해 경량이고 평탄한 온톨로지가 설계되었습니다. STIX 나 UCO 와 같은 복잡한 표준 (미리 구조화된 데이터를 가정함) 과 달리, 이 온톨로지는 원시 텍스트에서 직접 핵심 엔티티 (이벤트, 사용자, 애플리케이션, 파일, 네트워크 주소, 소스, URL) 와 관계를 포착합니다.
2. SHACL 제약 조건: 온톨로지는 생성된 그래프의 구조적 및 의미론적 유효성 (예: 카디널리티, 데이터 유형, 필수 속성) 을 강제하기 위해 Shapes Constraint Language (SHACL) 명세와 짝을 이룹니다.
3. AI 에이전트 파이프라인:
   • 검색 (Few-Shot Learning): 새로운 로그 이벤트가 도착하면 시스템은 **Maximal Marginal Relevance (MMR)**를 사용하여 벡터 저장소를 쿼리하여 의미적으로 유사하게 이전에 생성된 KG 를 검색합니다. 이는 관련성을 유지하면서 예시의 다양성을 보장합니다.
   • 생성: LLM 에는 원시 로그, 컨텍스트, 검색된 예시 및 온톨로지에서 파생된 엄격한 규칙이 프롬프트로 제공됩니다. LLM 은 특정 JSON 형식으로 KG 를 생성하도록 지시받습니다.
   • 수정 (반복 피드백): 시스템은 유효성 검사 루프를 사용합니다. 생성된 출력이 SHACL 제약 조건이나 온톨로지 스키마를 위반하는 경우, 맞춤형 수정 프롬프트가 LLM 으로 다시 전송되어 특정 오류를 수정합니다. 이 사이클은 유효한 그래프가 생성되거나 시도가 포기될 때까지 최대 3 회 반복됩니다.

B. 기술적 구현

• 프레임워크: Python 과 LangChain 을 사용하여 구축되었습니다.
• 저장소: 의미론적 검색을 위한 벡터 인덱싱이 포함된 Neo4j 그래프 데이터베이스.
• 출력 제어: LLM 이 엄격한 스키마를 준수하도록 강제하여 포맷 오류를 줄이기 위해 구조화된 출력 도구 (Pydantic) 를 사용합니다.

3. 주요 기여

• 새로운 하이브리드 아키텍처: 이 논문은 프롬프트 기반 LLM 과 엄격한 온톨로지 기반 제약 조건 및 SHACL 검증을 결합한 새로운 접근 방식을 소개하여, CTI 추출을 위한 "자기 수정" 에이전트를 창출합니다.
• 경량 온톨로지 설계: 원시 텍스트와 복잡한 CTI 표준 (STIX/SEPSES 등) 간의 격차를 해소하기 위해 비정형 로그 구문 분석에 맞춘 특수하고 최소한의 온톨로지를 생성했습니다.
• 투명한 AI 파이프라인: 추출을 안내하기 위해 자연어 프롬프트를 사용하고 반복적 수정을 허용함으로써 AI 의사 결정 과정의 설명 가능성과 감사 가능성을 향상시킵니다.
• 반복 수정 메커니즘: 시스템이 SHACL 제약 조건에 대해 자체 출력을 검증하고 특정 수정을 요청하는 피드백 루프를 포함함으로써, 단일 통과 생성에 비해 데이터 품질이 크게 향상되었습니다.

4. 실험 결과

이 방법론은 5 개의 서로 다른 LLM(Claude 3.5, Llama 3.3, Mistral Large, Qwen 2.5 Coder 포함) 을 대상으로 AIT-LDS 데이터셋(70 개의 다양한 로그 항목) 을 사용하여 평가되었습니다.

• 비교: OntoLogX 는 검색이나 수정이 없는 프롬프트 전용 접근 방식인 Baseline과 비교되었습니다.
• 성능 지표: 정밀도 (Precision), 재현율 (Recall), F1 점수, G-Eval(의미론적 충실도), SHACL 위반률.
• 주요 발견:
  • 우수한 정확도: OntoLogX 는 거의 모든 모델과 지표에서 Baseline 을 일관되게 능가했습니다.
  • 재현율 및 정밀도: 정밀도 (환각 감소) 와 재현율 (더 완전한 추출) 모두에서 유의미한 개선이 관찰되었습니다. 예를 들어, Claude 3.5 Sonnet은 OntoLogX 하에서 가장 높은 F1 점수 (0.859) 와 G-Eval 점수 (0.767) 를 달성했습니다.
  • 강건성: 이 방법은 SHACL 위반을 크게 줄여 출력이 구조적으로 유효하도록 보장했습니다.
  • 모델 편차: 대부분의 모델이 개선되었으나, Mistral Large는 예외적으로 일부 지표에서 Baseline 에서 약간 더 좋은 성능을 보여, 특정 구조화된 프롬프팅이나 도구 지원 워크플로우와의 호환성이 낮을 수 있음을 시사했습니다.
  • 효율성: 이 접근 방식은 속도보다 추출 품질을 우선시하며, 로그 항목당 처리 시간은 Llama 3.3 의 1.4 초에서 Mistral Large 의 9.8 초까지 다양합니다.

5. 중요성 및 향후 작업

• CTI 에 미치는 영향: 이 연구는 의미론적 제약과 LLM 을 결합하면 노이즈가 많은 로그 데이터를 실행 가능하고 쿼리 가능한 인텔리전스로 변환하는 강력하고 투명하며 매우 정확한 시스템을 창출함을 보여줍니다. 이는 능동적 위협 헌팅과 자동화된 대응에 중요합니다.
• 확장성: 경량 온톨로지를 사용하면 복잡한 전처리 오버헤드 없이 허니팟, 감사 로그 등 다양한 로그 소스를 처리할 수 있습니다.
• 향후 방향:
  • Human-in-the-Loop: 분석가가 KG 를 검증하고 정제할 수 있는 인터랙티브 인터페이스 개발.
  • 적응형 학습: 새로운 적대적 전술에 적응하기 위해 분석가 피드백으로부터 학습하는 메커니즘 구현.
  • 표준 정렬: 기존 CTI 플랫폼과의 상호 운용성을 보장하기 위해 맞춤형 온톨로지와 확립된 표준 (SEPSES, UCO, MISP) 간의 매핑을 공식화.
  • 특화 모델: 더 나은 그래프 생성 및 수정 능력을 위해 작업 특화 LLM(예: Qwen 3 과 같은 코드 생성 모델) 탐색.

결론적으로, OntoLogX 는 검증 가능하고 온톨로지에 의해 안내되는 인텔리전스 파이프라인을 향해 "블랙박스" 추출을 넘어, AI 기반 사이버 위협 인텔리전스를 정확하고 설명 가능하게 만드는 중요한 진전을 나타냅니다.