From Threat Intelligence to Detection: Knowledge-driven Enrichment and Template-based Rule Grounding for Automated Sigma Rule Generation

기술 요약: AUTOSIGMA – 비정형 CTI로부터의 자동화된 Sigma Rule 생성

문제 정의
지능형 지속 위협(APT)의 급격한 진화는 사이버 위협 인텔리전스(CTI)를 실행 가능한 탐지 역량으로 동적으로 전환할 것을 요구합니다. 업계 리더들이 제공하는 CTI 보고서는 전술, 기법 및 절차(TTP)에 관한 귀중한 맥락을 제공하지만, 일반적으로 비정형적인 서사 형태로 발표됩니다. 이러한 서사를 기계 판독이 가능한 탐지 로직, 특히 SIEM 시스템을 위한 플랫폼 독립적 스키마인 Sigma rule로 변환하는 과정은 현재 수동적이며, 노동 집약적이고, 오류가 발생하기 쉬운 프로세스입니다.

기존의 자동화된 접근 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

1. 입력 의존성: 기존의 많은 도구들(예: TTPDRILL, THREATRAPTOR)은 잘 구조화된 입력을 요구하거나, 여전히 광범한 수동 큐레이션을 거쳐야 배포 가능한 탐지 규칙이 되는 출력물(지식 그래프 등)을 생성합니다.
2. 커버리지 격차: 기존의 Sigma rule 저장소는 MITRE ATT&CK 패턴의 극히 일부(약 31%)만을 다루고 있어, 문서화된 많은 행위들이 준비된 탐지 규칙 없이 방치되어 있습니다.
3. LLM의 한계: LLM을 사용한 최근의 규칙 생성 시도들은 환각(hallucination) 현상을 겪거나, 구문론적 정확성이 결여되거나, 외부적인 근거(grounding) 없이는 희소하거나 노이즈가 섞인 입력 보고서를 처리하지 못하는 문제를 보입니다.

방법론: AUTOSIGMA 파이프라인
AUTOSIGMA는 비정형 CTI 보고서를 검증되고 배포 가능한 Sigma rule로 변환하도록 설계된 엔드 투 엔드 자동화 솔루션입니다. 이 시스템은 모듈형의 4단계 파이프라인을 통해 작동합니다:

1. 맥락 분석 (Contextual Analysis):

   • 전처리 (Preprocessing): 가공되지 않은 위협 보고서는 분석을 위해 텍스트 클리닝, 정규화 및 세분화 과정을 거칩니다.
   • 추출 (Extraction): 시스템은 LLM(특히 Lily-Cybersecurity-7B와 같은 미세 조정된 모델)을 사용하여 개체명 인식(NER)을 수행하고 TTP를 추출합니다. 대규모 주석 데이터셋을 필요로 하는 전통적인 NLP 모델과 달리, LLM 방식은 다양한 보고서 형식에 대해 더 나은 일반화 성능을 보입니다. 추출된 엔티티는 MITRE ATT&CK 지식 베이스와 정렬됩니다.

2. 공격 이해 (Attack Understanding):

   • 강화 (Enrichment): 불완전하거나 모호한 입력을 완화하기 위해, AUTOSIGMA는 외부 지식 베이스를 쿼리합니다. 국가 취약점 데이터베이스(NVD)로부터 취약점에 대한 상세 메타데이터를 검색하고, MITRE ATT&CK 데이터를 통해 위협 행위자를 맥락화(도구, 과거 캠페인 등)합니다.
   • 분해 (Decomposition): 복잡한 공격 시나리오는 원자적이고 불연속적인 공격 단계들로 분해됩니다. 이는 각 특정 악성 행위가 하나의 잠재적으로 결함이 있는 전체 캠페인을 하나의 규칙에 담으려 하기보다, 별도의 세밀한 Sigma rule로 매핑되도록 보장합니다.

3. 템플릿 매칭 (Rule Grounding):

   • 임베딩 및 검색 (Embedding & Retrieval): 시스템은 강화된 공격 단계와 선별된 Sigma rule 저장소(SigmaHQ로부터)를 BERT 기반 모델을 사용하여 벡터 임베딩으로 변환합니다.
   • 유사도 검색 (Similarity Search): 계층적 그래프 구조(DAG)가 플랫폼 및 카테고리에 따라 Sigma 저장소를 조직하여 검색 효율성을 최적화합니다. AUTOSIGMA는 현재의 공격 단계와 밀접하게 일치하는 기존 규칙을 식별하기 위해 의미론적 유사도 검색(BERTScore 사용)을 수행합니다.
   • 그라운딩 (Grounding): 검색된 규칙들은 템플릿 역할을 하며, 이를 통해 생성된 규칙이 구문론적 정확성을 상속받고 산업 표준의 모범 사례와 일치하도록 보장합니다.

4. 규칙 생성 및 정제 (Rule Generation & Refinement - LLM-as-a-Judge):

   • 이중 LLM 루프 (Dual-LLM Loop): 시스템은 두 개의 LLM 인스턴스 간의 적대적 협업을 활용합니다:
     • 규칙 생성기 (LLM-1): 공격 단계의 맥락과 검색된 템플릿을 바탕으로 초기 Sigma rule 초안을 생성합니다.
     • 규칙 검증기 (LLM-2): 사전 정의된 기준(구문론적 유효성, 논리적 타당성, 형식 준수 및 공격과의 의미론적 일치 여부)에 따라 초안을 비판합니다.
   • 반복 프로세스 (Iterative Process): 검증기는 구조화된 피드백(예: 필드 이름 수정, 조건 강화)을 제공합니다. 생성기는 규칙을 수정하며, 규칙이 품질 임계치를 충족할 때까지(최대 5회 반복) 이 루프는 계속됩니다. 이 메커니즘은 특히 환각 완화와 품질 향상을 목표로 합니다.

주요 기여

• 완전 자동화된 파이프라인: AUTOSIGMA는 맥락 분석, 템플릿 기반 검색, 생성적 정제를 하나의 자동화된 워크플로우로 통합하여 수동 노력을 줄입니다.
• 지식 기반 강화: 외부 데이터베이스(NVD, MITRE ATT&CK)를 통합함으로써, 시스템은 희소한 입력 데이터에 대한 결함을 보완하여 견고한 규칙 생성을 가능하게 합니다.
• 템플릿 기반 그라운딩: 순수 생성 방식과 달리, AUTOSIGMA는 검증된 기존 Sigma 패턴 저장소에 새로운 규칙을 근거(grounding)로 두어 구문론적 정확성과 관련성을 보장합니다.
• 반복적 검증: "LLM-as-a-Judge" 메커니즘은 피드백 루프를 제공하여 규칙을 반복적으로 정제함으로써, 자동 생성 시 발생하는 흔한 문제인 LLM의 환각 및 구문 오류를 해결합니다.
• 원자적 분해: 시스템은 복잡한 시나리오를 원자적 단계로 분해하여, 결과적인 탐지 로직의 세밀함과 모듈성을 향상시킵니다.

평가 및 결과
저자들은 실제 APT 보고서(APT41, APT28, APT29)와 여러 보안 블로그를 사용하여 AUTOSIGMA를 평가했습니다. 시스템은 최신 솔루션(INTELEX 및 LLMCLOUDHUNTER 포함) 및 표준 LLM 모델들과 비교되었습니다.

• 성능 지표: AUTOSHEMA는 규칙 유효성, 규칙 관련성 및 MITRE ATT&CK 기법 커버리지 측면에서 우수한 성능을 보여주었습니다.
• 견고성: 시스템은 구조화된 입력을 과도하게 의존하는 이전 방법들에 비해 입력 품질의 변화에 대해 더 높은 회복 탄력성을 보여주었습니다.
• 배포 준비성: 생성된 규칙들은 높은 충실도로 위협 행위를 포착하며, 운영 SIEM 환경에 즉시 배포 가능한 수준으로 검증되었습니다.

의의
본 논문은 AUTOSIGMA가 선제적 방어의 핵심 병목 구간인 '서사적 인텔리전스의 실행 가능한 탐지 로직으로의 변환' 문제를 해결한다고 주장합니다. 지식 기반 강화와 템플릿 기반 그 grounding, 그리고 반복적인 LLM 검증을 결합함으로써, AUTOSIGMA는 새로운 위협 보고서가 발생할 때마다 전문가의 규칙 엔지니어를 필요로 하지 않는 확장 가능한 솔루션을 제공합니다. 이 연구는 LLM이 강력하긴 하지만, 신뢰성과 운영 유용성을 보장하기 위해서는 구조화된 제약 조건(템플릿)과 검증 루프(판사)가 필요함을 강조합니다. 이 시스템은 비정형 위협 인텔리전스와 현대적 보안 운영 센터의 구조적 요구 사항 사이의 간극을 효과적으로 메워줍니다.