From IOCs to Regex: Automating CTI Operationalization for SOC with LLMs

논문 개요

이 논문은 사이버 위협 인텔리전스 (CTI) 보고서를 통해 추출된 침해 지표 (IOCs) 를 보안 운영 센터 (SOC) 에서 즉시 실행 가능한 정규식 (Regex) 으로 자동 변환하는 시스템 IOCRegex-gen을 제안합니다. 기존 연구가 IOC 추출에 집중했다면, 본 연구는 추출된 원시 IOC 를 실제 로그 검색 및 SIEM 규칙에 적용 가능한 정교한 정규식으로 변환하는 '실무적 격차 (Operational Gap)'를 해결하는 데 초점을 맞춥니다.

1. 문제 정의 (Problem Statement)

• 수동 프로세스의 비효율성: 현재 SOC 분석가들은 CTI 보고서에서 IOCs 를 추출한 후, 이를 정규식으로 변환하는 작업을 수동으로 수행합니다. 이 과정은 시간이 많이 소요되며, 분석가의 숙련도에 따라 일관성이 떨어집니다.
• 정규식 생성의 복잡성: 단순한 문자열 매칭은 시스템 환경 (경로 구분자, 대소문자, 변수 등) 의 차이로 인해 실패하기 쉽습니다. 분석가는 IOC 의 고정된 부분 (Capture Group) 과 가변적인 부분 (Non-capture Group) 을 구분하여 정교한 정규식을 작성해야 합니다.
• 기존 LLM 적용의 한계: 최근 LLM 을 활용한 IOC 추출 연구는 많지만, 추출된 원시 문자열을 정규식으로 변환하는 단계는 여전히 수동이거나, 생성된 정규식이 문법적으로 유효하지 않거나 (Syntax Error), 너무 포괄적 (Over-generalization) 이어서 실제 탐지에 쓸모없는 경우가 많습니다.
• 핵심 과제:
  1. C1 (Capture Group 식별): IOC 의 어떤 부분이 고정된 패턴 (Capture Group) 이고 어떤 부분이 변형 가능한지 구분하는 것.
  2. C2 (문법 및 의미 정확성): LLM 이 생성한 정규식의 문법 오류와 의미 불일치를 방지하는 것.
  3. C3 (정밀도 vs 일반화): 너무 좁아 탐지를 놓치거나 너무 넓어 오탐 (False Positive) 을 유발하지 않는 균형 잡힌 패턴 생성.

2. 방법론 (Methodology: IOCRegex-gen)

제안된 시스템은 두 가지 핵심 단계로 구성됩니다.

1 단계: 캡처 그룹 찾기 (Capture Group Finding)

• 지식 기반 그래프 데이터베이스: Windows 파일 경로, 레지스트리 키, 명령어 인자 (CLI Args) 등의 표준 구조를 Neo4j 그래프 데이터베이스에 트리 구조로 저장합니다.
• 알고리즘: 추출된 IOC 문자열을 그래프 데이터베이스와 비교하여, 운영체제 표준 구조에 해당하는 부분 (예: C:\Users\Public) 을 Capture Group으로, 공격자가 임의로 생성한 부분 (예: 랜덤 파일명) 을 Non-capture Group으로 자동 분류합니다.
• 거짓 양성 필터링: 캡처 그룹이 전혀 식별되지 않은 IOC 는 추출 단계의 오류로 간주하여 제거합니다.

2 단계: 추론 기반 정규식 생성 (Reasoning-based Regex Generation)

LLM 이 직접 정규식을 생성할 때 발생하는 오류를 보정하기 위해 반복적 검증 및 수정 파이프라인을 도입합니다.

1. 초기 생성: IOC 와 캡처 그룹 정보를 LLM 에 입력하여 초기 정규식을 생성합니다.
2. 디버깅 루프 (Debugging Loop): 생성된 정규식이 원본 IOC 와 매칭되는지 검증합니다. 실패 시 디버거의 피드백을 LLM 에게 주어 수정을 반복합니다.
3. Non-capture Group 검증 루프: 정규식 내에 불필요한 캡처 그룹이 포함되지 않았는지 확인하고, 포함될 경우 수정을 요청합니다.
4. 과도한 일반화 방지 루프 (Over-Generalization Check): 생성된 정규식이 너무 광범위하여 (예: .*) 임의의 문자열까지 매칭하는지 10 개의 랜덤 문자열로 테스트합니다. 과도하게 일반화된 경우 처음부터 다시 생성합니다.
5. 채점 및 선택: 여러 후보 정규식을 생성한 후, 캡처 그룹 포함 여부와 불필요한 부분 배제 정도를 점수화하여 가장 높은 점수를 받은 정규식을 최종 결과물로 선택합니다.

3. 주요 기여 (Key Contributions)

1. IOCRegex-gen 시스템 개발: CTI 추출부터 SIEM 배포 가능한 정규식 생성까지를 자동화하는 최초의 엔드 - 투 - 엔드 LLM 기반 프레임워크.
2. 지식 강화 캡처 그룹 식별: 그래프 데이터베이스를 활용하여 운영체제 구조 지식을 정규식 생성 과정에 통합함으로써, LLM 의 도메인 지식 부족을 보완했습니다.
3. 반복적 추론 및 검증 파이프라인: LLM 의 환각 (Hallucination) 과 문법 오류를 방지하고, 정밀도와 일반화 사이의 균형을 맞추기 위한 다단계 검증 메커니즘을 제안했습니다.
4. 대규모 실증 평가: MITRE ATT&CK 평가 프레임워크의 3,000 개 이상의 실제 CTI 보고서와 2,400 개 이상의 Ground Truth 데이터를 기반으로 한 엄격한 평가 수행.

4. 실험 결과 (Results)

MITRE ATT&CK 평가 데이터셋을 기반으로 한 실험 결과는 다음과 같습니다.

• 탐지율 (Hit Rate): 생성된 정규식은 Ground Truth 문자열에 대해 평균 **99.1%**의 높은 탐지율을 기록했습니다. (Enterprise2024 LockBit, Turla Snake 등 일부 데이터셋에서는 100% 달성).
• 오탐률 (False Positive Rate): 평균 **0.8%**로 매우 낮게 유지되었습니다.
• 정규식 복잡도: 생성된 정규식은 단순한 문자열 매칭을 넘어 평균 3 점 이상의 구조적 복잡도 (Capture Group 포함) 를 보였습니다.
• 일반화 능력: 생성된 정규식은 원본 IOC 와 평균 0.4 의 유사도를 보이며, 원본과 너무 유사하지 않아 다양한 환경 변형에도 대응할 수 있음을 입증했습니다.
• Ablation Study (성분 제거 실험):
  • '캡처 그룹 찾기' 또는 '추론 기반 생성' 중 하나라도 제거할 경우, 탐지율은 16.7% 이상 감소하고 오탐률은 23.3% 이상 증가했습니다. 이는 두 구성 요소가 모두 필수적임을 증명합니다.
  • 추론 기반 생성 단계가 없으면 생성된 정규식의 구조가 단순해져 오탐률이 급증하는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• SOC 운영의 자동화: CTI 보고서를 분석가가 수동으로 변환하는 데 걸리는 시간을 획기적으로 단축하여, 새로운 위협에 대한 대응 속도를 높입니다.
• 정확한 위협 탐지: 단순한 IOC 추출을 넘어, 실제 로그 환경에서 작동 가능한 정교한 정규식을 자동으로 생성함으로써 탐지 정확도를 높이고 오탐을 줄입니다.
• 실무 적용 가능성: 제안된 시스템은 다양한 LLM 모델 (GPT-4o, LLaMA3, DeepSeek-V3) 에서 일관된 성능을 보여주며, 실제 SOC 환경에 배포 가능한 실용적인 솔루션임을 입증했습니다.

이 연구는 사이버 위협 인텔리전스의 이론적 추출을 실제 운영 (Operationalization) 단계로 연결하는 핵심 고리를 자동화함으로써, 현대 SOC 의 효율성과 대응 능력을 크게 향상시킬 수 있음을 보여줍니다.