🤖 AI

GenTI: Benchmarking LLMs for Autonomous IDPS Rule Generation for Unseen Attacks

본 논문은 주석이 달린 대규모 탐지 규칙 데이터셋을 활용하여 고품질의 문맥 인식형 IDPS 규칙 생성을 자동화함으로써, 미지의 공격에 대한 탐지 성능을 크게 향상시키고 오탐률을 줄이는 새로운 LLM 기반 벤치마크 및 프레임워크인 GenTI를 소개한다.

원저자: Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 컴퓨터 네트워크가 북적이는 도시라면, **침입 탐지 및 방지 시스템(IDPS)**은 거리를 순찰하는 경찰관과 같습니다. 그들의 임무는 나쁜 놈들(해커)을 찾아내고 그들을 막는 것입니다.

전통적으로 이 경찰관들은 물리적인 "현상 수배" 포스터 책을 가지고 업무를 수행합니다. 만약 범죄자가 책에 있는 사진과 일치한다면(알려진 공격), 경찰관은 그를 멈춰 세웁니다. 하지만 범죄자가 새로운 가면을 쓰거나 새로운 변장을 하고 나타난다면(제로 데이 또는 미지의 공격), 경찰관은 그를 알아보지 못하고 통과시켜 버립니다.

문제는 새로운 "현상 수배" 포스터를 작성하는 속도가 느리다는 점입니다. 이를 위해서는 인간 전문가가 직접 앉아서 새로운 범죄자를 연구하고 수동으로 설명을 작성해야 합니다. 전문가들이 작성을 마칠 때쯤이면, 범죄자는 이미 이미 피해를 입힌 후일 수도 있습니다.

GenTI의 등장: AI 경찰 디스패처(지령실).

이 논문은 GenTI(Generative Threat Intelligence)라고 불리는 새로운 시스템을 소개합니다. 이것은 단순히 오래된 "현상 수배" 책을 읽는 것에 그치지 않고, 본 적 없는 범죄자라도 그들의 행동 묘사만 보고 즉각적으로 정확한 새로운 "현상 수배" 포스터를 작성할 수 있는 초스마트 AI 디스패처라고 생각하면 됩니다.

작동 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. 거대한 도서관 (데이터셋)

AI가 학습하기 전, 먼저 공부를 해야 합니다. 연구진은 GTI라는 거대한 도서관을 구축했습니다.

수집: 연구진은 기존 경찰 데이터베이스(Snort, Suricata, YARA)로부터 20만 개 이상의 실제 "현상 수배" 포스터(규칙)를 모았습니다.
비법: 단순히 사진만 있는 기존의 도서관들과 달리, 이 도서관에는 **상세한 맥락(Context)**이 포함되어 있습니다. 모든 포스터는 해당 범죄자가 누구인지, 어떤 수법을 쓰는지, 그리고 보통 어떻게 활동하는지를 설명하는 "범죄자 프로필"(사이버 위협 인텔리전스)과 연결되어 있습니다.
비유: 만약 모든 "현상 수배" 포스터가 단순히 "빨간 모자를 쓴 남자"라고 적혀 있는 것이 아니라, "이 자는 '레드 햇 갱단'의 일원이며, 특정 유형의 락픽을 사용하고, 보통 화요일에 범행을 저지른다"라고 적혀 있다면 어떨까요? 이 추가적인 맥락은 AI가 단순한 텍스트가 아닌 규칙 뒤에 숨겨진 논리를 이해하도록 돕습니다.

2. 훈련 학교 (방법론)

AI(거대 언어 모델)는 단순히 이 포스터들을 암기하는 것이 아니라, 네 단계의 엄격한 훈련 학교를 거칩니다.

1단계 (문법): 경찰관들(IDPS 소프트웨어)이 혼란 없이 실제로 읽을 수 있도록 완벽한 "현상 수배" 포스터를 쓰는 법을 배웁니다.
2단계 (맥락): 포스터를 범죄자의 프로필(예: "이 규칙은 '피싱' 기법을 차단함")과 연결하는 법을 배웁니다.
3단계 (자기 수정): AI는 '생각하며 말하기'(Chain-of-Thought)를 배웁니다. 포스터를 확정하기 전에 스스로에게 묻습니다. "이게 말이 되는가? 내가 세부 사항을 놓치지는 않았나?"
4단계 (재검토): 특별한 "검증 루프"(Chain-of-Verification)가 엄격한 감독관 역할을 합니다. 이 루프는 새로운 포스터를 세 번 확인합니다:
1. 문법이 올바른가?
2. 논리가 범죄자 프로필과 일치하는가?
3. 결정적으로: 이 포스터가 실수로 무고한 사람을 체포하게 되지는 않는가(오탐/False Positives)?

3. 테스트 드라이브 (결과)

연구진은 실제 환경 시뮬레이션에서 이 AI를 테스트했습니다. 그들은 AI에게 새로운 미지의 공격에 대한 설명을 주고 규칙을 작성하도록 요청했습니다.

기존 방식: 이 새로운 시스템 없이는, AI가 이러한 새로운 미지의 공격을 약 45% 정도만 잡아낼 수 있었습니다.
GenTI 방식: 특별한 훈련과 도서관을 갖춘 GenTI는 새로운 공격의 **87.4%**를 잡아냈습니다.
적은 실수: 기존 방식은 종종 무고한 사람을 범죄자로 오인하여(8.5% 오류율) 문제가 되었습니다. GenTI는 이를 단 **2.3%**로 줄였으며, 이는 경찰이 훨씬 더 정밀하다는 것을 의미합니다.
종합 점수: 이 시스템은 복잡한 품질 테스트에서 **89.4%**라는 완벽에 가까운 점수를 기록하며, 이 특정 작업에서 가장 유명한 AI 모델들(GPT-4 등)을 능가했습니다.

핵심 요약

이 논문은 GenTI가 방대한 양의 실제 세계 데이터를 엄격한 "생각, 검증, 수정" 프로세스와 결합하여, AI가 완전히 새로운, 미지의 위협에 대한 보안 규칙을 스스로 작성하는 방법을 성공적으로 가르쳐준 첫 번째 시스템이라고 주장합니다.

인간 전문가가 새로운 바이러스가 나타날 때마다 수동으로 새 규칙을 작성하기를 기다리는 대신, 이 시스템은 새로운 범죄자가 나타나는 즉시 그들을 막기 위해 필요한 도구를 즉각 생성하는 자가 진화형 경찰 조직처럼 작동합니다.

기술 요약: GenTI – 자율형 IDPS 규칙 생성을 위한 LLM 벤치마킹

1. 문제 정의

Snort 및 Suricata와 같은 규칙 기반 침입 탐지 및 방지 시스템(IDPS)은 정밀도와 해석 가능성 덕분에 생산 환경에서 여전히 지배적인 선택지로 남아 있습니다. 그러나 수동으로 제작된 시그네처 중심의 규칙에 의존하는 방식은 이들의 적응성을 제한하며, 이는 신규 위협 및 제로 데이(zero-day) 공격에 대한 대응력을 떨어뜨립니다. 보안 전문가들은 취약점을 수동으로 분석하고 공격 패턴을 문서화하여 규칙을 생성해야 하는데, 이 과정은 난독화나 미공개 취약점을 사용하는 현대적 공격의 정교함을 따라잡기에 역부족입니다.

또한, 기존의 공개 데이터셋(예: CICIDS2017, UNSW-NB15)은 주로 플로우(flow) 또는 헤더 수준의 트래픽 분류를 위해 설계되었습니다. 이러한 데이터셋에는 LLM이 자동 규칙 합성을 수행하는 데 필요한 구조화된 페이로드 수준의 정보, 규칙 메타데이터 및 사이버 위협 인텔리전스(CTI) 매핑이 결여되어 있습니다. 결과적으로 다음과 같은 결정적인 공백이 존재합니다:

데이터: 페이로드 수준의 의미론(semantics)과 CTI 컨텍스트를 포함하여, IDPS 규칙 생성을 위해 맞춤 설계된 대규모 공개 벤치마크 데이터셋의 부재.
방법론: 기존의 자동 규칙 생성 방식은 페이로드 수준의 동작을 포착하지 못하거나, 생성된 규칙의 구문적(syntactic) 및 의미적(semantic) 정확성을 검증하기 위한 체계적인 메커니나가 부족함.
평가: 자동으로 생성된 규칙이 실제 운영 환경에서 수용 가능한 오탐률(false-positive rate)로 작동할 수 있는지에 대한 체계적인 검증의 부재.

2. 방법론

저자들은 새로운 벤치마크 데이터셋(GTI)과 LLM 기반의 규칙 생성, 정제 및 검증 파이프라인을 포함하는 프레임워크인 GenTI(Generative Threat Intelligence)를 제안합니다.

A. GTI 데이터셋

GTI 데이터셋은 200,000개 이상의 규칙을 집계한 CTI 강화 코퍼스입니다:

150,000개 이상의 IDPS 규칙: Snort, Suricata 및 Emerging Threats로부터 수집.
50,000개 이상의 YARA 규칙: 페이로드 수준의 시그니처에 집중.

GTI의 주요 특징:

구조화된 스키마: 규칙은 헤더 특징(IP, 포트, 프로토콜), 플로우 특징 및 페이로드 특징을 포함하는 통일된 형식으로 정규화됩니다.
CTI 강화: 모든 규칙은 MITRE ATT&CK(전술/기법), D3FEND(방어 기법), CVE/CWE, AlienVault OTX 및 MISP를 포함한 외부 인텔리전스 소스에 매핑됩니다.
규칙-컨텍스트 및 관계 주석(RCRA): 규칙을 특정 공격 컨텍스트, 악성코드 패밀리 및 실행 가능한 대응 유형(경고, 차단, 거부)에 연결하는 주석입니다.
프롬프트 엔지니어링: 데이터셋에는 구조화된 입력 프롬프트(분석가 스타일의 설명)와 타겟 출력(표준 규칙)을 비롯하여, 사고의 사슬(CoT) 추론 과정 및 검증의 사슬(CoVe) 주석이 포함됩니다.

B. GenTI 프레임워크 파이프라인

이 프레임워크는 분석가 프롬프트와 공격 페이로드를 검증된 규칙으로 변환하는 엔드 투 엔드 파이프라인으로 작동합니다:

전처리 및 프롬프트 구성: 분석가 프롬프트와 대표적인 악성 페이로드를 파싱하여 특징(예: HTTP 헤더, C2 마커)을 추출합니다. 이는 구조화된 프롬프트( $P_{struct}$ )와 자연어 프롬프트( $P_{user}$ )로 변환됩니다.
LLM 기반 규칙 합성: LLM(특히 미세 조정된 DeepSeek-7B)은 프롬프트와 CTI 컨텍스트를 바탕으로 초기 후보 규칙( $r_0$ )과 CoT 추론 과정( $C_0$ )을 생성합니다.
위협 인텔리전스 매핑: 시스템은 CTI 저장소를 쿼리하여 생성된 규칙을 특정 ATT&CK 기법, IoC 및 악성코드 패밀리에 매핑합니다.
반복적 정제 루프: 후보 규칙은 악성 및 정상 트래픽에 대해 평가됩니다. 피드백 메커니즘( $F_{k+1}$ )이 지표(탐지율, 오탐, 구문 유효성)를 기반으로 생성되어 다음 반복 단계에서 규칙을 정제합니다.
검증의 사슬(CoVe): 최적의 후보에 대해 3단계 검증 프로세스가 적용됩니다:
- 구문 검사(Syntactic Check): Snort/Suricata 엔진과의 호환성을 보장합니다.
- 논리 검사(Logical Check): 규칙 조건과 매핑된 ATT&CK/CTI 컨텍스트 간의 일관성을 검증합니다.
- 오탐 분석(False-Positive Analysis): 정상 트래픽을 재실행하여 규칙이 과도한 경보를 발생시키지 않는지 확인합니다.
커리큘럼 학습(Curriculum Learning): 학습 과정은 단순한 헤더 전용 규칙에서 시작하여 점진적으로 복잡한 페이로드 패턴과 밀도 높은 CTI 매핑을 도입함으로써, 학습을 안정화하고 일반화 성능을 향상시키는 다단계 커리큘럼을 활용합니다.

3. 주요 기여

GTI 벤치마크 데이터셋: 풍부한 메타데이터, CTI 매핑 및 RCRA를 갖추고 20만 개 이상의 규칙을 통합한, LLM 기반 NIDPS 규칙 생성을 위해 설계된 최초의 대규모 CTI 강화 코퍼스입니다.
페이로드 수준 규칙 생성: YARA 스타일의 페이로드 시그니처를 IDPS 호환 로직으로 변환하는 능력을 통해, 페이로드 수준에서의 탐지 및 방지(차단/거부) 규칙 자동 생성을 가능하게 합니다.
4단계 학습 파이프라인: 다음을 포함하는 새로운 방법론입니다:
- 규칙 구조 학습을 통한 구문적 접지(Syntactic grounding).
- CTI 증강 CoT 추론을 통한 의미적 풍부화(Semantic enrichment).
- 오탐 감소를 위한 CoVe 기반 검증.
- 전이 학습을 통한 전체 복잡도 통합.
실시간 평가: 생성된 규칙을 오픈소스 엔진(Snort/Suricata)에서 실제 트래픽을 사용하여 테스트하고, 구문 정확도, 의미적 유사성, CTI 커버리지 및 보안 효과성을 측정하는 종합적인 평가 프레임워크를 제공합니다.

4. 실험 결과

GenTI 모델(미세 조정된 DeepSeek-7B)은 홀드아웃 테스트 세트에서 GPT-4o, LLaMA-3-8B, Mistral-7B를 포함한 강력한 베이스라인 모델들과 비교 평가되었습니다.

성능 지표:

종합 규칙 품질 점수(Composite Rule-Quality Score): GenTI는 **89.4%**를 달성하여, 베이스라인(예: GPT-4o 80.4%, LLaMA-3-8B 71.6%)을 크게 상회했습니다.
CTI 커버리지: **94.8%**를 달성하여, 베이스라인(~75–83%) 대비 우수한 위협 인텔리전스 프레임워크 정렬도를 보여주었습니다.
구문 정확도: 생성된 규칙의 **89.5%**가 수동 수정 없이 구문적으로 유효했습니다.
의미적 유사성: 전문가 분석가의 참조 규칙과 87.2% 일치했습니다.

미인지 공격 탐지(Unseen Attacks Detection):

탐지율: 이전에 본 적 없는 공격을 탐지하는 능력이 베이스라인(45%)에서 GenTI(87.4%)로 향상되었습니다.
오탐률: **8.5%**에서 **2.3%**로 감소하여, CoVe 루프가 정밀도를 희생하지 않고 결정 경계를 효과적으로 정제함을 입증했습니다.

절제 연구(Ablation Study):
연구 결과, QLoRA 미세 조정이 가장 큰 단일 성능 향상을 제공했음을 확인했습니다. 커리큘럼 학습은 의미적 유사성과 보안 효과를 더욱 개선했으며, CoT/CoVe 증강은 잔여 오류를 줄이고 견고성을 높이는 데 결정적인 역할을 했습니다.

5. 의의 및 주장

본 논문은 GenTI가 규칙 수준의 사이버 위협 인텔리전스(CTI)를 LLM 기반 자동화와 긴밀하게 결합한 최초의 대규모 벤치마크를 구축했다고 주장합니다. 이 연구의 주요 의의는 적응형, 자기 진화형 IDPS 시스템을 가능하게 한다는 점에 있습니다.

단순히 기존 시그니처를 복제하거나 트래픽 분류에 집중하는 기존 방식과 달리, GenTI는 LLM이 다음과 같은 CTI 인식 에이전트로서 역할을 할 수 있음을 입증했습니다:

미지의 공격에 대해 새로운 위협 인텔리전스 기반 규칙 생성.
높은 구문적 정확도와 낮은 오탐률을 유지하며 실제 운영 환경에서 작동.
가공되지 않은 네트워크 트래픽과 실행 가능하고 검증된 방지 로직 사이의 간극 해소.

저자들은 자신들의 작업이 단순한 시그니처 복제를 넘어, 진화하는 실제 위협에 맞서 IDPS 규칙베이스를 자동화하고 확장할 수 있는 실행 가능한 경로를 제공한다고 결론짓습니다.