RuleForge: 대규모 웹 취약점 감지를 위한 자동화된 규칙 생성 및 검증 기술 요약

본 논문은 AWS 내부에서 개발된 RuleForge 시스템을 소개하며, 공개된 취약점 (CVE) 의 폭발적인 증가에 대응하기 위해 대규모 웹 취약점 탐지 규칙을 자동으로 생성하고 검증하는 프레임워크를 제시합니다.

1. 문제 정의 (Problem)

• 취약점 발견 속도와 대응 능력의 불일치: 2025 년 기준, 국가 취약점 데이터베이스 (NVD) 는 48,000 개 이상의 새로운 취약점을 발표했습니다. 이는 수동으로 탐지 규칙을 개발하는 보안 팀의 처리 능력을 훨씬 초과합니다.
• 수동 프로세스의 한계: 기존에는 Nuclei(오픈소스 취약점 스캐너) 템플릿을 기반으로 수동으로 탐지 규칙을 작성하고 검증했으나, 이는 시간 소모가 크고 확장성이 부족하여 위협 환경의 변화 속도를 따라가지 못했습니다.
• 검증의 어려움: 생성된 규칙은 오검출 (False Positive) 을 최소화하면서도 실제 공격을 놓치지 않아야 합니다 (높은 정밀도와 재현율). 하지만 악성 트래픽과 유사한 정상 트래픽에 대한 레이블링 데이터가 부족하여 기존 검증 방식의 한계가 존재했습니다.

2. 방법론 (Methodology)

RuleForge 는 생성형 AI 를 활용하여 Nuclei 템플릿 (구조화된 데이터) 으로부터 JSON 기반의 탐지 규칙을 자동 생성하는 파이프라인을 구축했습니다.

2.1 시스템 아키텍처 및 핵심 전략

• 5x5 병렬 생성 전략 (5×5 Generation Strategy):
  • 각 CVE 에 대해 5 개의 병렬 규칙 후보를 생성합니다 (LLM 온도 설정을 다양화).
  • 각 후보는 검증 피드백을 기반으로 최대 5 번까지 개선 (Refinement) 을 시도합니다.
  • 이 접근법은 다양한 탐지 논리를 탐색하여 고품질 규칙이 생성될 확률을 극대화합니다.
• 다단계 검증 파이프라인 (Multi-Stage Validation Pipeline):
  1. 합성 테스트 (Synthetic Testing): 7 개의 악성 요청과 3 개의 정상 요청으로 구성된 합성 테스트를 수행합니다. (최대 2 개 오검출 허용)
  2. LLM-as-a-Judge 신뢰도 검증: 생성된 규칙과 CVE 쌍에 대해 LLM 을 '심판 (Judge)'으로 활용하여 **민감도 (Sensitivity, 오검출 방지)**와 특이도 (Specificity, 오경보 방지) 점수를 산출합니다.
  3. IP 검증 (IP Validation): 실제 프로덕션 웹 트래픽 (월 50 억 건 샘플) 에 규칙을 적용하여 10~500 개의 IP 와 매칭되는지 확인하고, 매칭된 IP 의 70% 이상이 악성인지 확인합니다.
  4. 인간 검증 (Human Review): 보안 엔지니어가 최종 규칙을 코드 리뷰를 통해 검토합니다.
• 피드백 통합 (Feedback Integration): 검증 실패 시, LLM 이 생성한 구체적인 실패 이유 (Reasoning) 를 프롬프트에 포함시켜 다음 생성 세션에 반영하는 순환 학습 구조를 가집니다.

2.2 LLM-as-a-Judge 신뢰도 검증 시스템

• 역할: LLM 이 규칙의 결함을 찾아내는 '비평가' 역할을 수행하도록 프롬프트를 설계했습니다.
• 질문 설계: "이 규칙이 악성 요청을 놓칠 확률은 얼마인가?" (민감도) 및 "이 규칙이 취약점 자체가 아닌 상관관계가 있는 기능을 타겟팅할 확률은 얼마인가?" (특이도) 와 같은 구체적인 질문을 통해 점수를 도출합니다.
• 효과: 단순한 신뢰도 점수뿐만 아니라, 규칙이 왜 실패했는지에 대한 해석 가능한 이유 (Reasoning) 를 제공하여 LLM 의 개선 방향을 제시합니다.

2.3 확장성 연구 (Extensions)

• 비구조화 데이터 처리: Nuclei 템플릿이 없는 블로그, GitHub 고지, NVD 설명서 등 비구조화 텍스트에서 규칙을 생성하는 PoC 를 수행했습니다. (성공률 40%)
• 에이전트 워크플로우 (Agentic Workflow): HTTP 이벤트뿐만 아니라 Process, DNS, CloudTrail 등 다양한 이벤트 타입을 처리하기 위해 ReAct 기반의 에이전트 아키텍처를 도입하여 규칙 생성 도구를 동적으로 선택하도록 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 규칙 생성 및 검증 파이프라인: CVE 의 구조화된 정보 (Nuclei 템플릿) 를 프로덕션 수준의 탐지 규칙으로 변환하는 완전 자동화 시스템 구축.
2. LLM-as-a-Judge 기반 신뢰도 검증: 민감도와 특이도를 정량화하고, 생성된 규칙의 결함에 대한 해석 가능한 피드백을 제공하는 새로운 검증 메커니즘 도입.
3. 지속적 학습 루프: 검증 실패 시 LLM 에게 구체적인 피드백을 제공하여 규칙을 반복적으로 개선하는 시스템 설계.
4. 비구조화 데이터 및 다중 이벤트 타입 지원: Nuclei 템플릿 의존성을 탈피하고 다양한 이벤트 타입을 처리할 수 있는 확장 가능성 입증.

4. 결과 (Results)

• 생산성 향상: 2025 년 4 개월간 운영 평가 결과, RuleForge 는 수동 생성 대비 336% 의 생산성 향상을 보였습니다.
• 오검출 (False Positive) 감소: LLM-as-a-Judge 검증 시스템을 도입한 결과, 기존 합성 테스트만 사용한 방식 대비 오검출이 67% 감소했습니다.
• 규칙 품질 향상: IP 와 매칭되지 않는 무의미한 규칙이 71% 감소했습니다.
• 검증 성능: LLM-as-a-Judge 시스템은 AUROC 0.75, 기대 보정 오차 (ECE) 0.17을 기록하여 규칙의 품질을 효과적으로 판별하고 보정할 수 있음을 입증했습니다.
• 확장성: 비구조화 데이터 기반 규칙 생성 PoC 에서 10 개 중 4 개 (40%) 의 성공적인 규칙 생성을 달성했습니다.

5. 의의 및 시사점 (Significance)

• 보안 자동화의 새로운 패러다임: 취약점 공개와 대응 사이의 격차 (Gap) 를 AI 를 통해 해결할 수 있음을 입증했습니다.
• LLM 의 신뢰성 있는 활용: 보안 분야에서 LLM 이 과신 (Overconfidence) 되는 경향이 있으므로, '비판적 사고 (Critic)' 역할을 부여하고 도메인 전문가의 지식을 프롬프트에 반영하는 것이 필수적임을 강조했습니다.
• 인간 - AI 협업 모델: 완전 자동화가 아닌, 다단계 검증과 인간 검토를 결합하여 높은 정밀도를 유지하면서도 대규모 위협에 대응하는 실용적인 모델을 제시했습니다.
• 미래 지향성: 비구조화 데이터 처리 및 에이전트 워크플로우를 통해 단일 웹 취약점 탐지를 넘어 포괄적인 자동화된 취약점 대응 플랫폼으로 진화할 가능성을 제시했습니다.

결론적으로 RuleForge 는 생성형 AI 를 보안 운영 (SecOps) 에 효과적으로 통합하여, 수동 작업의 한계를 극복하고 대규모 클라우드 환경에서의 위협 탐지 능력을 획기적으로 향상시킨 사례입니다.