기술 요약: 사이버 보안 분야의 LLM 생성 탐지 규칙 평가

문제 정의

대규모 언어 모델(LLM)과 AI 에이전트의 사이버 보안 운영 통합은 심각한 신뢰 결핍 문제에 직면해 있습니다. 벤더들은 에이전트가 혁신적인 솔루션이라고 홍보하지만, 숙련된 엔지니어들은 이들이 "그럴듯하게 들리는 헛소리(plausible sounding nonsense)"를 생성할 것을 우려하며 회의적인 시각을 유지하고 있습니다. LLM이 생성한 보안 규칙의 효과성을 평가하기 위한 표준화된 오픈 소스 메트릭이 부족하다는 점은 중대한 공백입니다. 엄격한 측정 없이는 조직이 에이전트가 인간 탐지 엔지니어의 업무를 수행할 수 있는지 검증할 수 없으며, 시간과 에너지를 낭비하지 않고 이러한 도구를 배포하는 데 필요한 신뢰를 구축할 수도 없습니다. 더욱이, 기존의 코드 생성 평가 방식(예: 유닛 테스트를 통한 기능적 정확성)이나 침입 탐지 방식(예: 정밀도/재현율)은 적대적 강건성(adversarial robustness), 운영 노이즈, 반복 생성에 따른 경제적 비용과 같은 보안 규칙 생성 특유의 과제들을 충분히 다루지 못합니다.

방법론

저자들은 인간이 생성한 베이스라인과 비교하여 LLM이 생성한 사이버 보안 규칙의 품질을 측정하기 위한 오픈 소스 평가 프레임워크와 벤치마크를 제시합니다. 이 방법론은 자율 에이전트를 인간 전문가와 비교하는 "홀드아웃 세트(holdout set)" 접근 방식을 채택합니다.

에이전트: ADÉ

프레임워크는 Sublime Security에서 개발한 에이전트 시스템인 ADÉ(Automated Detection Engineer)를 통해 설명됩니다. ADÉ는 모델 불가지론적(model-agnostic) 아키텍처로 작동하며, 탐지 엔지니어링 모범 사례, TTP, MQL 문서에 대한 큐레이션된 지식 베이스와 동적 파일 분석, 컴퓨터 비전, 발신자 평판을 위한 도구를 활용합니다.

• 워크플로우: ADÉ는 단일 악성 이메일 샘플을 전달받아 이를 분석하고, 기존 규칙의 커버리지 격차를 검색한 후, 후보 MQL 탐지 규칙을 생성합니다.
• 반복적 정교화: 롱 컨텍스트 드리프트(long-context drift)로 어려움을 겪는 전통적인 에이전트와 달리, ADÉ는 폐쇄형 피드백 루프를 사용합니다. 구문(syntax)을 검증하고, 샘플에 대해 규칙을 실행하며, 과거 데이터에 대한 위협 헌팅을 개시합니다. 서브 에이전트들은 이러한 결과(True Positives, False Positives 및 강건성)를 분석하여 피드백을 제공함으로써, ADÉ가 논리가 수렴될 때까지 반복적으로 규칙을 정교화할 수 있도록 합니다.

평가 메트릭

프레임워크는 규칙을 세 가지 별도 차원에서 평가합니다:

1. 탐지 정확도 (Detection Accuracy):

   • 약 45,000개의 레이블이 지정된 이메일 데이터셋(악성 및 정상)을 활용합니다.
   • 표준 정밀도(precision)와 **고유 참 양성(Unique True Pospositives, TPs)**의 정밀도(코어 피드 내 다른 규칙에 의해 포착되지 않은 TP)를 평균하여 복합 점수(Score)(식 1)를 산출합니다.
   • 근거: 보안에서는 고유한 탐지가 전체 시스템의 재현율을 높이기 때문에 매우 가치가 높습니다. 본 프레임워크는 미탐(False Negatives, "알려지지 않은 미지의 영역")을 측정하는 것의 어려움을 인정하고 정밀도 기반 메트릭에 집중합니다.

2. 구문적 정확성의 경제적 비용 (Economic Cost of Syntactic Correctness):

   • 생성된 규칙의 유효성에 드는 경제적 영향을 측정하기 위해 "cost-to-pass" 프레임워크(Erol et al., 2025)를 응용합니다.
   • 총 비용(Total Cost) = (시도당 비용) × (시도 횟수, $k$)로 계산합니다.
   • 에이전트가 검증을 통과하는 구문적으로 올바른 MQL 규칙을 생성하기 위해 몇 번의 시도가 필요한지 결정하기 위해 pass@k 메트릭을 사용합니다.

3. 강건성 (Robustness/Brittleness):

   • 보상되는 패턴(행위 기반 지표, 퍼지 매칭 등 견고한 패턴)과 페널티가 부여되는 패턴(IP, 도메인, 해시 등의 직접적인 문자열 매치와 같이 취약한 패턴)의 비율을 기반으로 휴리스틱 취약성 점수(Brittleness Score) ($B \in [0, 100]$)를 개발합니다.
   • 근거: 직접 매치는 사소한 적대적 회피에 의해 쉽게 무력화되는 반면, 행위 기반 지표는 일반화 가능한 솔루션을 제공합니다. 최종 **강건성 점수(Robustness Score)**는 $1 - (B/100)$입니다.

주요 기여

본 논문은 자율 탐지 규칙 생성을 구체적으로 다루는 새로운 벤치마크 프레임워크를 소개합니다:

• 운영 가능 파이프라인 (Operational Viability Pipeline): 기능적 정확성과 실제 레트로 헌팅(retro-hunting)을 결래하여 노이즈 임계값, 유지보수성 및 성능 가드레일을 드러내는 엔드 투 엔드 평가를 제공합니다.
• 내장된 적대적 강건성 (Built-in Adversarial Robustness): 규칙의 취약성을 측정하고 피드백을 제공하기 위한 특정 메트릭을 포함하여, 사소한 적대적 우회를 줄이는 것을 목표로 합니다.
• 오픈 소스 프레임워크: 저자들은 다른 보안 규칙 생성 에이전트(예: YARA, 커스텀 DSL)를 위한 재현 가능한 연구와 표준화된 평가를 가능하게 하기 위해 모듈형 파이프라인을 공개할 계획입니다.

결과

연구에서는 ADÉ 생성 규칙을 Sublime Core Feed의 홀드아웃 인간 작성 규칙과 11가지 별도 공격 시나리오(예: BEC, HTML 스머글링, 피싱)에 대해 비교했습니다.

• 범위 vs 정밀도 (Scope vs. Precision): ADÉ의 규칙은 인간의 규칙에 비해 범위가 현저히 좁았으며, 더 적은 수의 메시지와 알려진 참 양성(TP)을 탐지했습니다. 이는 인간이 대규모 데이터셋 전반의 광범위한 행동 패턴을 바탕으로 규칙을 설계하는 반면, ADÉ는 단일 이메일 샘플로부터 제약된 작업을 수행하기 때문입니다.
• 오탐 (False Positives): ADÉ는 인간의 규칙보다 훨씬 적은 오탐(테스트 세트에서 종종 0 발생)을 생성했는데, 이는 위협 세계에 대한 관점이 더 좁기 때문입니다.
• 성능 점수:
  • 인간 규칙은 0.711에서 0.996 사이의 점수를 기록했습니다.
  • ADÉ 규칙은 0.557에서 1.000 사이의 점수를 기록했습니다.
  • 일부 사례(예: "SVG 파일 내 Javascript가 포함된 EML")에서 ADÉ는 높은 정밀도와 고유 TP 덕분에 인간 베이스라인(0.996)보다 높은 점수(0.998)를 달성했습니다.
• 강건성 (Robustness): ADÉ와 인간의 규칙은 취약성 측면에서 "매우 유사한" 것으로 나타났습니다. 기본 LLM은 가용한 도구들을 성공적으로 결합하여 인간 전문가와 유사한 수준의 적대적 회피 탄력성을 가진 쿼리를 생성했습니다.
• 비용 효율성: pass@k 메트릭은 LLM 실행에 드는 실제 달러 비용과 밀접하게 상관관계가 있었습니다. ADÉ는 일반적으로 구문적으로 유효한 규칙을 생성하기 위해 1~3회의 시도가 필요했으며, 규칙당 비용은 약 $1.50에서$5.13 사이였습니다.
• 질적 차이: ADÉ는 인간 작성자보다 더 광범하고 유용한 주석(comments)이 포함된 규칙을 생성하는 경향이 있었으나, 인간의 규칙은 더 넓은 커버리지 로직을 가지고 있었습니다.

의의 및 주장

본 논문은 이 방법론이 LLM 기반 보안 규칙 생성기에 대한 현실적이고 다각적인 평가를 제공한다고 주장합니다. 단순한 기능적 정확성을 넘어 경제적 비용과 적대적 강건성을 포함함으로써, 이 프레임워크는 에이전트의 운영 가능성에 대한 더 총체적인 관점을 제공합니다.

저자들은 ADÉ가 (단일 샘플 입력 제약으로 인해) 현재 인간 전문가보다 재현율(recall) 면에서 좁은 범위를 생성하지만, 고품질의 강건하고 경제적으로 효율적인 규칙을 생성할 수 있음을 보여준다고 겸허히 결론지었습니다. 이 프레임워크는 반복적 개선을 위한 토대로서 기능하며, 향례 연구가 정밀도와 강건성을 유지하면서 ADÉ의 범위를 인간의 재현율 수준으로 넓히는 데 이 메트릭들을 사용할 수 있음을 시사합니다. 본 논문은 ADÉ가 인간 엔지니어를 완전히 대체했다는 주장이 아니라, 체계적으로 개선될 수 있는 탐지 워크플로우의 실행 가능하고 측정 가능한 구성 요소임을 강조합니다.