Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

기술 요약: 구문을 넘어: 보안 전문가들은 LLM을 NIDS 룰 엔지니어링에 신뢰하는가?

문제 정의
네트워크 위협이 점점 더 빠르게 진화하고 복잡해짐에 따라(예: 다형성 악성코드, 제로 데이 익스플로잇), 수동적인 네트워크 침입 탐지 시스템(NIDS) 룰 엔지니어링은 핵심적인 운영 병목 현상이 되었습니다. Snort 및 Suricata와 같은 오픈 소스 솔루션은 시그니처 기반 탐지에 의존하지만, 이러한 시스템의 효용성은 룰 세트의 품질과 적시성에 달려 있습니다. 룰 세트를 수동으로 생성하고 유지 관리하는 작업은 노동 집약적이며, 확장성이 떨어지고, 높은 오탐률(false positive rates)과 룰 언어의 구문적 복잡성으로 인한 "SOC 피로(SOC fatigue)"를 유발합니다. 대규모 언어 모델(LLM)이 룰 생성을 자동화하는 데 유망한 가능성을 보여주었음에도 불구하고, 그 실질적인 유용성은 아직 검증되지 않았습니다. 특히, 보안 전문가들이 LLM이 생성한 룰을 신뢰하는지, 그들이 출력물과 어떻게 상호작용하는지, 그리고 구문적으로 올바른 룰이 실제 환경에서 의미론적으로 배포 가능한지에 대한 경험적 증거가 부족합니다.

방법론
저자들은 LLM 기반 NIDS 룰 엔지니어링의 생존 가능성을 조사하기 위해 4단계의 인간 중심 방법론을 채택했습니다.

1. 시스템 정식화: 저자들은 11개의 주요 문헌에 대한 문헌 검토와 3명의 도메인 전문가를 대상으로 한 사전 연구를 수행하여 근거 있는 생성 프레임워크를 정식화했습니다. 결과물인 시스템(그림 1)은 "룰 엔지니어링 에이전트"와 "휴먼 루프(Human Loop)"로 구성됩니다.

   • 입력: 에이전트는 네트워크 인벤토리 데이터, 취약점 인벤토리(CVE, CPE), 그리고 개념 증명(PoC) 익스플로잇을 입력받습니다.
   • 처리: 이 시스템은 역할 기반 및 퓨샷(few-shot) 프롬프팅을 사용하여 (개인정보 보호와 재현성을 보장하기 위해 Ollama를 통해 로컬에서 호스팅되는) LLM 엔진을 활용합니다.
   • 검증: 다단계 파이프라인에는 구문 검사기(네이티브 컴파일러 검증)와 적응형 프롬프팅을 사용하여 오류를 수정하는 자동 구문 수정기가 포함됩니다.
   • 휴먼 인 더 루프(Human-in-the-Loop): 전문가는 적응형 프롬프팅을 통해 LLM과 상호작용하며 반복적으로 룰을 정교화할 수 있습니다.

2. 사용자 연구 설계: 연구에는 137명의 참가자가 모집되었으며, 최종 분석 대상은 10명의 숙련된 보안 전문가(SOC 분석가, 연구원, 엔지니어)로 압축되었습니다. 연구는 세 단계로 구성되었습니다: 윤리/인구 통계, 룰 평가(품질 및 인지 부하 평가), 그리고 인터랙티브 시스템 평가.

   • 시나리오: 참가자들은 다양한 토폴로지 복잡도와 취약점 밀도를 가진 6가지 네트워크 시나리오(합성 시나리오 2개, CIC-IDS 2017 데이터셋 기반 시나리오 4개)를 통해 생성된 룰을 평가했습니다.
   • 과업: 전문가는 룰의 정확성을 블라인드 평가하고, LLM 생성 설명의 유용성을 평가하며, 룰을 수정하기 위해 시스템과 상호작용했습니다.

3. 통계 분석: 저자들은 27개의 서로 다른 LLM 엔진을 사용하여 룰을 생성했습니다. 그들은 구문 유효성, 수정 루프의 필요성, 그리고 룰의 의미론적 내용(필드 분포, 특이성)을 분석했습니다.

4. 인간 중심 평가: 가장 성능이 우수한 엔진인 DeepSeek-R1 70B가 사용자 연구를 위해 선정되었습니다. 전문가는 시스템 사용성 척도(SUS)와 맞춤형 설문지를 사용하여 룰의 배포 가능성, 신뢰 수준, 시스템 사용성을 평가했습니다.

주요 기여

• 근거 있는 프레임워크의 정식화: 본 논문은 인간의 피드백이 결여된 기존 문헌의 공백을 메우기 위해, 취약점 데이터, PoC, 그리고 휴먼 인 더 루프 검증 메커니즘을 통합한 최첨단 LLM 기반 룰 엔지니어링 시스템을 정식화했습니다.
• 전문가 신뢰의 경험적 특성화: 보안 전문가들이 LLM 생성 NIDS 룰에 대해 갖는 신뢰에 대한 최초의 경험적 데이터를 제공하며, 구문적 유효성과 의미론적 배포 가능성 사이의 결정적인 괴리를 밝혀냈습니다.
• 상호작용 패턴에 대한 통찰: 본 연구는 전문가가 LLM의 도움을 받아 룰 엔지니어링을 수행할 때 나타나는 특정 상호작용 패턴, 인지 부하 요인 및 사용성 장벽을 식별했습니다.

결과
평가 결과 "구문-의미론 역설(syntax-semantics paradox)"이 드러났습니다.

• 구문 vs. 의미론: 대규모 모델(70B 파라미터 이상)은 높은 구문 숙련도(최대 87-90%의 유효한 룰)를 보여준 반면, 소규모 모델(4B 이하)은 거의 효과적이지 않았습니다. 그러나 최상의 모델조차 구문 검사 및 수정 모듈이 필요했습니다. 최상위 모델의 룰 중 첫 번째 시도에서 유효했던 비율은 약 21%에 불알였습니다.
• 의미론적 배포 가능성: 높은 구문적 성공에도 불구하고, 전문가들은 생성된 룰의 단 **37.5%**만이 의미론적으로 정확하고 배포 가능하다고 판단했습니다. 거절의 주요 원인은 낮은 특이성(generic 변수인 ANY에 대한 과도한 의존), 순수 콘텐츠 매칭에 대한 과도한 의존(OFFSET, DEPTH 또는 프로토콜 특정 필드의 부재), 그리고 논리적 환각(예: 잘못된 포트/프로토콜 연관)이었습니다.
• 모델 성능: DeepSeek-R1 70B와 Llama-3.1/3.3 70B가 우수한 엔진으로 나타났습니다. PoC 데이터를 포함하는 것은 구문 정확도를 향상시켰으나, 이는 대규모 컨텍스트 윈도우를 처리할 수 있는 모델에 국한되었습니다.
• 전문가 신뢰 및 사용성:
  • 시스템은 67이라는 양호한 SUS 점수를 기록하여, 사용 가능하고 학습 가능하다고 인식되었습니다.
  • 그러나 전문가들은 자율적 능력에 대해 회의적입니다. 그들은 LLM을 독립적인 생성기가 아닌 초안 작성, 구문 검사, 설명을 위한 지원 도구로 간주합니다.
  • 채택: 전문가의 70% 이상이 상당한 인간의 정교화 작업이 필요하다는 이유로(평균 노력 등급: 4.25/5) 룰을 "있는 그대로" 배포하는 것을 거부했습니다.
  • 인지 부하: 전문가들은 단순한 시나리오에서는 결함을 쉽게 식별할 수 있었으나, 네트워크 복잡도가 증가함에 따라 신뢰도와 검증 능력이 감소했습니다. 다만, 숙련된 전문가(3년 이상)는 복잡한 맥락에서도 문제를 식별하는 데 높은 정확도를 유지했습니다.

의의 및 주장
본 논문은 룰 엔지니어링 영역에서 LLM에 대한 기초적인 평가를 제공한다고 주장합니다. 주요 의의는 현재 LLM의 한계를 명확히 규정하는 데 있습니다. 즉, LLM은 구문적으로 올바른 코드를 생성할 수는 있지만, 생산 준비가 된(production-ready) NIDS 룰에 필요한 의미론적 정밀함과 컨텍스트 인지 능력을 갖춘 깊은 추론 능력은 현재 부족합니다.

저자들은 향왕의 방향이 완전한 자율 생성이 아니라 휴먼 인 더 루프 아키텍처라고 결론짓습니다. 이러한 시스템은 분석가의 주체성을 우선시해야 하며, 오탐 및 환각의 위험을 완화하기 위해 최종 검증과 의사결정을 인간 전문가에게 맡기면서, 초안 작성, 검증 및 설명을 돕는 용도로 LLM을 활용해야 합니다. 본 연구는 더욱 견고하고 신뢰할 수 있으며 인간과 정렬된(human-aligned) 룰 엔지니어링 워크플로우를 개발하기 위한 로드맵 역할을 합니다.