Towards Small Language Models for Security Query Generation in SOC Workflows

1. 문제 정의 (Problem Statement)

• 배경: 보안 운영 센터 (SOC) 의 분석가들은 매일 수천 건에서 최대 10 만 건에 이르는 방대한 로그와 위협 인텔리전스를 분석해야 합니다. 이를 위해 Microsoft Sentinel 및 Defender 에 통합된 도메인 특화 쿼리 언어인 Kusto Query Language (KQL) 를 사용합니다.
• 병목 현상: 자연어 (NL) 로 된 분석가의 의도를 정확한 KQL 쿼리로 변환하는 작업은 전문 지식이 필요하며, 특히 대규모 스키마 (schema) 가 진화하는 환경에서 비전문가가 정확한 쿼리를 작성하는 것은 큰 어려움입니다.
• 기존 접근법의 한계: 대규모 언어 모델 (LLM) 은 코드 생성 능력이 뛰어나지만, 높은 지연 시간 (latency), 막대한 메모리 요구 사항, 그리고 높은 운영 비용 (토큰 비용) 으로 인해 실시간 SOC 환경에 배포하기 어렵습니다. 또한 기업 데이터 거버넌스 제약 하에서 외부 LLM 사용이 제한될 수 있습니다.
• 목표: 비용 효율적이고 지연 시간이 짧은 소형 언어 모델 (SLM, 100 억 파라미터 이하) 을 활용하여 자연어에서 KQL 로의 변환 (NL2KQL) 을 정확하고 확장 가능하게 수행하는 방법론을 탐구하는 것입니다.

2. 방법론 (Methodology)

저자들은 SLM 의 성능을 극대화하기 위해 세 가지 직교적인 향상 킨 (Enhancement Knobs) 을 제안하고 실험했습니다.

2.1 프롬프트 엔지니어링 (Prompting)

• 기존 NL2KQL 프레임워크 적응: 무거운 구성 요소를 경량화하여 SLM 에 적용했습니다.
  • 임베딩 모델: 비용이 비싼 text-embedding-ada-002 대신 경량인 Google 의 text-embedding-004 를 사용.
  • Few-shot 학습: 합성 데이터베이스 (FSDB) 를 생성하여 관련 테이블과 예시를 선택하는 과정을 최적화.
• 오감 인식 프롬프팅 (Error-Aware Prompting): KQL 파서가 자주 발생하는 구문 오류 (예: 불완전한 조각, 잘못된 구분자) 를 분석하여, 토큰 수를 늘리지 않고도 이러한 오류를 방지하는 구체적인 팁을 프롬프트에 포함시켰습니다.

2.2 LoRA 미세 조정 및 이유 추론 증류 (LoRA Fine-Tuning with Rationale Distillation)

• LoRA 적용: 전체 모델 가중치를 고정하고 저랭크 어댑터 (Low-Rank Adapter) 만 학습하여 SLM 을 효율적으로 미세 조정했습니다.
• 이유 추론 증류 (Rationale Distillation): 교사 모델 (Teacher LLM, Gemini 2.0 Flash) 이 생성한 Chain-of-Thought (CoT) 설명을 각 NLQ-KQL 쌍에 추가하여 학습 데이터를 구성했습니다.
  • 이는 SLM 이 최종 결과물뿐만 아니라 쿼리 생성의 추론 과정을 학습하도록 하여, 구조화된 코드 생성 능력을 향상시킵니다.
  • 학습 데이터: 1,000 개의 검증된 NLQ-KQL 쌍 (800 개 학습, 200 개 검증).

2.3 2 단계 아키텍처 (Two-Stage Architecture: SLM-Oracle)

• 1 단계 (생성): SLM (DeepSeek Coder 6.7B Instruct) 이 자연어 쿼리를 기반으로 여러 후보 KQL 쿼리를 빠르게 생성합니다.
• 2 단계 (검증 및 정제): 경량 LLM (Oracle, Gemini 2.0 Flash) 이 '심판자 (Judge)' 역할을 수행합니다.
  • 생성된 후보들 중 가장 구문적, 의미적으로 올바른 쿼리를 선택합니다.
  • 스키마 정보 (테이블 및 컬럼 매핑) 를 활용하여 쿼리를 정제 (Refine) 하고 오류를 수정합니다.
  • 이 방식은 SLM 의 속도와 LLM 의 정확성을 결합하여 비용과 정확도의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. SLM 에 대한 최초의 체계적 평가: NL2KQL 변환 작업에서 SLM 의 성능을 구문 정확도, 의미 정확도, 테이블 선택, 필터 정밀도, 지연 시간, 비용 등 다양한 지표로 평가한 최초의 연구입니다.
2. 경량화된 NL2KQL 프레임워크 및 오류 인식 프롬프팅: SLM 에 적합한 경량 구성 요소로 재구축하고, 토큰 수 증가 없이 구문 오류를 줄이는 프롬프팅 전략을 도입했습니다.
3. 이유 증류가 포함된 LoRA 미세 조정: 교사 모델의 추론 과정을 증류하여 SLM 의 논리적 능력을 강화하는 방법을 제시했습니다.
4. SLM-Oracle 2 단계 아키텍처: SLM 이 후보를 생성하고 저비용 LLM 이 정제하는 모듈식 아키텍처를 제안하여, LLM 수준의 정확도를 유지하면서 비용을 대폭 절감했습니다.

4. 실험 결과 (Results)

Microsoft 의 NL2KQL Defender 평가 데이터셋 (230 개 쿼리) 과 Microsoft Sentinel 데이터 (83 개 쿼리) 를 사용하여 실험했습니다.

• Zero-Shot 성능: SLM 은 단독으로 구문적으로 유효한 쿼리는 생성할 수 있으나, 의미적 정확도 (Semantic Score) 는 0 에 가까웠으며 테이블/필터 선택 오류가 빈번했습니다.
• NL2KQL + 프롬프팅: SLM 에 NL2KQL 프레임워크와 오류 인식 프롬프팅을 적용하면 성능이 크게 향상되었습니다.
• LoRA 미세 조정: CoT 증류가 포함된 LoRA 미세 조정은 의미적 정확도를 일부 개선했으나, 프롬프팅 전략만 사용한 경우보다 항상 우월하지는 않았습니다.
• 최종 성능 (2 단계 아키텍처):
  • Microsoft Defender 데이터셋: 구문 정확도 0.987, 의미 정확도 0.906 달성.
  • Microsoft Sentinel 데이터 (일반화 테스트): 구문 정확도 0.964, 의미 정확도 0.831 달성.
  • 이는 GPT-5 와 같은 최상위 LLM 의 성능에 근접하는 수준입니다.
• 비용 효율성: 제안된 접근 방식은 GPT-5 대비 최대 10 배 이상 낮은 토큰 비용을 달성했습니다. (예: 전체 평가 세트를 실행하는 데 드는 비용이 GPT-5 대비 10 배 이상 절감됨).

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 이 연구는 SLM 이 경량 LLM(Oracle) 과 결합될 때, 기업 보안 분석 환경에서 고정밀도, 저지연, 저비용의 자연어 쿼리 생성 솔루션으로 실용화될 수 있음을 입증했습니다.
• 확장성: 제안된 프레임워크는 KQL 외에도 EQL, SPL 등 다른 보안 쿼리 언어로 쉽게 확장 가능합니다.
• 미래 방향: SOC 환경에서 분석가의 생산성을 높이기 위해, 로컬 또는 프라이빗 SLM 을 생성기로, 좁은 범위의 LLM 을 검증기로 사용하는 하이브리드 아키텍처가 새로운 표준이 될 수 있음을 시사합니다.

이 논문은 대규모 모델에 대한 의존도를 줄이면서도 보안 운영의 효율성을 극대화할 수 있는 SLM 기반의 확장 가능한 아키텍처의 가능성을 열었다는 점에서 중요한 의의를 가집니다.