기술 요약: 솔루션 중심 Windows 이벤트 로그 분석을 위한 소형 언어 모델 미세 조정

1. 문제 제기

본 논문은 이벤트 로그 분석을 위한 현재 대규모 언어 모델 (LLM) 응용 분야에서 세 가지 중요한 한계를 다룹니다:

1. 자원 및 보안 제약: LLM 은 상당한 연산 능력을 요구하며 (종종 비싼 클라우드 GPU 필요), 민감한 조직 로그를 외부 서비스 제공자에게 전송할 때 데이터 프라이버시 위험을 초래합니다.
2. 실행 가능한 조치 부재: 기존 도구와 접근 방식은 주로 이상 징후나 문제를 식별하는 데 중점을 두지만, 실행 가능한 조치 단계나 해결책을 제공하지는 못합니다.
3. 연구 격차: 소형 언어 모델 (SLM) 이 다른 분야에서 유망한 성과를 보였음에도 불구하고, 이벤트 로그 분석에 대한 독립적인 적용—특히 탐지가 아닌 해결책 생성을 위한 것—은 아직 충분히 연구되지 않았습니다. 이전 연구들은 종종 SLM 과 LLM 을 결합하거나 SLM 을 이상 탐지만으로 제한했습니다.

2. 방법론

본 연구는 데이터셋 생성, 미세 조정, 전문가 평가를 포함하는 2 단계 방법론을 채택했습니다.

1 단계: 합성 데이터셋 생성

• 동기: 기존 공개 데이터셋 (예: LogHub) 은 규모가 작음 (<2,000 개 항목), JSONL 형식 부재, 조치 해결책 미비로 인해 부적절하다고 판단되었습니다. 또한 민감성과 범위 제한으로 인해 실제 세계 로그를 사용할 수 없었습니다.
• 과정: 저자들은 OpenRouter API 를 통해 고성능 LLM(Claude 3.7 Sonnet) 을 활용하여 대규모 합성 데이터셋을 생성했습니다.
  • 입력: 시스템 상태, 공격, 일반 활동을 다루는 실제 Windows 로그 샘플을 컨텍스트로 제공했습니다.
  • 생성: LLM 은 JSON 형식으로 10,000 개의 합성 Windows 이벤트 로그를 생성했습니다.
  • 레이블링: LLM 에게 이러한 로그 내의 문제를 식별하고 상세한 단계별 조치 해결책을 생성하도록 프롬프트를 입력했습니다.
  • 상관관계: DepCOMM 도구를 사용하여 로그를 관련 그룹으로 상관관계 분석하여, 개별적으로 무해해 보이는 공격 (예: DDoS) 탐지에 필수적인 개별 로그와 상관관계 그룹을 모두 포함하도록 데이터셋을 구성했습니다.
• 검증: 9 명의 사이버 보안 전문가 (학계 및 산업계) 가 데이터셋의 현실성, 형식, 그리고 생성된 해결책의 충분성을 검증했습니다.

2 단계: 미세 조정 및 평가

• 모델: 본 연구는 세 가지 SLM(BTLM-3b, Bloom-4b, Gemma-4b) 과 세 가지 LLM(Mistral-7b, Gemma-7b, Bloom-7b) 을 미세 조정했습니다.
• 기법: 계산 요구 사항과 훈련 시간을 줄이기 위해 매개변수 효율적 미세 조정 기법인 LoRA(저랭크 적응) 를 사용했습니다.
• 환경: 일관성을 보장하기 위해 모든 모델에 대해 클라우드 기반 A100 PCIe GPU에서 실험을 수행했습니다. 이는 로컬 SLM 배포가 목표였음에도 불구하고 수행되었습니다.
• 테스트: 20,000 개의 로그로 구성된 실제 세계 테스트 데이터셋 (7 개의 하위 집합으로 분할) 을 사용했습니다. DepCOMM 이 로그를 그룹으로 상관관계 분석했습니다.
• 컨텍스트 제한 처리: 7 개를 초과하는 로그 그룹의 경우, 모델이 이전 응답을 수신하고 새로운 정보로 이를 업데이트하도록 요청하는 특정 방법을 구현하여 컨텍스트 창 제한을 완화했습니다.
• 평가: 동일한 9 명의 전문가가 미세 조정된 모델의 출력을 다음 기준으로 평가했습니다:
  • 문제 식별의 정확성.
  • 조치 단계의 충분성과 명확성.
  • 할루시네이션 (환각) 의 존재 여부.
  • 대규모 상관관계 로그 그룹 처리 능력.

3. 주요 기여

본 논문은 세 가지 주요 신규 기여를 주장합니다:

1. 해결책 인식 합성 데이터셋: 탐지만 하는 데이터셋의 일반적인 한계를 해결하기 위해, 문제 식별과 실행 가능한 조치 단계가 쌍을 이룬 대규모 (10,000 개 항목), 미세 조정 준비가 된 Windows 이벤트 로그 데이터셋을 생성했습니다.
2. 해결책 중심 미세 조정: 단순 이상 탐지를 넘어 해결책 생성을 위해 SLM 과 LLM 에 미세 조정을 적용했습니다.
3. 휴먼-인-더-루프 벤치마킹: 상관관계 로그 그룹에 대한 SLM 과 LLM 을 비교하는 전문가 주도 평가를 통해 진단 작업에서 모델 크기 간의 트레이드오프에 대한 증거 기반 통찰력을 제공했습니다.

4. 결과

• 데이터셋 품질: 전문가들은 합성 데이터셋이 실제 세계 시나리오를 정확하게 반영했으며, 문제 식별의 정확성에 대해 100% 동의하고 해결책의 충분성에 대해 높은 점수를 주었습니다.
• LoRA 의 효율성: LoRA 사용은 미세 조정 시간을 크게 단축 (35 분에서 1 시간 13 분 사이) 하여 기존 전체 미세 조정보다 낮은 사양의 GPU 에서 훈련을 가능하게 했습니다.
• SLM 대 LLM 성능:
  • 전체적으로: 미세 조정된 SLM 은 문제 식별 및 관련 조치 제공에서 LLM 보다 일관되게 우수한 성과를 보였습니다.
  • 특정 모델: Gemma-4b가 가장 우수한 성능을 보이며, 대규모 로그 그룹을 분석할 수 있는 명확하고 할루시네이션이 적은 출력을 생성했습니다. Mistral-7b도 잘 수행되었으나 일부 측면에서 Gemma-4b 보다 세부 사항이 약간 부족했습니다.
  • LLM 저조한 성능: 더 큰 모델 (Gemma-7b 및 Bloom-7b) 은 심각한 할루시네이션을 보이며 7 개를 초과하는 로그 그룹을 분석하지 못해 크게 저조한 성과를 보였습니다. 이전 컨텍스트보다 지시를 우선시하여 다중 턴 또는 대규모 그룹 분석에서 정보 손실을 초래했습니다.
  • 비교: Bloom 과 Gemma 의 SLM 버전은 각각의 LLM 대응 모델보다 우수한 성과를 보였으며, 이는 사용 가능한 데이터셋 크기로 특정 작업을 더 효과적으로 학습할 수 있음을 시사합니다.
• 분석 시간: 흥미롭게도 LLM 이 SLM 보다 테스트 데이터셋 분석이 더 빨랐으며, 저자들은 이를 이벤트 로그 분석의 복잡성 때문으로 귀인하며 향후 작업이 에이전트 프레임워크를 통해 해결할 수 있다고 제안했습니다.

5. 중요성 및 주장

본 논문은 이벤트 로그 분석을 위한 클라우드 기반 LLM 에 대한 실용적이고 안전하며 비용 효율적인 대안을 제시한다고 주장합니다. 실행 가능한 해결책 생성에서 LLM 성능을 능가하거나 견줄 수 있는 미세 조정된 SLM 이 더 적은 자원을 요구함을 입증함으로써, 저자들은 배포 전략의 전환을 주장합니다.

그 중요성은 다음과 같습니다:

• 보안: 클라우드에 전송하지 않고 민감한 로그를 처리하는 모델의 로컬 배포를 가능하게 합니다.
• 실행 가능성: 단순 탐지에서 사용자에게 명확한 단계별 조치 계획을 제공하는 분야로의 전환.
• 효율성: prohibitive 한 계산 비용 없이 전문적이고 고품질의 진단 도구를 만들기 위해 SLM 에서 LoRA 미세 조정이 유효한 경로임을 검증합니다.

저자들은 현재 SLM 이 이 특정 작업에 있어 더 나은 선택이지만, 향후 작업은 특정 로그 유형을 처리하고 제안된 해결책의 구현을 자동화할 수 있도록 에이전트 프레임워크를 탐구해야 한다고 결론지었습니다.