기술 요약: 공격 조사에 대한 LLM의 역량 벤치마킹 및 탐색

문제 정의

보안 팀은 공격 조사를 위한 시스템 감사 로그를 분석하는 데 필요한 전문 지식의 부족과 과도한 양의 오탐(false alarms) 문제에 직면해 있습니다. 대규모 언어 모델(LLM)은 보안 포렌식 분야에서 유망한 가능성을 보여주었으나, 보안 감사 로그를 분석하고 공격 조사를 수행하는 구체적인 역량을 평가하는 공표된 연구는 매우 부족한 실정입니다. 이러한 격차는 다양하고 잘 라벨링된 데이터셋의 부재와, 저수준의 시스템 호출(system calls)과 고수준의 공격자 행동 사이의 의미론적 간극을 메워야 하는 실제 조사 과정의 복잡하고 모호한 특성에서 기인합니다.

방법론

AuditBench 벤치마크

이러한 한계를 해결하기 위해 저자들은 보안 로그 분석에 대한 LLM의 역량을 평가하기 위해 설계된 새로운 평가 벤치마크인 AuditBench를 소개합니다. 이 벤치마크는 다음을 포함합니다:

• 범위: 네 가지 일반적인 보안 조사 작업:
  1. 분류 (Alert Triaging): 경보가 실제 공격인지 아니면 오탐인지 결정.
  2. 지속성 조사 (Persistence Investigation): 공격자가 시스템 접근을 유지할 수 있게 하는 메커니즘 식별.
  3. 측면 이동 조사 (Lateral Movement Investigation): 원격 접속 및 제어를 가능하게 하는 외부 연결 식별.
  4. 데이터 유출 조사 (Data Exfiltration Investigation): 민감한 데이터가 외부로 이동되는 이벤트 식별.
• 데이터셋 구성: 벤치마크는 51개의 별도 시나리오(새로 생성된 "Lab" 데이터 25개와 공개된 DARPA OpTC 데이터셋에서 선별된 26개)를 포함합니다.
  • Lab 데이터: 특정 공격 기법과 정상 활동을 시뮬레이션하기 위해 MITRE ATT&CK 프레임워크와 Atomic Red Team (ART)을 사용하여 Linux 및 Windows VM에서 생성되었습니다.
  • OpTC 데이터: 가장 큰 규모의 공개 시스템 감사 로그 데이터셋인 DARPA OpTC 데이터셋에서 선별되었으며, 그라운드 트루스(ground truth) 라벨에 대한 수동 검증을 거쳤습니다.
• 데이터 표현 방식: 벤치마크는 두 가지 별개의 로그 표현 방식을 평가합니다:
  1. Raw (원시): 네이티브 OS 로그 수집기(예: auditd, procmon)의 직접적인 출력값.
  2. Edge (엣지): 로그 라인을 주체-행위-객체 관계를 나타내는 엣지로 변환한 전처리된 그래프 기반 표현(프로비넌스 그래프). 이 표현 방식은 특히 Windows 로그의 중복성과 볼륨을 줄여줍니다.
• 평가 프레임워크: 참 양성률(TPR), 거짓 양성률(FPR), F1 점수를 계산하는 자동화된 파이프라인입니다. 또한, 자연어 추론(NLI) 접근 방식을 사용하여 LLM이 생성한 설명의 품질을 평가하며, 여기서 LLM은 설명이 그라운드 트루스에 의해 의미론적으로 함의되는지 검증하는 판사 역할을 합니다.

실험 설정

본 연구는 다섯 가지 프런티어 LLM인 GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash, Llama 4 Maverick을 평가했습니다. 실험에서는 다음과 같은 다양한 설계 선택지를 테스트했습니다:

• 모델 크기: 대규모 프런티어 모델과 성능이 뛰어난 소형 모델 간의 비교.
• 프롬프트 엔지니어링: 두 가지 프롬프트 버전(일반 템플릿 vs 특정 도메인 제약 조건 및 페르소나 지침이 포함된 정교한 버전)의 비교.
• 데이터 표현: Raw 표현과 Edge 표현에 따른 성능 평가.
• 청킹 (Chunking): 로그 청크 크기가 성능에 미치는 영향 분석.

주요 결과

1. 혼합된 성능과 높은 오탐 발생

단일 모델이 모든 작업에서 엄격하게 우월한 성능을 달s성하지 못했습니다. 관찰된 지배적인 경향은 감사 로그에 대한 과도하게 의심스러운 해석이었으며, 이는 많은 작업에서 높은 거짓 양성률(FPR)로 이어졌습니다.

• 유출 (Exfiltration): 모델들은 일반적으로 데이터 유출 작업에서 가장 좋은 성능을 보였으며, 일부 모델은 높은 TPR과 낮은 FPR을 달성했습니다.
• 측면 이동 (Lateral Movement): 이 작업은 가장 낮은 중앙값 F1 점수를 기록했으며, 모델들이 정상적인 활동을 공격으로 자주 오분류했습니다.
• 분류 (Classification): 일부 모델은 완벽한 TPR을 달성하기도 했으나, 종종 높은 FPR을 겪으며 정상적인 시스템 활동을 악성으로 분류했습니다.

2. 모델 크기 대비 성능

모델이 커질수록 항상 더 나은 성능을 보일 것이라는 예상과 달리, 연구 결과 소형 모델이 대형 모델과 대등하거나 오히려 능가하는 경우가 많았습니다.

• 여러 작업(예: edge 데이터에서의 지속성 및 측면 이동)에서 GPT-5 mini 및 Llama 4 Maverick과 같은 소형 모델이 GPT-5 및 Gemini 2.5 Pro보다 더 높거나 대등한 F1 점수를 달성했습니다.
• 이는 보안 조사에 있어 실무자들이 최적의 결과를 얻기 위해 반드시 가장 비싸고 거대한 모델을 사용할 필요는 없음을 시사합니다.

3. 데이터 표현의 영향

데이터 표현의 선택은 성능에 상당한 영향을 미쳤으나, 그 효과는 모델에 따라 달랐습니다.

• 일부 모델(예: Llama 4)의 경우, 압축된 edge 표현이 raw 로그에 비해 모든 작업에서 엄격하게 더 나은 성능을 보였습니다.
• 다른 모델(예: Gemini 2.5 Pro)의 경우, 때때로 raw 로그가 더 나은 결과를 냈습니다.
• 이는 데이터 전처리 및 변환이 비용과 성능을 모두 최적화하기 위한 중요한 레버임을 나타냅니다.

4. 프롬프트 엔지니어링 효과

프롬프트 변형은 모델 의존적인 효과를 보였습니다. 정교한 프롬프트(Prompt v2)는 특정 도메인 제약을 통해 오탐을 줄임으로써 많은 모델의 성능을 전반적으로 개선했지만, 다른 모델(예: 분류 작업에서의 Gemini 2.5 Flash)의 성능은 저하시켰습니다. 이는 모델을 비교할 때 "원 사이즈 핏 올(one-size-fits-all)" 식의 프롬프트 전략을 경계해야 함을 시사합니다.

5. 설명 품질 및 오류 분석

• 설명 품질: 모델이 공격을 올바르게 식별했을 때(True Positives), 생성된 설명은 높은 품질(평균 함의 점수 > 4.0/5.0)을 보였으며, 불필요한 세부 사항 없이 핵심적인 공격 동작을 정확하게 포착했습니다.
• 오류 특성: 오탐(False Positives)은 모델 간에 공유되는 경우가 드물었습니다(낮은 오류 중첩). 주요 오탐 원인은 다음과 같습니다:
  1. 시스템 객체 이름: 모델들이 "비표준"적이거나 의심스러운 느낌을 주는 파일/프로세스 이름(예: clear_logs, invis.vbs)을 근거로 활동을 차단했습니다.
  2. 이벤트 시퀀스 및 볼륨: 모델들이 충분한 맥락 없이 고용량 활동이나 특정 실행 체인(예: svchhot가 cmd.exe를 생성하는 경우)을 악성으로 오해했습니다.

의의 및 기여

본 논문은 보안 및 AI 커뮤니티를 위한 기초적인 자원을 제공한다고 주장합니다:

1. 새로운 벤치마크: 다양한 공격 시나리오, 정상 활동 및 다중 로그 표현을 다루는 오픈 소스 데이터셋이자 평가 프레임워크인 AuditBench를 기여합니다. 이를 통해 보안 로그 분석에서의 LLM에 대한 체계적인 연구가 가능해집니다.
2. 경험적 통찰: 본 연구는 실무자들에게 실질적인 가이드를 제공합니다. 즉, 단순히 모델 크기를 키우는 것보다 소형 모델과 특정 데이터 변환(예: edge 표현)을 사용하는 것이 더 비용 효율적이고 성능이 좋을 수 있음을 시사합니다.
3. 설계 가이드: 설계 선택(프롬프트, 데이터 표현)이 매우 모델 특정적임을 강조하며, 개발자와 보안 팀이 자신의 맥락에 맞는 설계 공간을 탐색하지 않은 채 직접적인 헤드 투 헤드(head-to-head) 모델 비교를 하는 것을 경계하도록 권고합니다.
4. 향후 방향: 객체 이름 및 활동 볼륨에 대한 민감도로 인해 발생하는 높은 오탐율을 완화해야 할 필요성을 식별하였으며, 낮은 오류 중첩을 활용하여 견고성을 높이기 위한 모델 앙상블 탐색을 제안합니다.

저자들은 이 작업이 LLM의 견고성과 유용성을 개선하기 위한 향후 연구에 필요한 데이터와 도구를 제공하는 첫 단계임을 강조합니다.