Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

이 논문은 보안 사고 분석 (SIA) 의 복잡성과 벤치마킹 부재를 해결하기 위해, 다양한 SIA 태스크를 수행할 수 있는 에이전트와 대규모 데이터셋을 포함한 평가 프레임워크 'SIABENCH'를 제안하고 11 개의 주요 LLM 을 평가합니다.

핵심

이 논문은 **"AI(거대 언어 모델) 가 보안 전문가를 대신해 해킹 사고를 조사할 수 있을까?"**라는 질문에 답하기 위해 진행된 실험 결과입니다.

비유하자면, 이 연구는 **"새로운 AI 수사관 후보생 11 명을 뽑아, 실제 범죄 현장 (보안 사고) 에서 그들이 얼마나 잘 일하는지 시험하는 시험지 (벤치마크) 를 만든 이야기"**입니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이 연구가 필요했을까요? (문제 상황)

보안 센터 (SOC) 에서는 매일 수천 개의 '경보'가 울립니다. 마치 불이 났을 때 소방서로 수천 개의 전화가 걸려오는 상황과 비슷합니다.

• 현실: 대부분의 경보는 거짓입니다 (고양이가 지나가서 센서가 울린 경우). 하지만 진짜 불 (해킹) 이 났을 때를 놓치면 큰일이 납니다.
• 기대: 기업들은 "AI 가 이 수많은 경보를 먼저 보고, 진짜 불인지 가짜 불인지 골라내면 좋겠다"고 생각했습니다.
• 문제: 하지만 "이 AI 가 정말 잘할까?"를 검증할 공식 시험지가 없었습니다. 그냥 AI 를 쓰다가 실수하면 오히려 보안을 더 위험하게 만들 수 있습니다.

2. 연구자들이 만든 것: 'SIABENCH' (시험지 + 로봇)

연구팀은 AI 를 평가하기 위해 두 가지 무기를 만들었습니다.

A. 'SIABENCH' 데이터셋 (실전 훈련용 문제집)

기존에 없던 실제 보안 사고를 시뮬레이션한 문제집입니다.

• 구성:
  1. 심층 수사 문제 (25 개): "누가 해킹했지?", "어떻게 들어왔지?", "어떤 파일을 훔쳤지?"처럼 여러 단계를 거쳐 답을 찾아야 하는 복잡한 사건들입니다. (예: 메모리 분석, 악성코드 분석 등)
  2. 경보 분류 문제 (135 개): "이 경보는 진짜 해킹일까, 아니면 거짓 알람일까?"를 판단하는 문제입니다.
• 특징: AI 가 이미 답을 외웠을 수도 있는 문제들을 피하기 위해, 문제의 표현을 바꾸고 (패러프레이징), 특정 이름이나 숫자를 지우는 등 AI 가 '암기'하지 않고 '생각'하도록 만든 것이 특징입니다.

B. 'SIABENCH 에이전트' (AI 가 문제를 푸는 로봇)

단순히 AI 에게 문제를 보여주고 답을 듣는 게 아닙니다. AI 가 직접 컴퓨터를 조작해서 문제를 푸는 로봇을 만들었습니다.

• 작동 원리:
  1. 계획 세우기: "일단 PCAP 파일 (네트워크 기록) 을 열어보자."
  2. 도구 사용: 직접 명령어를 입력해 (예: tshark) 데이터를 분석합니다.
  3. 요약하기: 결과가 너무 길면 AI 가 핵심만 요약해서 다음 단계로 넘어갑니다.
  4. 반복: 답을 찾을 때까지 이 과정을 반복합니다.

3. 실험 결과: AI 는 잘할까? (11 명의 후보생 평가)

연구팀은 OpenAI(GPT-5, GPT-4o 등), Anthropic(Claude), Google(Gemini), Meta(Llama) 등 최신 AI 11 개를 이 시험지에 투입했습니다.

✅ 잘한 점 (성공 사례)

• 최근 모델은 놀라울 정도로 발전했습니다. 특히 Claude 4.5와 GPT-5는 복잡한 수사에서도 높은 점수를 받았습니다.
• 거짓 경보 (False Positive) 구분: "이건 고양이 소리야, 진짜 불이야?"를 구분하는 능력은 최신 AI 가 거의 완벽에 가깝게 해냈습니다. (98% 이상 정확도)
• 초보 수사관 수준: 아직은 전문 수사관 (시니어) 수준은 아니지만, 초급 수사관 (주니어) 수준의 업무는 대체할 가능성이 보입니다.

❌ 못 한 점 (실패 원인)

• 복잡한 추론의 한계: "악성코드가 어떻게 숨겨져 있는지"를 역추적하거나, 암호화된 파일을 분석하는 등 깊은 기술적 분석에서는 여전히 실수가 많습니다.
• 무한 루프 (고정관념): AI 가 같은 명령어를 반복해서 입력하다가 지쳐버리는 경우가 있었습니다. (예: "파일 열어보기"를 100 번 반복)
• 할루시네이션 (망상): 증거가 없는데도 "아마도 이 IP 가 해커일 거야"라고 거짓으로 답을 만들어내는 경우가 있었습니다.
• 작은 모델의 부진: Llama 3.1 같은 오픈소스 작은 모델들은 복잡한 보안 도구 사용에 매우 서툴렀습니다.

4. 이 연구가 주는 교훈 (결론)

이 논문은 **"AI 를 바로 믿고 모든 일을 맡겨서는 안 된다"**는 메시지를 줍니다.

• 도구로 쓰되, 감시해야 한다: AI 는 방대한 데이터를 빠르게 훑어보고 '가짜 경보'를 걸러내는 비서로는 훌륭하지만, 최종 판단이나 복잡한 수사에는 인간 전문가의 확인이 필수적입니다.
• 모델 선택이 중요: 모든 AI 가 똑같은 게 아닙니다. 보안 업무에는 Claude 4.5나 GPT-5처럼 추론 능력이 뛰어난 최신 모델을 써야 합니다.
• 지속적인 평가 필요: AI 는 계속 발전하므로, 오늘 잘한다고 해서 내일도 잘할지는 모릅니다. SIABENCH 같은 지속적인 시험 시스템이 필요합니다.

📝 한 줄 요약

"AI 가 보안 사고 수사를 도와줄 수는 있지만, 아직은 '초급 수사관' 수준입니다. AI 를 믿기 전에, 우리가 만든 'SIABENCH'라는 시험지로 그 능력을 꼼꼼히 확인해야 합니다."

기술 요약

1. 문제 정의 (Problem Statement)

보안 사고 분석 (Security Incident Analysis, SIA) 은 보안 운영 센터 (SOC) 의 핵심 업무이지만, 다음과 같은 심각한 도전 과제에 직면해 있습니다.

• 과도한 경고량과 데이터 다양성: 분석가는 방대한 양의 경고와 이질적인 데이터 소스 (네트워크 로그, 메모리 덤프, 멀웨어 파일 등) 를 처리해야 합니다.
• 복잡한 사고 흐름: 사고는 정적이지 않으며, 다단계적이고 다면적인 추론 (Who, What, Where, How) 을 요구합니다.
• LLM 도입의 위험: 조직들이 LLM 을 SIA 에 도입하려는 열망이 커지고 있지만, 엄격한 벤치마크가 부재하여 LLM 의 효과성을 평가하거나 설계 결정을 내리기 어렵습니다.
• 기존 연구의 한계: 기존 보안 벤치마크는 취약점 관리나 CTF(Capture The Flag) 와 같은 단일 목표에 집중하거나, 자동화 도구 개발에 치중하여 LLM 이 실제 SOC 환경에서 사고를 어떻게 조사하는지에 대한 체계적인 평가가 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 SIABENCH라는 새로운 에이전트 기반 평가 프레임워크를 제안했습니다.

A. SIABENCH 데이터셋 구축

LLM 이 처리할 수 있도록 설계된 최초의 SIA 전용 데이터셋을 구성했습니다.

1. 심층 분석 워크플로우 (Deep Analysis Workflows): 25 개의 사고 시나리오 (229 개의 조사 질문) 를 포함합니다.
   • 도메인: 네트워크 포렌식, 메모리 포렌식, 멀웨어 분석 (바이너리/코드/PDF), 피싱 분석, 로그 분석 등.
   • 난이도: Easy, Medium, Hard 3 단계로 분류.
   • 편향 제거 (De-biasing): 실제 SOC 환경과 일치하도록 질문을 재구성했습니다. (예: "공격자의 IP 는?" 대신 "네트워크 트래픽에 스캔 활동의 증거가 있는가? 있다면 IP 는?"과 같이 개방형으로 변경).
   • 데이터 전처리: LLM 의 훈련 데이터 오염 (Write-up 기억) 을 방지하기 위해 시나리오 설명을 재구성하고, 파일명/식별자를 일반화했습니다.
2. 알트 트라이징 (Alert Triage) 태스크: 135 개의 경고 시나리오 (True Positive 및 False Positive 포함) 를 포함합니다.
   • IDS(침입 탐지 시스템) 경고와 PCAP 파일을 기반으로 LLM 이 경고가 실제 공격인지 오경보인지 분류하는 능력을 평가합니다.

B. SIABENCH 에이전트 설계

LLM 이 자율적으로 SIA 태스크를 수행하도록 설계된 에이전트입니다.

• 동적 상호작용: LLM 이 외부 도구 (Tshark, Volatility, Oledump 등) 를 실행하고 결과를 관찰할 수 있도록 합니다.
• 다중 상태 워크플로우 (Multi-state Workflow):
  1. Init State: 시나리오, 아티팩트, 질문 입력.
  2. Incident Analysis State: ReAct(Reason + Act) 프레임워크를 사용하여 계획 수립, 도구 실행, 결과 요약의 루프를 수행.
  3. Summarizer Module: 긴 로그나 분석 결과를 핵심 보안 인사이트 (KSI) 로 요약하여 컨텍스트 길이 제한을 해결하고 추론 일관성을 유지.
  4. Solved State: 답변 도출 또는 포기 결정 후 다음 질문으로 이동.
• 적응성: 새로운 모델이나 태스크가 추가될 때 쉽게 확장 가능하도록 설계되었습니다.

C. 평가 대상

11 개의 주요 LLM(4 개 오픈 가중치 모델: Llama 3.1 시리즈, DeepSeek-Reasoner / 7 개 클로즈드 가중치 모델: GPT-4o/5, Claude 3.5/4.5, Gemini 1.5, o3-mini 등) 을 대상으로 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 SIA 벤치마크 데이터셋: 다양한 도메인과 난이도를 아우르는 25 개의 심층 사고 시나리오와 135 개의 알트 트라이징 시나리오를 포함하는 공개 데이터셋을 제공했습니다.
2. 자율 SIA 에이전트: LLM 이 도구와 환경을 직접 조작하며 다중 목표를 가진 사고를 조사할 수 있는 에이전트 프레임워크를 구현했습니다.
3. 포괄적인 LLM 평가: 11 개의 주요 모델을 대상으로 체계적인 평가를 수행하여, 현재 LLM 의 성능 한계와 강점을 규명했습니다.

4. 평가 결과 (Results)

A. 전반적인 성능 (RQ1)

• 성능 격차: 최신 모델 (Claude-4.5-Sonnet, GPT-5) 이 가장 우수한 성능을 보였으나, 전체 시나리오를 완전히 해결 (Fully Solved) 한 경우는 25 개 중 8 개 (최고 모델 기준) 에 불과했습니다.
• 도메인별 차이:
  • 네트워크 포렌식: 패턴 기반 탐지 (Reconnaissance) 는 잘 수행했으나, 복잡한 패킷 분석이나 심층 메모리 포렌식에서는 성능이 급격히 하락했습니다.
  • 멀웨어 분석: 간단한 스크립트 분석은 잘했으나, 바이너리 역공학이나 복잡한 인코딩 처리는 여전히 어렵습니다.
  • 메모리 포렌식: Volatility 등 전문 도구 사용 시 성능이 낮아, LLM 이 여전히 전문 분석가 수준의 역량을 갖추지 못했음을 시사합니다.

B. 실패 원인 분석 (RQ3)

• 주요 실패 모드:
  1. 무한 루프 (Infinite Loop): 특히 Llama 시리즈 모델이 동일한 명령을 반복하며 진행하지 못함.
  2. 잘못된 명령 (Wrong Commands): 도구 사용 시 문법 오류 발생.
  3. 할루시네이션 (Hallucination): 근거 없는 사실 생성.
  4. 얕은 조사 (Shallow Investigation): 키워드 매칭에 의존하여 심층 분석을 생략.
  5. 질문 의존성 (Question Dependency): 초기 질문 실패가 이후 모든 분석을 무너뜨림.

C. 에이전트 설계의 영향 (Ablation Study, RQ6)

• 다중 상태 워크플로우: 단일 상태 (한 번에 모든 질문 처리) 보다 다중 상태 (질문별 순차적 처리) 가 성능을 크게 향상시켰습니다.
• 요약기 (Summarizer): 긴 로그를 요약하는 모듈이 없으면 컨텍스트 제한 (Context Limitation Error) 으로 인해 성능이 저하되었습니다. 요약기는 GPT-5 와 같은 최신 모델에서도 네트워크/메모리 포렌식과 같은 대용량 로그 처리에 필수적이었습니다.
• ReAct vs Act-Only: 추론 (Reasoning) 을 거친 후 행동하는 ReAct 방식이 단순 행동 (Act-Only) 보다 성능이 우수했습니다.

D. 실시간 태스크 및 알트 트라이징 (RQ5, RQ7)

• 실시간 태스크: 훈련 데이터 컷오프 이후에 공개된 새로운 사고 시나리오에서도 최신 모델 (GPT-5, Claude-4.5) 이 기존 모델보다 우수한 성능을 보였습니다.
• 알트 트라이징: GPT-5 는 98% 의 정확도로 True Positive와 False Positive를 모두 정확하게 분류하여, SOC 의 경고 피로 (Alert Fatigue) 해소에 큰 잠재력을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적인 평가 기준 제시: SIABENCH 는 LLM 이 실제 SOC 환경에서 Junior Analyst 수준으로 사고를 분석할 수 있는지 평가하는 표준을 마련했습니다.
• 도입 가이드라인 제공: 현재 LLM 은 복잡한 사고 분석의 완전 자동화에는 미치지 못하지만, 특정 태스크 (알트 트라이징, 초기 조사) 에서는 인간 분석가를 보조하는 강력한 도구가 될 수 있음을 입증했습니다.
• 미래 지향성: 프레임워크는 새로운 모델과 태스크를 쉽게 통합할 수 있도록 설계되어, LLM 의 발전 추이를 지속적으로 추적하고 SOC 의 도입 전략 (모델 선택, 가드레일 설정 등) 을 수립하는 데 기여합니다.

결론적으로, 이 연구는 "LLM 을 SOC 에 도입하기 전에 반드시 검증해야 한다"는 메시지를 전달하며, SIABENCH를 통해 그 검증의 기준과 방법을 제시했습니다.