CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics

이 논문은 네트워크 트래픽을 분석하여 웹 공격 포렌식을 자동화하는 자율형 블루팀 LLM 에이전트 'CyberSleuth'를 제안하며, 다중 에이전트 전문화와 단순 오케스트레이션이 복잡한 계층적 구조보다 장기 추론과 정확한 보고서 생성에 효과적임을 실증합니다.

핵심

🕵️‍♂️ 사이버 수사관 (CyberSleuth): AI 가 되어주는 디지털 탐정

1. 문제 상황: "범인 잡기가 너무 어려워요!"

상상해 보세요. 어떤 건물이 불이 났습니다. 소방관 (보안 전문가) 이 현장에 도착했지만, 증거는 수만 장의 문서와 녹음 파일 (네트워크 트래픽) 속에 숨어 있습니다.

• 기존 방식: 전문가가 눈으로 하나하나 확인하며 "아, 여기가 불이 난 곳인가?", "어떤 연료로 타고 있었을까?"라고 추리합니다. 시간이 너무 오래 걸리고, 피곤해서 실수할 수도 있습니다.
• 새로운 방식 (이 연구): AI 탐정 (CyberSleuth) 을 투입합니다. 이 AI 는 모든 증거를 순식간에 분석하고, "범인은 A 라는 장난감으로 불을 지폈다"라고 결론을 내립니다.

2. 어떻게 작동할까? "팀워크가 핵심!"

연구진은 AI 를 어떻게 설계할지 세 가지 방식을 실험했습니다.

• 방식 A: 혼자 모든 걸 하는 '혼자서 다 하는 탐정' (Single Agent)

  • 한 명의 AI 가 모든 증거를 직접 뒤집니다.
  • 문제점: 증거가 너무 많으면 머리가 복잡해져서 ("컨텍스트 윈도우" 부족) 중요한 단서를 놓치거나, 같은 질문을 반복하며 지칩니다. 마치 한 사람이 수만 장의 서류를 직접 넘기다 지쳐서 실수하는 것과 같습니다.

• 방식 B: 복잡한 지휘 체계의 '팀' (Tshark Expert Agent)

  • 지휘관 (메인 AI) 이 부하 (서브 AI) 에게 "이쪽을 좀 봐줘"라고 지시합니다.
  • 문제점: 지휘관과 부하 사이의 소통이 매끄럽지 않습니다. "그쪽을 봐줘"라는 모호한 지시를 받아 부하가 엉뚱한 곳을 검색하거나, 지휘관이 부하의 보고를 제대로 이해하지 못해 시간이 낭비됩니다.

• 방식 C: 최고의 팀인 'CyberSleuth' (Flow Reporter Agent)

  • 핵심 아이디어: "전문가는 전문적인 일만 하세요."
  • 작동 방식:
    1. 요약 전문가 (Flow Summariser): 먼저 수만 장의 서류를 한눈에 훑어 "여기서 이상한 점 3 가지를 찾았습니다"라고 간단한 요약 보고서를 작성합니다.
    2. 수사관 (Main Agent): 이 요약 보고서를 받아 "아, 이 부분이 의심스럽구나"라고 판단하고, 인터넷 (웹 검색) 으로 해당 범죄 수법을 검색하여 범인을 특정합니다.
  • 결과: 이 방식이 가장 성공적이었습니다. 복잡한 지시 없이, 간단한 보고서를 주고받는 직선적인 소통이 가장 효율적이었습니다.

3. AI 의 두뇌 (LLM) 는 무엇이 좋을까?

연구진은 다양한 AI 모델 (GPT-4o, GPT-5, DeepSeek 등) 을 시험했습니다.

• 결론: 최신 모델일수록, 그리고 **추론 능력 (Reasoning)**이 뛰어난 모델일수록 범인을 더 정확하게 잡았습니다.
• 특히, 웹 검색을 얼마나 잘 활용하느냐가 중요했습니다. AI 가 "내 기억만 믿고" 범인을 잡으려다 실패하는 경우가 많았는데, 증거 (네트워크 데이터) 를 바탕으로 정확한 키워드로 검색을 해주는 모델이 성공률이 높았습니다.

4. 실제 성능은 어떨까?

• 2025 년 최신 해킹 기법 테스트: 아직 세상에 알려지지 않은 2025 년의 새로운 해킹 기법 (CVE) 으로 공격을 시뮬레이션했습니다.
• 성과: CyberSleuth 는 80% 의 정확도로 범인 (취약점) 을 찾아냈고, 전문가 25 명에게 보고서를 보여줬더니 "완벽하고, 유용하며, 논리적"이라고 극찬했습니다.
• 유연성: 웹 해킹뿐만 아니라, 악성코드에 감염된 컴퓨터의 트래픽을 분석하는 임무에도 바로 적용할 수 있었습니다. 지시만 살짝 바꾸면 다른 수사 업무도 잘 해내는 것입니다.

5. 이 연구가 주는 교훈 (핵심 요약)

1. 혼자 하는 것보다 팀이 낫다: 모든 일을 한 AI 가 하는 것보다, 전문가 역할로 나뉜 여러 AI 가 협력하는 것이 좋습니다.
2. 복잡한 지휘보다 간단한 소통이 낫다: 너무 복잡하게 계층을 나누면 소통이 끊깁니다. 간단한 순서대로 일을 처리하는 것이 가장 빠르고 정확합니다.
3. 배운 것은 다른 곳에도 쓸 수 있다: 웹 해킹 수사에서 배운 AI 설계 원리는 악성코드 수사 등 다른 보안 분야에도 그대로 적용할 수 있습니다.

🎯 한 줄 요약

"복잡한 사이버 수사 일을, 여러 명의 AI 전문가가 팀을 이루어 간결하게 협력하게 만들었더니, 인간 전문가 못지않게 빠르고 정확하게 범인을 잡았다!"

이 기술은 앞으로 보안 전문가들의 업무를 도와주거나, 사고 발생 시 즉각적인 대응을 가능하게 하여 사이버 보안을 한 단계 업그레이드할 것으로 기대됩니다.

기술 요약

CyberSleuth: 웹 공격 포렌식을 위한 자율적 블루팀 LLM 에이전트

이 논문은 사이버 포렌식의 핵심 단계인 사후 분석 (Post-mortem analysis) 을 자동화하기 위해 제안된 CyberSleuth라는 자율적 LLM 기반 에이전트 시스템에 대한 체계적인 연구입니다. 기존 수동적이고 오류가 발생하기 쉬운 포렌식 작업을 해결하기 위해, 공격 트래픽 (PCAP) 을 분석하여 침해 서비스 식별, CVE 매핑, 공격 성공 여부 판단 및 보고서 작성을 수행하는 에이전트 아키텍처를 설계하고 평가했습니다.

1. 문제 정의 (Problem)

• 현황: 사이버 포렌식, 특히 침해 사고의 사후 분석은 보안 전문가가 디지털 증거를 추출하고, 이를 지식 베이스와 연관 짓고, 인과관계를 해석하는 복잡한 과정으로, 현재까지 주로 수동으로 수행되어 시간 소모가 크고 오류가 발생하기 쉽습니다.
• 도전 과제: 최근 LLM 기반 에이전트 (Agentic AI) 는 다양한 분야에서 성공을 거두었으나, 사이버 보안 (특히 방어 및 포렌식) 분야에서는 장기적 추론 (Long-term reasoning), 문맥 기억 (Contextual memory), 그리고 비정형 증거 간의 일관된 상관관계 분석이 요구되어 적용이 어렵습니다. 기존 연구는 주로 공격 (Red-team) 에 집중되어 방어 (Blue-team) 및 포렌식 자동화 연구는 미흡한 실정입니다.

2. 방법론 (Methodology)

저자들은 30 개의 통제된 시나리오 (웹 서비스 공격 및 악성코드 트래픽) 를 기반으로 3 가지 에이전트 아키텍처와 6 가지 LLM 백엔드를 비교 평가했습니다.

2.1. 데이터셋 및 시나리오

• 웹 서비스 공격: 알려진 CVE 를 이용한 원격 공격 시나리오. PCAP 트래픽을 입력으로 받아 공격 대상 서비스, 악용된 CVE, 공격 성공 여부를 분석합니다. (2024 년까지의 20 건 + 2025 년 신종 CVE 10 건 포함)
• 악성코드 트래픽 분석: 감염된 장치의 트래픽을 분석하여 피해자 정보 및 침해 지표 (IOCs) 를 추출하는 포렌식 작업.

2.2. 에이전트 아키텍처 비교

세 가지 아키텍처를 설계하여 성능을 비교했습니다 (그림 1 참조):

1. Single Agent (SA): 단일 에이전트가 PCAP 요약본을 분석하고 필요시 tshark 도구와 웹 검색을 호출하는 방식. (CFABench 기반)
2. Tshark Expert Agent (TEA): 메인 에이전트와 tshark 전문 하위 에이전트로 구성된 다중 에이전트 구조. 하위 에이전트가 패킷 분석을 전담합니다.
3. Flow Reporter Agent (FRA - CyberSleuth 의 핵심):
   • Flow Summariser Sub-agent: PCAP 의 각 TCP/UDP 플로우를 체계적으로 스캔하여 구조화된 포렌식 요약 보고서 (비정상 포트, 의심스러운 페이로드 등) 를 생성합니다.
   • Main Agent: 생성된 요약 보고서를 기반으로 웹 검색을 통해 CVE 를 확인하고 최종 보고서를 작성합니다.
   • 특징: 복잡한 상호작용을 단순한 순차적 파이프라인으로 설계하여 조정 실패를 방지하고, 토큰 예산을 효율적으로 관리합니다.

2.3. 핵심 기술 요소

• 메모리 관리 (MemGPT 스타일): LLM 의 컨텍스트 윈도우 한계를 극복하기 위해 벡터 데이터베이스를 활용한 장기 기억 (Long-term memory) 을 도입했습니다. 최근 동작은 FIFO 큐 (단기 기억) 에, 과거의 관련 경험은 벡터 DB 에 저장하여 필요 시 검색하여 재사용합니다.
• 집중형 웹 검색 도구: 에이전트가 CVE 코드를 직접 유추하는 할루시네이션을 방지하고, 식별된 서비스와 공격 유형을 기반으로 정확한 검색 쿼리를 생성하도록 설계된 특수 도구입니다.
• 토큰 할당 전략: 대용량 플로우 페이로드 처리 시 컨텍스트 폭을 초과하지 않도록, 플로우의 시작과 끝 (대부분의 공격 서명이 위치하는 구간) 에 토큰을 집중적으로 할당하는 '제곱근 할당 (Square root allocation)' 전략을 사용했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 아키텍처 성능 비교

• FRA 의 우위: Flow Reporter Agent (FRA) 가 가장 높은 성능을 보였습니다.
  • 정확도: 웹 서비스 공격 시나리오에서 서비스 식별 (67%), CVE 식별 (45%), 공격 성공 평가 (62%) 에서 가장 높은 점수를 기록했습니다.
  • 효율성: 평균 5.48 단계로 수렴하여 다른 아키텍처 (SA: 18.11 단계, TEA: 11.32 단계) 보다 훨씬 적은 단계와 토큰 비용으로 작업을 완료했습니다.
  • 원인: FRA 는 하위 에이전트가 체계적으로 증거를 요약하여 메인 에이전트의 추론 부담을 줄이고, 단순한 순차적 오케스트레이션이 복잡한 중첩 구조보다 효과적임을 입증했습니다.

3.2. LLM 백엔드 평가

• 모델 비교: GPT-4o, o3, GPT-5, DeepSeek R1, Kimi K2, Llama-4 등 6 가지 모델을 평가했습니다.
• 성과: 오픈소스 모델인 DeepSeek R1과 Kimi K2는 상용 모델 (OpenAI 시리즈) 과 동등하거나 더 나은 성능을 보였으며, 비용은 약 50% 수준으로 낮았습니다.
• 최종 선택: 2025 년 신종 CVE 를 포함한 테스트에서 GPT-5와 o3가 가장 높은 정확도 (서비스 식별 90%, CVE 식별 80%) 를 보였으나, 비용과 성능의 균형을 고려하여 GPT-5 를 CyberSleuth 의 최종 백엔드로 선정했습니다.

3.3. 일반화 및 포트ABILITY (Portability)

• 신종 공격 대응: 훈련 데이터에 포함되지 않은 2025 년 CVE 를 대상으로 한 테스트에서 80% 의 정확도를 달성했습니다.
• 작업 전이: 웹 서비스 공격 분석에서 설계된 아키텍처와 프롬프트만 수정하여 악성코드 트래픽 분석에도 적용했을 때, 피해자 정보 및 IOCs 를 성공적으로 추출하는 등 높은 일반화 능력을 입증했습니다.
• 전문가 평가: 25 명의 보안 전문가가 작성된 보고서를 평가한 결과, **완전성 (4.33/5), 유용성 (4.23/5), 논리적 일관성 (4.31/5)**에서 높은 점수를 받았습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

1. 다중 에이전트 전문화의 중요성: 단일 에이전트보다 전문화된 하위 에이전트 (Flow Summariser 등) 를 가진 다중 에이전트 설계가 복잡한 포렌식 작업에서 추론의 집중력을 유지하고 성능을 극대화합니다.
2. 간단한 오케스트레이션의 효과: 복잡하게 중첩된 에이전트 통신 구조보다 단순한 순차적 파이프라인이 조정 실패를 줄이고 더 효율적입니다.
3. 실용적 자동화 가능성: CyberSleuth 는 인간 전문가의 분석 단계를 모방하여, 실제 포렌식 작업에서 인간을 보조하거나 대체할 수 있는 수준의 정확도와 보고서를 생성할 수 있음을 입증했습니다.

결론적으로, CyberSleuth 는 사이버 포렌식 자동화의 새로운 기준을 제시하며, AI 에이전트가 복잡한 보안 사고 조사에서 실질적인 가치를 창출할 수 있음을 보여줍니다. 연구진은 이 시스템과 벤치마크를 오픈 플랫폼으로 공개하여 향후 연구와 평가를 지원할 예정입니다.