ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

ExCyTIn-Bench: 사이버 위협 조사에 대한 LLM 에이전트 평가에 대한 상세한 기술 요약입니다.

1. 문제 제기

사이버 위협 조사는 이질적인 보안 로그를 분류하고, 여러 데이터 소스 간의 이벤트를 상관관계 분석하며, 위협을 식별하기 위해 다중 홉 증거 체인을 추론해야 하는 보안 분석가에게 요구되는 복잡하고 다단계적인 과정입니다. 대규모 언어 모델 (LLM) 이 복잡한 추론 작업에서 가능성을 보여주고 있지만, 사이버 위협 조사라는 특정 영역에서 LLM 에이전트를 평가하기 위한 표준화된 벤치마크는 부족합니다. 기존 벤치마크 (예: CTIBench, SECURE) 는 주로 지식 암기, 텍스트 추출, 또는 객관식 질문 응답에 초점을 맞추고 있어, 에이전트가 데이터베이스와 상호작용하고 스키마를 발견하며 실제 보안 사고를 해결하기 위한 순차적 추론을 수행하는 능력을 평가하지 못합니다.

2. 방법론

저자들은 현실적인 위협 조사 시나리오를 시뮬레이션하도록 설계된 포괄적인 벤치마크인 ExCyTIn-Bench를 제안합니다. 방법론은 세 가지 핵심 구성 요소를 포함합니다:

A. 데이터 수집 및 환경 구축

• 소스: 데이터는 현실적인 보안 모니터가 구성된 가상의 Microsoft Azure 테넌트 ("Alpine Ski House") 에서 수집되었습니다.
• 규모: 이 환경은 SigninLogs, EmailEvents, SecurityAlert, SecurityIncident와 같은 57 개의 고유한 로그 테이블을 포함하며, 전체 44 일 로그 스트림에는 1,400 만 행 이상의 데이터가 포함되어 있습니다.
• 사고: 데이터셋은 Manatee Tempest 랜섬웨어, BEC/계정 탈취와 같은 실제 역사적 공격을 기반으로 한 8 개의 고유한 다단계 공격 체인을 다룹니다. 각 사고는 2 시간에서 5 일까지 지속되며 다양한 MITRE ATT&CK 기법을 포함합니다.
• 인터페이스: 벤치마크는 에이전트가 SQL 쿼리를 통해 상호작용하는 MySQL Docker 환경을 제공합니다. 에이전트는 프롬프트에 전체 스키마가 제공되지 않기 때문에 탐색을 통해 스키마 (테이블 및 열) 를 발견해야 합니다.

B. 이분 그래프를 통한 질문 생성

고품질이고 비반복적이며 근거 있는 질문을 생성하기 위해 저자들은 원칙적인 그래프 기반 생성 파이프라인을 개발했습니다:

1. 그래프 구축: 각 사고에 대해 이분 그래프 $G=(U, V, E)$가 구축됩니다. 여기서 $U$는 알림 정점을 나타내고 $V$는 사용자, IP, 호스트와 같은 엔티티 정점을 나타냅니다. 간선은 관련 엔티티와 알림을 연결합니다.
2. 경로 선택: 시스템은 시작점과 끝점으로 두 개의 서로 다른 알림 ($u_s$ 및 $u_e$) 을 선택합니다. 그런 다음 이러한 알림에 연결된 엔티티를 식별하여 경로를 형성합니다.
3. QA 생성: LLM 은 시작 알림과 연결된 엔티티를 맥락으로, 끝 알림의 엔티티를 정답으로 사용하여 질문을 생성하도록 프롬프트됩니다.
4. 해결 경로: 그래프에서 시작 노드와 끝 노드 사이의 최단 경로는 실제 정답 경로 (ground-truth solution path) 로 작용하여 중간 단계에 대한 세밀한 평가를 가능하게 합니다.

• 출력: 이 과정을 통해 7,542 개의 질문이 생성되었으며, 다양성을 보장하고 훈련/테스트 세트 간의 경로 중복을 방지하기 위해 589 개가 테스트 세트로 선택되었습니다.

C. 평가 프레임워크

• 보상 시스템: 벤치마크는 강화 학습에서 영감을 받은 감쇠 보상 메커니즘을 사용합니다.
  • 전체 보상 (1.0): 올바른 최종 답변에 대해 수여됩니다.
  • 부분 보상: 최종 답변이 틀린 경우, 시스템이 에이전트가 해결 경로상의 중간 노드 (IoC) 를 찾았는지 확인합니다. 보상은 진행 상황에 따라 할당되며, 최종 답변에서 더 먼 단계에는 감쇠 인자 ($\gamma=0.4$) 가 적용됩니다.
• 판정: 평가는 답변 형식의 변이를 처리하고 에이전트의 추론이 실제 정답과 일치하는지 확인하기 위해 엄격한 문자열 매칭에만 의존하지 않고 LLM-as-a-judge(GPT-4o) 를 사용하여 수행됩니다.

3. 주요 기여

1. 최초의 위협 조사 벤치마크: ExCyTIn-Bench 는 실제 로그 데이터를 사용하여 사이버 보안 위협 조사의 엔드 투 엔드 작업에 대한 LLM 에이전트를 평가하도록 설계된 최초의 벤치마크입니다.
2. 새로운 QA 생성 전략: 이 논문은 이분 알림 - 엔티티 그래프에서 결정적이고 비반복적인 질문을 생성하는 방법을 소개하여, 질문이 명시적인 데이터 경로에 근거하고 검증 가능한 해결 궤적을 갖도록 보장합니다.
3. 세밀한 프로세스 평가: 이진 통과/실패 지표와 달리, 이 벤치마크는 단계별 보상을 제공하여 에이전트의 중간 침해 지표 (IoC) 추출 능력과 복잡한 검색 공간에서의 진행 상황을 평가할 수 있게 합니다.
4. 포괄적인 실증 분석: 저자들은 다양한 모델에 대한 모델 성능, 행동 (스키마 발견, 쿼리 성공), 효율성 (비용 대 보상) 에 대한 상세한 분석을 제공합니다.

4. 실험 결과

저자들은 ReAct, Expel, Best-of-N, Self-Reflection 등 다양한 프롬프트 전략을 사용하여 수많은 독점 및 오픈 소스 모델 (GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3, o1/o3와 같은 추론 모델 포함) 을 평가했습니다.

• 성능 한계: 이 작업은 매우 도전적입니다. 가장 성능이 뛰어난 모델인 Claude-Opus-4.5는 최대 평균 보상 0.606을 달성하여 개선의 여지가 큽니다.
• 모델 비교:
  • 독점 대 오픈 소스: 상위 독점 모델 (Claude-Opus-4.5, GPT-5.1) 은 오픈 소스 모델보다 우수하지만, 대규모 오픈 소스 모델 (예: Llama-4-Maverick-17B) 은 빠르게 격차를 좁혀 경쟁력 있는 보상 (~0.29) 을 달성하고 있습니다.
  • 추론 모델: 명시적인 추론 능력을 갖춘 모델 (예: o1, o3) 은 반성 전략과 결합되었을 때 특히 강력한 성능을 보입니다.
• 방법론 영향:
  • ReAct + 반성: 이 조합은 대부분의 모델에서 가장 높은 성능 향상을 가져왔으며, 기본 프롬프트보다 훨씬 우수했습니다.
  • Expel: 훈련 데이터에서 규칙을 증류하는 Expel 방법은 높은 효율성 (더 적은 턴) 을 보였지만 프롬프트 인플레이션으로 인해 비용이 더 높았습니다.
• 효율성: 쿼리 성공률과 최종 보상 사이에는 강한 양의 상관관계 (Pearson $r=0.86$) 가 있습니다. 작은 모델들은 종종 스키마 발견에 어려움을 겪어 더 많은 오류와 낮은 보상으로 이어집니다.
• 절대 연구:
  • DB 범위: 알림 로그를 제거하면 (제로데이 공격 시뮬레이션) 성능이 크게 저하되어, 조사에서 탐지 알림의 결정적인 역할을 강조합니다.
  • 시간 창: 시간 창을 전체 44 일 역사로 확장하면 노이즈가 발생하여 사고별 슬라이스에 비해 성능이 약간 감소했습니다.

5. 중요성 및 향후 방향

• 자율 보안 발전: ExCyTIn-Bench 는 다단계 위협 헌팅을 자동화하여 인간 SOC 분석가의 부담을 줄일 수 있는 자율 에이전트 개발을 위한 중요한 테스트베드를 제공합니다.
• 사이버보안을 위한 RL: 세밀한 보상 구조는 조사 단계 전반에 걸쳐 정밀한 신용 할당이 가능하도록 하여, **강화 학습 (RL)**을 통한 에이전트 훈련에 이 벤치마크를 독특하게 적합하게 만듭니다.
• 현실적인 평가: 실제 공격 패턴을 사용하고 스키마 발견을 요구함으로써, 이 벤치마크는 "지식 검색"을 넘어 진정한 조사적 추론과 도구 사용을 테스트합니다.
• 오픈 소스: 저자들은 벤치마크, 환경, 코드 (SecRL) 를 오픈 소스로 공개하여 재현성을 촉진하고 AI 기반 사이버 보안 방어 연구의 속도를 높였습니다.

결론적으로, ExCyTIn-Bench 는 사이버 보안 분야에서 LLM 에이전트를 평가하기 위한 새로운 기준을 수립하며, 현재 모델들이 가능성을 보여주고 있지만 완전한 자율 위협 조사를 달성하기 위해서는 추론, 스키마 이해, 다중 홉 계획 분야에서 상당한 발전이 필요함을 보여줍니다.