Design Principles for the Construction of a Benchmark Evaluating Security Operation Capabilities of Multi-agent AI Systems

1. 문제 정의 (Problem)

• 현재 상황: 대규모 언어 모델 (LLM) 과 다중 에이전트 AI 시스템이 사이버 보안 분야에서 잠재력을 보이고 있으며, 기존에는 '레드 팀 (Red Team, 공격 측)' 역량 (예: 침투 테스트, CTF) 을 평가하는 벤치마크 (Cybench, CyberGym 등) 가 주로 개발되었습니다.
• 한계점: 실제 SOC 운영은 방어 활동 (블루 팀) 이 주를 이룹니다. 그러나 기존 벤치마크들은 특정 단일 작업 (예: 위협 보고서에서 IOC 추출) 에만 초점을 맞추거나, 레드 팀 평가에 치중해 있습니다.
• 필요성: AI 시스템이 인간 분석가를 대체하여 더 자율적인 SOC 를 구축할 수 있는지 평가하려면, 상호 의존적인 여러 방어 작업을 조율하는 다중 에이전트 시스템의 능력을 종합적으로 평가할 수 있는 체계적인 블루 팀 벤치마크가 부재했습니다.

2. 방법론 및 설계 원칙 (Methodology & Design Principles)

저자들은 SOC-bench 를 구축하기 위해 기존 레드 팀 벤치마크와 구별되는 **5 가지 핵심 설계 원칙 (Design Principles, DP)**을 제시했습니다.

1. DP1 (현실적 기준): "미래의 이상적인 SOC"가 아닌, 현재 존재하는 (as-is) 실제 SOC 시스템을 금표준 (Gold Standard) 으로 삼습니다. (인간은 감독자 역할만 수행).
2. DP2 (자율적 탐색): AI 시스템이 블루 팀 작업 간의 상호의존성을 스스로 탐색하고 활용해야 하므로, 작업 간 힌트 (Cross-task hints) 를 제공하지 않습니다.
3. DP3 (결과 중심 평가): AI 는 인간을 모방하는 것을 넘어설 수 있으므로, 문제 해결 과정 (Methods) 이 아닌 결과 (Outcomes) 만을 평가합니다. 동일한 입력에 대해 요구된 결과가 달성되었는지 여부로 점수화합니다.
4. DP4 (불완전한 환경): 실제 SOC 는 거짓 긍정/부정 (False Positives/Negatives), 지연, 누락된 데이터 등 본질적으로 불완전한 환경에서 운영되므로, 벤치마크도 이러한 불완전성을 반영합니다.
5. DP5 (미래 지향성): 특정 현재 AI 기술 (예: RAG, MoE) 에 종속되지 않도록 설계하여, 급변하는 에이전트 AI 기술 발전에도 벤치마크가 유효하도록 합니다.

3. SOC-bench 의 개념적 설계 (Conceptual Design)

SOC-bench 는 대규모 랜섬웨어 공격 (Colonial Pipeline 사례 기반) 대응 시나리오를 배경으로 하며, **5 가지 주요 블루 팀 작업 (Tasks)**으로 구성됩니다. 각 작업은 서로 다른 데이터 소스와 평가 기준을 가집니다.

주요 5 가지 작업 (The Five Tasks)

1. Task Fox (초기 공격 탐지):
   • 목표: 다중 호스트 활동을 분석하여 일반적인 이상 현상인지 대규모 조율된 공격인지, 그리고 랜섬웨어 전조 증상인지 판단.
   • 입력: 호스트 로그, 네트워크 트래픽, SIEM 경고, 헬프데스크 티켓.
   • 출력: 공격 규모 분류, 유형 추론, 사고 경보 요약.
2. Task Goat (파일 시스템 포렌식):
   • 목표: 암호화 상태 식별, VSS (볼륨 섀도 복사) 조작 탐지, 암호화 프로세스 추적.
   • 입력: 파일 시스템 메타데이터, EDR 로그, 백업 로그.
   • 출력: 암호화된 파일/디렉토리 라벨링, 영향도 집계, VSS 조작 사실, 암호화 프로세스 어트리뷰션.
3. Task Mouse (데이터 유출 분석):
   • 목표: 데이터 유출 발생 여부, 시작 시간, 유출량, 관련 호스트 및 프로토콜 식별.
   • 입력: PCAP 파일, 방화벽 로그, OS 로그 (Windows/Linux).
   • 출력: 유출 발생 판단, 시작 시간, 유출 데이터 양, 관련 호스트, 사용된 프로토콜.
4. Task Tiger (공격 Attribution 및 TTP 보고):
   • 목표: Tier 2 분석가 역할을 수행하여 공격의 초기 진입점 (Initial Entrypoint) 을 규명하고, MITRE ATT&CK 프레임워크에 따른 전술, 기법, 절차 (TTPs) 를 보고.
   • 입력: CTI 피드, PCAP, 네트워크 토폴로지, OS 로그, SIEM/XDR 경고, 멀웨어 샘플 등 다양한 소스.
   • 출력: 관련 데이터 소스 식별, 위협 그래프 (Threat Graph) 구축, 초기 진입점 요약.
5. Task Panda (격리 조치 추천):
   • 목표: 실시간으로 데이터를 종합하여 효과적인 격리 (Containment) 조치 (예: 호스트 격리, 네트워크 차단) 를 제안.
   • 입력: 파일 시스템, 네트워크, OS 로그, CTI, 네트워크 토폴로지.
   • 출력: BLUF (Bottom Line Up Front) 형식의 보고서 (조치 내용, 대상 자산, 근거 및 예측 영향).

4. 평가 방법론 (Evaluation & Scoring)

• 단계별 평가 (Stage-based): 각 작업은 시간대 (예: 30 분 단위) 로 나뉘어 평가됩니다.
• 링 모델 (Ring Model): 정답과 근거의 충실도에 따라 'Bullseye(3 점)', 'Inner(2 점)', 'Outer(1 점)', 'Miss(0 점)'로 점수화합니다.
• 데이터 소스 의존성: 각 작업은 실제 SOC 환경처럼 불완전하고 지연된 데이터를 입력받으며, 작업 간 명시적인 연결 고리는 제공되지 않아 AI 가 스스로 의존성을 찾아내야 합니다.
• Ground Truth: 실제 사고 (Colonial Pipeline) 의 포스트 인시던트 분석 데이터를 기반으로 정답을 생성하되, AI 에이전트에게는 공개되지 않습니다.

5. 주요 기여 및 의의 (Key Contributions & Significance)

1. 최초의 체계적인 블루 팀 다중 작업 벤치마크: 기존에 존재하지 않았던, 상호 연결된 블루 팀 작업 (탐지, 포렌식, 유출 분석, Attribution, 대응) 을 통합적으로 평가하는 벤치마크를 제안했습니다.
2. 실제성 (Realism) 강조: DP1 과 DP4 원칙을 통해 실제 SOC 의 불완전한 데이터 환경, 인간 감독자의 역할, 그리고 복잡한 의사결정 과정을 시뮬레이션합니다.
3. 미래 지향적 AI 평가: 현재 AI 의 특정 기술 스택에 의존하지 않고, 에이전트 시스템이 자율적으로 복잡한 보안 작업을 조율할 수 있는 능력을 평가하는 기준을 마련했습니다.
4. 기술 채택 사이클의 가속화: SOC-bench 를 통해 AI 시스템의 방어 능력을 정량화함으로써, 조직이 AI 기반 자율 SOC 도입을 위한 신뢰할 수 있는 기준을 확보할 수 있게 합니다.

결론

이 논문은 AI 기반 사이버 보안의 다음 단계인 '자율적 SOC'를 실현하기 위해, 단순한 공격 모의가 아닌 복합적인 방어 작업의 조율 능력을 평가할 수 있는 SOC-bench의 설계 원칙과 구체적인 아키텍처를 제시했습니다. 이는 AI 시스템이 실제 위협 환경에서 인간 분석가를 보조하거나 대체할 수 있는지를 검증하는 중요한 이정표가 될 것입니다.