논문 개요

이 논문은 대규모 언어 모델 (LLM) 기반 에이전트의 사이버 보안 공격 능력, 특히 'Capture The Flag (CTF)'와 같은 오펜시브 (공격적) 시나리오에서의 자율적 수행 능력을 평가하기 위한 새로운 벤치마크 프레임워크인 DeepRed를 제안합니다. 기존 연구들이 단순히 '성공/실패'라는 이진법적 결과에 의존했던 한계를 극복하고, 에이전트의 진행 상황을 세분화하여 평가하는 부분 점수 (Partial-Credit) 평가 방법론을 도입했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• LLM 에이전트의 한계: 최근 LLM 기반 에이전트는 코드 생성 및 취약점 설명 능력이 향상되었으나, 실제 오펜시브 보안 작업 (CTF 등) 을 자율적으로 해결하는 능력은 여전히 불명확합니다.
• 기존 평가의 부족: CTF 도전 과제는 다단계 추론, 도구 사용, 환경 상호작용, 장기적 계획 수립이 필요합니다. 그러나 기존 평가는 최종 플래그 획득 여부 (성공/실패) 만을 기준으로 하여, 에이전트가 상당한 진전을 이루었음에도 불구하고 실패한 경우를 제대로 포착하지 못했습니다.
• 실제 환경의 부재: 많은 기존 벤치마크가 격리된 환경이나 curated(선별된) 설정에서 수행되어, 실제 공격자 환경 (Kali Linux 등) 과 타겟 시스템 간의 격리된 네트워크 상호작용을 충분히 반영하지 못했습니다.

2. 방법론 (Methodology)

A. DeepRed 벤치마크 프레임워크

• 아키텍처: DeepRed는 공격자 (Kali VM) 와 타겟 (CTF VM) 이 사설 내부 네트워크로 연결된 완전히 격리된 가상화 환경 (VirtualBox 기반) 을 구축합니다.
• 상호작용: 에이전트는 터미널 도구 (명령어 실행) 와 선택적 웹 검색 (DuckDuckGo) 을 통해 타겟 시스템과 상호작용합니다.
• 실행 추적: 모든 실행 과정 (명령어, 출력, 도구 상호작용) 이 로깅되어 분석됩니다. 실행 후 VM 은 초기 상태로 리셋되어 재현성을 보장합니다.
• 에이전트 구현: smolagents 라이브러리를 사용하여 Python 코드를 작성하고 명령어를 조율하는 CodeAgent 를 구현했습니다.

B. 부분 점수 (Partial-Credit) 평가 및 자동 라벨링

• 체크포인트 기반 평가: 각 CTF 도전 과제는 공개된 해결 가이드 (Writeup) 를 기반으로 여러 개의 이진 체크포인트 (예: 서비스 식별, 자격 증명 복구, 초기 쉘 획득, 권한 상승 등) 로 분해됩니다.
• 점수 산정: 에이전트가 최종 플래그를 획득하지 못하더라도 달성한 체크포인트 수만큼 점수를 부여합니다.
• 자동 라벨링 파이프라인: 긴 실행 로그를 직접 분석하는 대신, 2 단계 LLM 프로세스를 도입했습니다.
  1. 요약 (Summarisation): 긴 실행 로그를 구조화된 단계별 요약본으로 압축합니다.
  2. 판단 (Judging): 요약본과 체크포인트 기준 (Rubric) 을 바탕으로 LLM 이 각 체크포인트 달성 여부를 판정합니다.
• 검증: 인간 평가자 (Human Raters) 와의 일관성 (Cohen's kappa) 을 검증하여 자동 라벨링의 신뢰성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. DeepRed 프레임워크 개발: 격리된 가상 환경에서 LLM 에이전트를 안전하게 평가할 수 있는 오픈소스 벤치마크 허브를 구축했습니다.
2. 세분화된 평가 방법론 도입: 이진법적 성공/실패를 넘어, 실행 로그 기반의 부분 점수 평가 시스템을 제안하여 에이전트의 미세한 능력 차이를 포착합니다.
3. 대규모 벤치마킹 수행: 10 개의 상용 LLM 을 10 개의 다양한 CTF 도전 과제 (웹 공격, 권한 상승, SSH 조작 등) 에 적용하여 성능을 비교 분석했습니다.
4. 오픈소스 공개: 프레임워크, 도전 과제 구성, 평가 스크립트, 점수 기준 등을 공개하여 재현 가능한 연구와 향후 연구를 지원합니다.

4. 실험 결과 (Results)

모델 성능

• 전반적 성과: 현재 LLM 에이전트는 CTF 문제를 완전히 해결하는 데 큰 한계가 있습니다. 가장 성능이 좋은 모델 (GPT-5.1 Codex Max) 도 평균 체크포인트 달성률 **35%**에 그쳤습니다.
• 모델 간 차이:
  • 상위권: GPT-5.1 Codex Max (35%), MiniMax-M1 (22%), Devstral 2512 (21%) 등.
  • 하위권: Nemotron-3 Nano (5%), Grok Code Fast 1 (12%) 등.
• 토큰 소비와 성능: 토큰 사용량이 많다고 해서 성능이 좋은 것은 아닙니다. (예: GPT-5.1 은 적은 토큰으로 높은 점수, MiMo-V2 Flash 는 많은 토큰을 사용했으나 낮은 점수). 이는 단순한 상호작용 양보다는 추론의 질과 행동 선택의 효율성이 중요함을 시사합니다.

도전 과제별 분석

• 쉬운 과제: 일반적인 웹 공격 후 권한 상승 (Web-to-Privilege Escalation) 패턴을 따르는 과제 (Whitedoor, Quick, SysAdmin) 는 상대적으로 높은 해결률을 보였습니다.
• 어려운 과제: 비표준적인 발견 (Directory brute-forcing), SSH 키 조작, 서비스 특화 공격, 또는 긴 시간의 적응이 필요한 과제 (Fuzzz, Thirteen, Todd) 는 에이전트들이 매우 어려워했습니다.

에이전트의 실패 패턴

• 장기적 계획 부족: 초기 20 단계 내 진전이 있었으나, 이후 방향을 잃거나 동일한 실패를 반복하는 경우가 많았습니다.
• 권한 상승 실패: 초기 사용자 권한 획득 후 루트 권한으로 상승하지 못하고 플래그를 찾으려 시도하다가 실패했습니다.
• 메모리 및 적응력: 실패한 시도를 바탕으로 계획을 수정하거나 중간 결과를 기억하는 능력이 부족했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: CTF 와 같은 복잡한 다단계 작업에서 '성공/실패'라는 이진법적 지표는 에이전트의 실제 능력을 과소평가할 수 있음을 보여주었습니다. 부분 점수 평가는 에이전트의 구체적인 강점과 약점 (예: 정보 수집은 잘하지만 권한 상승은 못함) 을 파악하는 데 필수적입니다.
• 보안 및 AI 안전성: LLM 에이전트가 실제 사이버 공격 환경에서 얼마나 위험할 수 있는지, 혹은 방어에 어떻게 활용될 수 있는지를 이해하는 데 중요한 기초 데이터를 제공합니다.
• 향후 방향: 현재 에이전트들은 도구 사용 자체는 가능하지만, 장기적 계획 수립, 메모리 관리, 실패에 대한 적응력이 부족합니다. 향후 연구에서는 계층적 계획 에이전트, 명시적 메모리 시스템, 다중 에이전트 협업 등을 통해 이러한 한계를 극복해야 합니다.

이 논문은 LLM 에이전트의 오펜시브 보안 능력을 평가하는 표준화된 방법론을 제시하며, 현재 기술 수준이 실제 위협 환경에 대응하기에는 아직 초기 단계임을 명확히 보여줍니다.