기술 요약: LLM 기반 웹 침투 테스트에서 정찰(Reconnaissance)과 익스플로잇(Exploitation)의 분리

문제 정의

대규모 언어 모델(LLM)이 사이버 보안 작업 자동화에 가능성을 보여주고 있음에도 불구하고, 기존의 LLM 기반 침투 테스트 에이전트 평가 방식은 **엔드 투 엔드 블랙박스 테스트(end-to-end black-box testing)**에 과도하게 의존하고 있다. 이러한 접근 방식은 오류 전이(error cascading) 문제를 야기한다. 즉, 초기 정찰 단계에서의 실패(예: 비정형 텔레메트리를 오해하거나 취약점을 식별하지 못함)가 에이전트가 익스플로잇 단계에 도달하는 것을 차단한다. 결과적으로, 에이전트의 실제 익스플로잇 생성 및 실행 능력은 초기 인지 오류에 의해 가려지게 되며, 이는 통계적 위음성(false negatives)을 초래한다. 이로 인해 연구자들은 발생한 실패가 사실적 지식의 부족 때문인지, 추론 아키텍처의 결함 때문인지, 아니면 환경 노이즈를 파싱하는 능력의 문제인지 구분하기 어려워진다.

방법론

이러한 평가 병목 현상을 해결하기 위해, 저자들은 자율 정찰과 취약점 익스플로잇을 분리하는 **2단계 디커플링 평가 프레임워크(two-stage decoupled evaluation framework)**를 제안한다.

1. 디커플링 프레임워크 아키텍처

본 프레임워크는 전통적인 침투 테스트 파이프라인(수집, 스캐닝, 검증, 익스플로잇)을 두 개의 직교하는 단계로 통합한다:

• 정찰 단계(Reconnaissance Phase): 에이전트는 프로빙 도구를 사용하고 비정형 로그를 해석하여 대상 취약점(예: 올바른 CVE 식별자 생성)을 식착하려고 시도한다.
• 익스플로잇 단계(Exploitation Phase): 에이전트는 페이로드를 구성하고 실행하려고 시도한다. 결정적으로, 에이전트가 정찰 단계에서 실패할 경우, 그라운드 트루스 주입(Ground-Truth Injection) 메커니즘이 개입한다. 프레임워크는 실행을 일시 중단하고, 실제 취약점 컨텍스트(CVE 및 세부 정보)를 프롬프트에 주입한 후 에이전트가 익스플로잇을 진행할 수 있도록 한다. 이는 익스플로잇 성능을 정찰 노이즈로부터 격리한다.

2. 실험 설정

• 데이터셋: Vulhub 및 Vulfocus에서 재구성된 70개의 웹 취약점 테스트베드로 구성된 고충실도 벤치마크를 사용하며, OWASP Top 10 및 CWE 표준(예: SQL Injection, IDOR, Deserialization)을 다룬다.
• 에이전트: 서로 다른 아키텍처를 가진 5개의 오픈 소스 침투 테스트 프레임워크를 평가하였다:
  • Hexstrike-AI (멀티 에이전트, MCP 기반)
  • CyberStrikeAI (모놀리식)
  • RedAmon (그래프 기반, 멀리 에이전트)
  • NeuroSploit (제약적, 심볼릭 트리)
  • Decepticon (그래프 기반, 멀티 에이전트)
• 지표:
  • 타겟 취약점 재현율(Targeted Vulnerability Recall, TVR): 정찰 단계에서 에이전트가 올바른 취약점을 자율적으로 식별하는 능력을 측정한다.
  • 기능적 성공률(Functional Success Rate, FSR): 그라운드 트루스 주입 후 에이전트가 익스플로잇(예: 리버스 쉘)을 성공적으로 트리거하는 능력을 측정한다.
• 절제 실험(Ablation): 코드 생성 및 도구 호출에 대한 외부 지식의 영향을 격리하기 위해, **검증된 경험적 지식 베이스(Verified Empirical Knowledge Base, VEKB)**를 적용한 경우와 적용하지 않은 경우를 비교 실험하였다.

주요 결과

1. 역량 격차(The Capability Gap)

본 연구는 에이전트가 취약점을 찾는 능력과 컨텍스트가 주어졌을 때 이를 익스플로잇하는 능력 사이의 상당한 격차를 드러낸다:

• 익스플로잇 역량 (FSR): 정확한 취약점 컨텍스트가 제공되었을 때(그라운드 트루스 주입을 통해), 에이전트들은 최대 **90.0%**의 기능적 성공률을 달성했다(특히 Hexstrike-AI).
• 정찰 역량 (TVR): 사전 지식 없이 자율적인 조건 하에서, 타겟 취약점 재현율은 약 **50.0%**에서 정체되었다.
• 시사점: 엔드 투 엔드 테스트에서의 많은 "실패"는 실제로는 익스플로잇 로직의 실패가 아니라 정찰 실패에 의한 것이다. 에이전트들은 익스플로잇을 구성하는 데 실패하기보다 비정형 텔레메트리를 파싱하는 데 실패하는 경우가 많았다.

2. 아키텍처 트레이드오프

서로 다른 아키텍처는 취약점 클래스와 상호작용 복잡성에 따라 뚜렷한 강점을 보였다:

• 멀티 에이전트 시스템 (예: Hexstrike-AI): MCP와 같은 프로토콜을 통해 상태 격리(state isolation)를 강제하는 것이 장기 시퀀스 상호작용(예: 불안전한 역직렬화) 및 노이즈가 많은 에러 로그를 처리하는 데 가장 효과적이었다. 이들은 가장 높은 FSR(90.0%)을 달성했으며, 어텐션 드리프트(attention drift)에 대해 견고했다.
• 모놀리식 아키텍처 (예: CyberStrikeAI): 컨텍스트 붕괴(context collapse)가 발생할 가능성이 낮은 단기 체인 인젝션 결함에서는 더 나은 성능을 보였으나, 긴 상호작용 체인에서는 어려움을 겪었다.
• 그래프 기반 설계 (예: RedAmon, Decepticon): 페르소나 간의 권한 경계를 비교하고 전역 상태를 유지하는 능력 덕분에 교차 세션 접근 제어 취약점(예: IDOR)에서 강점을 보였다.
• 제약적 아키텍처 (예: NeuroSploit): 심볼릭 트리와 정규 표현식에 의존하여 할루시네이션(hallucination)을 줄였으나, 페이로드 변이(mutation) 능력이 제한되어 결정론적인 N-day 검증에는 적합하지만 새로운 시나리오에는 유연성이 떨어졌다.

3. 지식 및 모델 규모의 영향

• 지식 주입: VEKB를 통합하는 것은 모든 프레임워크의 성능을 크게 향상시켰으며, 정찰 단계에서의 누락률을 줄이고 익스플로잇 단계에서의 저수준 프로토콜 오류를 수정했다.
• 모델 규모: 단순히 베이스 모델의 크기를 키우는 것(예: Gemini 3 Pro에서 GPT-5로 전환)이 반드시 더 나은 성능을 보장하지는 않았다. 모놀리식 프레임워크에서는 더 큰 모델이 상세한 에러 텔레메트리를 처리할 때 상태 격리가 없으면 오히려 어텐션 분산(attention dispersion) 현상을 겪는 경우가 있었다.

의의 및 주장

본 논문은 정찰과 익스플로잇을 분리하여 LLM 기반 공격 에이전트의 역량 경계를 정확하게 측정할 수 있는 최초의 세밀한 벤치마킹 프로토콜을 제공한다고 주장한다.

• 진단적 가치: 본 프레임워크는 연구자들이 실패의 원인을 "인지 오류"(정찰)와 "실행 오류"(익스플로잇)로 구체적으로 귀속시킬 수 있게 하여, 엔드 투 엔드 성공률이라는 "블랙박스"를 넘어선다.
• 설계 가이드라인: 연구 결과는 미래의 자율 공격 보안 에이전트가 단순히 베이스 모델을 확장하는 것보다, 실세계 환경의 노이즈를 처리하기 위해 엄격한 상태 격리(예: 멀티 에이전트 설계를 통한)를 우선시해야 함을 시사한다.
• 보안 패러다임의 전환: 본 연구는 LLM 기반 보안이 정적 코드 생성을 넘어, 컨텍스트를 적대적 노이즈 속에서도 유지하는 능력이 핵심 병목 구간이 되는 자율적 익스플로잇 실행으로 전환되고 있음을 강조한다.

저자들은 본 벤치마크가 공개된 CVE를 사용하고 있지만, 이 디커플링 패러다임이 특정 CVE 식별자 대신 추상적인 취약점 시맨틱(semantics)을 주입함으로써 향에 대한 제로 데이(zero-day) 시나리오 연구를 위한 토대를 제공한다고 언급하였다.