AXE: An Agentic eXploit Engine for Confirming Zero-Day Vulnerability Reports

1. 문제 정의 (Problem)

현대 소프트웨어 프로젝트에서는 정적 애플리케이션 보안 테스트 (SAST) 도구, 인간 보고서, AI 생성 보고서 등으로 인해 취약성 보고가 폭증하고 있습니다. 그러나 이러한 보고서들은 다음과 같은 심각한 문제점을 안고 있습니다.

• 높은 오탐율 (False Positives): 많은 보고서가 실제 실행 가능한 취약점이 아니거나, 이론적일 뿐 실제 환경에서 악용 불가능한 경우가 많습니다.
• 검증의 어려움: 보고서에 기술적 세부 사항이 부족하거나, 재현 단계가 누락되어 유지보수자가 수동으로 논리를 추론하고 공격 경로를 파악해야 합니다.
• 대기 행렬 (Backlog): 보안 팀은 하루에 100 개 이상의 새로운 취약점을 검토해야 하며, 유효하지 않은 제출물을 필터링하는 데 막대한 자원을 소모하고 있습니다.

기존의 자동화된 악용 (Exploitation) 시스템은 검출 파이프라인과 단절되어 있어, 취약점 유형 (CWE) 이나 소스 코드 위치와 같은 중요한 메타데이터를 활용하지 못해 효율성이 낮았습니다.

2. 방법론 (Methodology)

저자들은 "회색 상자 (Grey-box)" 환경에서 최소한의 메타데이터만으로 취약점의 실행 가능성을 자동으로 평가하는 프레임워크 AXE(Agentic eXploit Engine) 를 제안했습니다.

2.1 입력 데이터

AXE 는 완전한 공개 정보나 악용 스크립트가 아닌, 다음과 같은 최소한의 정보만 입력받습니다.

1. CWE 분류: 취약점의 약점 카테고리 (예: 권한 관리 오류).
2. 소스 코드 위치: 취약점이 발생한 파일 경로 및 줄 번호.
3. 대상 소스 코드: 영향을 받는 웹 애플리케이션의 전체 소스 코드.

2.2 아키텍처: 다중 에이전트 프레임워크

AXE 는 단일 에이전트가 아닌, 역할이 분리된 4 개의 전문 에이전트로 구성된 다중 에이전트 아키텍처를 사용합니다. 이는 복잡한 다단계 공격 체인을 처리하는 데 필수적입니다.

1. Strategist (전략가):
   • 전체 악용 상태를 관리하고 공격 가설을 수립합니다.
   • 소스 코드 분석과 실행 피드백을 기반으로 공격 계획을 수립하고 반복적으로 수정합니다.
   • 실패 시 원인을 분석하여 다음 반복을 위한 가설을 갱신합니다.
2. Explorer (탐색자):
   • Strategist 의 질문에 답하기 위해 소스 코드를 동적으로 검색합니다.
   • 디렉토리 목록, 파일 읽기, grep 등을 수행하여 제어 흐름, 입력값 전파, 유효성 검사 로직 등 구체적인 사실을 추출합니다.
   • 복잡한 소스 코드를 간결한 Q&A 형식의 컨텍스트로 요약하여 전달합니다.
3. Exploiter (악용자):
   • Strateg 의 고수준 계획을 구체적인 네트워크 상호작용 (HTTP 요청 등) 으로 변환합니다.
   • dirb, sqlmap 등의 CLI 도구를 활용하여 엔드포인트를 발견하고 페이로드를 생성합니다.
   • 요청 구조를 서버 응답에 맞춰 동적으로 조정하고, 실행 trace 를 기록합니다.
4. PoC Gen Module (PoC 생성 모듈):
   • 성공적인 악용이 확인되면, 재현 가능한 Proof-of-Concept (PoC) 보고서 (PoC.md) 를 생성합니다.
   • 취약점 위치, 재현 단계, 검증 오라클 (성공 조건), 그리고 수정 제안서를 포함합니다.

2.3 작동 프로세스

AXE 는 계획 (Planning) → 소스 코드 탐색 (Source Exploration) → 샌드박스 실행 (Sandboxed Execution) 의 반복 루프를 통해 작동합니다. 각 반복에서 실패 시 외부 평가자가 실패 원인을 피드백하고, Strategist 가 이를 바탕으로 접근 방식을 수정합니다.

3. 주요 기여 (Key Contributions)

1. AXE 프레임워크 개발: 웹 애플리케이션 취약점의 실행 가능성을 자동으로 탐색하고 검증하는 다중 에이전트 프레임워크를 최초로 제안했습니다. 정적 분석과 동적 실행의 피드백 루프를 결합했습니다.
2. CVE-Bench 확장 및 표준화: 기존 CVE-Bench 벤치마크에 소스 코드와 메타데이터를 추가하여, 회색 상자 환경에서의 자동화된 평가 표준을 마련했습니다.
3. 체계적인 평가 및 오류 분석: AXE 의 성능을 정량적으로 평가하고, 회색 상자 에이전트 악용에서 발생하는 실패 패턴 (예: 취약점 의미 해석 오류, 전제 조건 미충족) 을 체계적으로 분류했습니다.
4. 실제 사례 연구: CVE-Bench 에 포함되지 않은 최신 실제 CVE(CVE-2025-51482) 에 대한 사례 연구를 통해 AXE 의 일반화 가능성을 입증했습니다.

4. 평가 결과 (Results)

CVE-Bench(40 개의 실제 웹 애플리케이션 취약점) 를 대상으로 한 실험 결과:

• 성공률 (Success Rate):
  • AXE(회색 상자, 다중 에이전트) 는 **30%**의 성공률을 기록했습니다.
  • 이는 최첨단 블랙박스 기법 (T-Agent, AutoGPT 등, 10% 성공률) 보다 3 배 높은 성능입니다.
  • 단일 에이전트 회색 상자 베이스라인 (17.5%) 보다도 1.75 배 높은 성능을 보였습니다.
• 효율성:
  • 성공 시 평균 시도 횟수 (AvgTCA) 가 1.67 회로, 블랙박스 모드 (2.00 회) 보다 빠르게 수렴했습니다.
• PoC 품질:
  • 성공한 12 건 중 11 건이 명확한 검증 오라클과 재현 가능한 단계를 포함하는 고품질 PoC 보고서를 생성했습니다.
• 오류 분석:
  • 실패의 76% 는 Strategist(전략가) 에서 발생했습니다.
  • 주요 실패 원인은 취약점 의미 오해 (60%), 공격 표면 선정 오류 (44%), 전제 조건 미충족 (44%) 이었습니다. 이는 실행 단계의 오류보다 고수준의 추론 및 계획 단계의 오류가 더 빈번함을 시사합니다.

5. 의의 및 결론 (Significance)

• 취약점 트라이지 (Triage) 혁신: AXE 는 유지보수자가 수천 개의 보고서 중 즉시 악용 가능한 치명적인 취약점을 식별하는 데 도움을 줍니다. 이는 유효하지 않은 보고서를 필터링하여 보안 팀의 업무 부하를 크게 줄여줍니다.
• 회색 상자 접근법의 우위: 최소한의 메타데이터 (CWE, 코드 위치) 만으로도 블랙박스 방식보다 훨씬 효과적으로 취약점을 검증할 수 있음을 입증했습니다.
• 실용성: 생성된 PoC 는 개발자가 취약점을 재현하고 패치하는 데 즉시 사용할 수 있는 구체적인 가이드를 제공합니다.
• 윤리적 고려: 모든 실험은 격리된 컨테이너 환경에서 이루어졌으며, 새로운 공격 기법을 개발하거나 미공개 취약점을 폭로하는 것이 아니라, 기존 보고서의 유효성을 검증하는 방어적 목적에 부합합니다.

요약하자면, AXE 는 AI 기반 다중 에이전트 시스템을 활용하여 취약점 보고의 '검증' 단계를 자동화함으로써, 현대 소프트웨어 보안 유지보수의 병목 현상을 해결할 수 있는 실용적인 솔루션을 제시합니다.