1. 문제 정의 (Problem Statement)

현대 웹 애플리케이션은 AI 보조 개발과 노코드 (No-code) 배포 파이프라인의 급속한 발전으로 인해 개발 속도가 빨라지고 있지만, 기존 보안 도구의 적응력은 이를 따라가지 못하고 있습니다.

• 기존 도구의 한계: 패턴 기반 스캐너 (예: Burp Suite, sqlmap) 는 알려진 시그니처에 의존하여 새로운 맥락이나 복잡한 필터링을 우회하는 데 실패합니다.
• LLM 기반 에이전트의 한계: 최근 등장한 일반 목적의 LLM 기반 침투 테스트 에이전트 (예: MAPTA) 는 제한 없는 탐색을 수행하지만, 비용이 높고, 행동이 불안정하며, 재현성이 낮습니다. 또한, 구체적인 취약점 맥락을 이해하지 못해 비효율적인 페이로드를 생성하거나 탐지 실패 시 적절한 추론을 하지 못합니다.
• 핵심 과제: 가속화된 개발 속도와 정적 방어 능력 사이의 격차를 해소하기 위해, 비용 효율적이고, 결정론적이며, 맥락을 인식하는 자동화된 웹 침투 테스트 시스템이 필요합니다.

2. 방법론 및 시스템 설계 (Methodology & System Design)

저자들은 AWE (Adaptive Web Exploitation) 를 제안합니다. 이는 메모리 증강형 멀티 에이전트 프레임워크로, 구조화된 취약점별 분석 파이프라인을 경량 LLM 오케스트레이션 레이어에 통합합니다.

A. 아키텍처 (3 계층 구조)

1. 오케스트레이션 레이어 (Orchestration Layer):
   • 전역 상태 (발견된 입력, 서버 변환, 인증 상태 등) 를 관리하고 에이전트 간 조정을 담당합니다.
   • LLM 을 '지시자'로 활용하여 reconnaissance 결과를 기반으로 우선순위가 정해진 실행 계획을 수립하고, 필요한 에이전트만 선택적으로 호출합니다.
   • 토큰 사용량, 실행 시간, 비용 등을 모니터링하여 예산 제약을 준수합니다.
2. 전문 에이전트 레이어 (Specialized Agents Layer):
   • 각 취약점 클래스 (XSS, SQLi, SSTI, IDOR 등) 에 특화된 독립적인 모듈입니다.
   • LLM 의 자유로운 추론에 의존하기보다, 도메인 지식 (Expert Methodologies) 을 구조화된 파이프라인으로 인코딩합니다.
   • 예시 (XSS 에이전트): Canary 주입을 통해 입력 반사 (Reflection) 매핑 $\rightarrow$ DOM 컨텍스트 식별 (속성, 문자열 등) $\rightarrow$ 필터링 정책 추론 $\rightarrow$ LLM 에 구조화된 컨텍스트 전달 $\rightarrow$ 타겟팅된 페이로드 생성.
3. 기반 레이어 (Foundation Layer):
   • 지속적 메모리 시스템 (Persistent Memory): 단기 메모리 (동일 세션 내 중복 시도 방지) 와 장기 메모리 (과거 우회 패턴 학습) 를 결합하여 에이전트가 경험을 축적하도록 합니다.
   • 브라우저 검증 엔진 (Browser Verification Engine): HTTP 응답만으로는 확인하기 어려운 XSS 등의 취약점을 검증하기 위해 제어된 브라우저 환경에서 페이로드를 실행하여 실제 스크립트 실행 여부를 확인합니다. 이는 오탐 (False Positive) 을 제거합니다.

B. 설계 원칙

• 일반적 추론보다 전문화 (Specialization over Generalized Reasoning): 정교한 악용 (Exploitation) 은 도메인 특화 상태 머신과 추론 파이프라인이 더 신뢰할 수 있습니다.
• 상태 기반 및 메모리 주도 운영: 다단계 추론과 컨텍스트 유지를 위해 상태 비저장 (Stateless) 방식이 아닌 메모리 기반 방식을 사용합니다.
• 추측이 아닌 검증 (Verification rather than Speculation): 모든 발견은 구체적인 실행 증거 (DOM 변경, 데이터 추출 등) 에 기반해야 합니다.

3. 주요 기여 (Key Contributions)

• AWE 프레임워크 제안: LLM 의 추론 능력을 도메인 특화 파이프라인과 결합하여, 자동화된 웹 침투 테스트의 정확성, 효율성, 결정론을 동시에 개선한 시스템 설계.
• 메모리 증강 및 브라우저 검증: 지속적인 메모리를 통한 적응형 탐색과 브라우저 기반의 확실한 검증 메커니즘을 도입하여 오탐을 줄이고 성공률을 높임.
• 모델 효율성 입증: 최첨단 모델 (GPT-5) 을 사용하는 기존 시스템보다 성능이 낮은 모델 (Claude Sonnet 4) 을 사용하면서도, 아키텍처의 최적화를 통해 특정 취약점 클래스에서 더 높은 성능을 달성함을 증명.

4. 실험 결과 (Results)

XBOW 벤치마크 (104 개 취약점 챌린지) 와 DVWA를 사용하여 평가했습니다. 주요 비교 대상은 자율 침투 테스트 시스템인 MAPTA입니다.

• 성능 (Success Rate):

  • 전체 해결률: MAPTA 가 76.9% 로 AWE(51.9%) 보다 높았습니다. (MAPTA 는 광범위한 탐색 능력을 가짐)
  • 주요 취약점 클래스 (Injection):
    • XSS: AWE 는 87% 성공률 (MAPTA 대비 +30.5%p) 을 기록하며 압도적인 우위를 보였습니다.
    • Blind SQL Injection: AWE 는 66.7% 성공률 (MAPTA 대비 +33.3%p) 을 기록했습니다.
    • SQLi, XXE, SSRF: 두 시스템 모두 100% 성공률을 보였습니다.
  • 결론: AWE 는 구조화된 분석이 필요한 주입 (Injection) 계열 취약점에서 일반 목적 에이전트보다 훨씬 효과적입니다.

• 효율성 (Efficiency & Cost):

  • 실행 시간: AWE 는 평균 53.1 초로 MAPTA(190.8 초) 보다 약 3.6 배 빠릅니다.
  • 토큰 사용량: AWE 는 1.12M 토큰을 사용했으나 MAPTA 는 54.9M 토큰을 사용하여 98% 감소했습니다.
  • 비용: AWE 의 총 비용은 $7.73으로, MAPTA($21.38) 대비 63% 절감되었습니다. (더 낮은 성능의 모델을 사용했음에도 불구하고)

• 모델 비교 (DVWA):

  • Claude Sonnet 4 가 GPT-4o 및 Gemini 2.0 Flash 보다 다단계 추론이 필요한 작업 (Stored XSS, Blind SQLi) 에서 더 높은 정확도와 수렴 안정성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 아키텍처의 중요성: LLM 의 추론 능력만큼이나 시스템 아키텍처 (구조화된 파이프라인과 메모리) 가 취약점 탐지 성공에 결정적인 역할을 합니다.
• 전문성과 범용성의 조화: MAPTA 는 광범위한 탐색과 다단계 논리가 필요한 비즈니스 로직 취약점에 강점이 있는 반면, AWE 는 특정 취약점 (주입 계열) 에 대해 전문화된 에이전트 설계가 더 높은 정확도와 효율성을 제공함을 입증했습니다.
• 실용적 적용: AWE 의 높은 효율성과 낮은 비용은 지속적인 보안 테스트 (Continuous Assessment) 및 CI/CD 파이프라인 통합에 매우 적합합니다.
• 향후 방향: 구조화된 도메인 지식 에이전트와 일반 목적의 탐색 에이전트를 결합한 하이브리드 아키텍처가 미래의 완전 자동화 웹 보안 분석을 위한 최적의 방향일 것으로 전망됩니다.

요약하자면, AWE 는 "무작위 탐색" 대신 "지식 기반의 구조화된 추론"을 통해 웹 침투 테스트의 비용과 시간을 획기적으로 줄이면서도, 특정 취약점 영역에서는 최첨단 모델보다 더 뛰어난 성능을 발휘하는 새로운 패러다임을 제시합니다.