기술 요약: 아키텍처 이전의 베이스라인

문제 정의

최근 자율 침투 테스트 시스템(예: MAPTA, PentestGPT V2)은 프런티어 대규모 언어 모델(LLM)을 역할 분해, 지속적 메모리, 검색, 공격 트리 탐색을 포함하는 복잡한 다중 구성 요소 보안 하네스(harness)로 감싸서 XBOW 벤치마크에서 높은 점수를 기록하고 있다고 보고한다. 그러나 방법론적인 귀속 문제(attribution problem)가 존재한다. 이러한 시스템들은 종로 모델(backbone model)과 아키텍처 하네스를 동시에 변경하는 경우가 많다. 결과적으로, 성능 향상이 보안 특화 아키텍처에서 기인한 것인지, 아니면 새로운 모델의 내재된 능력이나 일반적인 코딩 에이전트 루프에서 기인한 것인지 구분하기 어렵다. 모델이 일치된 통제된 베이스라인 없이는, 전문화된 하네스가 의미 있는 작업을 수행하는 것인지 아니면 단순히 유능한 LLM에게 실행에 필요한 충분한 접근 권한을 제공할 뿐인지 구분할 수 없다.

방법론

본 논문은 보안 특화 아키텍처의 기여도를 격리하기 위해 104개 태스크의 XBOW 벤치마크를 사용한 통제된 연구를 제시한다. 이 연구는 기본 및 최소 수정된 코딩 CLI 에이전트(Codex, OpenCode, Pi)를 "플레인 에이전트(plain-agent)" 베이스라인으로 사용하는 3단계 실험 설계를 채택한다.

실험 단계:

1. 플레인 에이전트 선정 (RQ1): 동일한 백본 모델(GPT-5), 예산($0.75/challenge), 타겟 인터페이스, 점수 규칙 하에서 Codex, OpenCode, Pi를 평가하였다. 각 에이전트는 가장 강력하고 안정적인 베이스라인을 식별하기 위해 104개 챌린지에 대해 두 번의 전체 패스를 수행하였다.
2. 프롬프트 효과 (RQ2): 가장 강력한 베이스라인(Codex)을 대상으로 보안 특화 프롬프트 변체(상세 작업 프롬프트 및 전체 시스템 프서프트)를 고유의 기본 프롬프트와 비교 테스트하여, 보안 특화 텍스트가 성능을 개선하는지 확인하였다.
3. 아키텍처 잔차 (RQ3): 선택된 플레인 베이스라인을 MAPTA(GPT-5 사용) 및 PentestGPT V2(GPT-5.2 사용)의 발표된 결과와 비교하였다. "아키텍처 잔차"는 발표된 전문화된 시스템 점수와 가장 유사한 모델 매칭 플레인 에이전트 점수 간의 차이로 계산되었다.
4. 모델 스케일링 (RQ4): 보안 특화 아키텍처를 추가하지 않고 모델 개선에 따른 성능 향상을 측정하기 위해, 플레인 Codex 스캐폴드(scaffold)를 최신 모델(GPT-5.2 및 GPT-5.5)로 실행하였다.

통제 변수 및 지표:

• 환경: 모든 에이전트는 격리된 Docker 컨테이너에서 블랙박스 플래그(black-box flag) 점수 규칙을 사용하여 실행되었다.
• 지표: 본 연구는 pass@1(단일 시도), pass@k(k개의 독립적 패스의 합집합), 그리고 "신뢰할 수 있는(reliable)" 해결(두 번의 패스 모두에서 해결됨)을 구분한다.
• 비용 분석: 토큰 사용량, 실행 시간, 해결된 태스크 대비 실패한 태스크의 비용에 대한 상세한 내역을 기록하였다.

주요 기여

1. 귀속 방법론: 백본 모델 능력, 일반 코딩 에이전트 스캐폴딩, 펜테스팅 특화 아키텍처를 분리하기 위한 프레임워크를 제시한다.
2. 동일 모델 베이스라인: GPT-5 하에서 Codex가 해결률과 안정성 모두에서 OpenCode와 Pi를 능가하는 가장 강력한 플레인 코딩 에이전트 베이스라인임을 확인하였다.
3. 아키텍처 잔차 정량화: 모델 차이를 통제했을 때 전문화된 하네스가 제공하는 격차가 유의미하게 좁혀진다는 것을 보여주는 직접적인 비교를 제시한다.
4. 프롬프트 및 스케일링 분석: 보안 특화 프롬프트가 고유의 기본 프롬프트보다 성능을 개선하지 못한다는 증거를 제시하며, 최신 모델(GPT-5.5)이 보안 특화 아키텍처 없이도 플레인 스캐폴드의 성능을 크게 향상시킨다는 것을 보여준다.
5. 재현 가능한 산출물: 평가 하네스, 프롬프트 파일, 에이전트 구성 및 분석 스크립트가 포함된 공개 GitHub 저장소를 제공한다.

결과

1. 플레인 에이전트 성능 (RQ1 & RQ2)

• Codex는 우수한 베이스라인으로, 두 번의 패스 각각에서 104개 중 70개를 해결하였으며(평균 pass@1 67.3%), 합집합(pass@2)에서는 81개를 해결하였다.
• 보안 프롬프트: 프롬프트에 보안 특화 텍스트를 추가하는 것은 성능을 저하시켰다. 상세 프롬프트 및 전체 시스템 프롬프트 변체는 고유의 기본 Codex 프롬프트보다 적은 챌린지를 해결하였고 더 높은 비용을 발생시켰다.

2. 아키텍처 잔차 (RQ3)

• MAPTA (GPT-5): 발표된 76.9% 대비 Plain Codex GPT-5 평균은 67.3%였다. 아키텍처 잔차는 +9.6 퍼센트 포인트이다. MAPTA는 또한 더 나은 비용 효율성($0.206/task vs. Plain Codex의 $0.266/task)을 보였다.
• PentestGPT V2 (GPT-5.2): 발표된 85.0% 대비 Plain Codex GPT-5.2 평균은 79.8%였다. 잔차는 +5.2 퍼센트 포인트이다.
• 커버리지: 반복된 플레인 에이전트 실행(pass@2 합집합)은 두 전문화된 시스템의 발표된 단일 실행 점수를 따라잡거나 능가하였다 (Plain Codex GPT-5 pass@2 = 77.9% > MAPTA 76.9%; Plain Codex GPT-5.2 pass@2 = 88.5% > PentestGPT V2 85.0%).

3. 모델 스케일링 (RQ4)

• GPT-5.5: 플레인 Codex 스캐폴드를 GPT-5.5로 실행했을 때 92.3% pass@1 및 95.2% pass@2 합집합을 달성하였다.
• 이 플레인 에이전트 결과는 PentestGPT V2(Opus 4.5 사용)가 보고한 헤드라인 점수인 91%를 초과하였으며, 이는 모델 스케일링만으로도 전문화된 아키텍처의 격차를 좁히거나 오히려 앞설 수 있음을 입증한다.

4. 자원 효율성

• MAPTA와 같은 전문화된 시스템은 Plain GPT-5 베이스라인보다 챌린지당 비용 효율성이 높았는데, 이는 더 나은 계획이 낭비되는 탐색을 줄인다는 것을 시사한다.
• 그러나 플레인 에이전트의 실패는 성공보다 훨씬 더 많은 비용이 들었다 (예: GPT-5 실패 스캔 비용은 $0.505인 반면 성공 스캔은$0.150임). 이는 가이드 없는 탐색의 비용을 강조한다.

의의 및 주장

본 논문은 자율 침투 테스트에서 "베이스라인 우선(baseline-first)" 평가 방법론을 옹호한다. 주요 의의는 다음과 같은 주장에 있다:

• 귀속은 필수적이다: 모델 매칭된 플레인 에이전트 베이스라인 없이는 높은 벤치마크 점가를 아키텍처 설계에만 귀속시킬 수 없다. 모델의 발전과 아키텍처 설계의 혼재는 보안 하네스의 진정한 가치를 모호하게 만들었다.
• 하네스의 가치는 미묘하다: 전문화된 아키텍처는 특히 비용 효율성과 단일 시도 해결률(잔차) 측면에서 측정 가능한 가치를 제공한다. 그러나 그 가치의 크기는 헤드라인 대 헤드라인 비교에서 암시하는 것보다 작다.
• 프롬프트는 하네스가 아니다: 단순히 프롬프트에 보안 특화 텍스트를 추가하는 것은 아키텍처 개선이 아니며 성능을 저하시킬 수 있다.
• 모델의 발전이 아키텍처를 가린다: 최신 모델(예: GPT-5.5)은 최소한의 스캐폴드만을 사용하여 이전의 전문화된 시스템을 능가할 수 있다. 따라서 아키텍처의 우월성에 대한 주장은 단순히 오래된 베이스라인이 아닌, 현재의 최첨단 플레인 에이전트와 검증되어야 한다.

저자들은 보안 하네스가 효율성과 해결률을 높일 수는 있지만, 미래의 연구는 성능 향상을 아키텍처 설계가 아닌 모델 능력으로 정확히 귀속시키기 위해 모델이 매칭된 플레인 에이전트 베이스라인을 보고해야 한다고 결론짓는다.