기술 요약: Mastermind – 저장소 규모의 취약점 재현을 위한 전략 기반 학습

1. 문제 정의

저장소 규모의 취약점 재현은 에이전트가 코드베이스를 조사하고, 취약한 경로에 대한 입력 문법을 추론하며, 개념 증명(PoC)을 구성하고, 패치된 빌드에서는 크래시가 발생하지 않음을 검증해야 하는 고도의 소프트웨어 엔지니어링(SE) 과업입니다. 최근의 대규모 언어 모델(LLM) 에이전트들은 명령 실행(저장소 탐색, 파일 편집, PoC 제출 등) 능력은 향상되었으나, 실행 오류보다는 전략적 오류로 인해 실패하는 경우가 빈번합니다. 에이전트들은 생산적이지 않은 방향을 탐색하느라 실행 시간을 낭비하거나, 피드백을 바탕으로 가설을 수정하는 데 실패하곤 합니다.

본 논문은 주요 병목 현상이 저수준의 실행 능력이 아니라 전략 선택(다음에 무엇을 시도할지 결정하는 것)에 있다고 지적합니다. 독립 샘플링(Best-of-N)과 같은 표준 방식은 수확 체감의 법칙에 직면하며, 단순히 더 많은 컨텍스트(예: 정답 패치)를 추가하는 것이 반드시 실행 가능한 조사 계획으로 이어지지는 않습니다. 저자들은 "전략"—조사, 입력 구성 및 검증을 위한 압축된 자연어 계획—이 전체의 노이즈가 많고 비용이 많이 드는 실행 궤적과는 구별되는 적절한 학습 단위라고 주장합니다.

2. 방법론: Mastermind 프레임워크

Mastermind는 전이 가능한 전략 학습과 태스크 특화 경험을 분리하는 이중 루프(dual-loop) 프레임워크입니다. 이는 "Planner"(접근 방식을 결정)와 "Executor"(실제 동작을 수행)를 분리합니다.

핵심 구성 요소

• Curator (큐레이터): 태스크 로컬 경험을 유지합니다. 각 시도 전에 관련 이전 전략/결과 기록(예: 파일 위치, 실패한 가설, 파서 동작)을 활성화하고, 검증 후에는 새로운 기록을 추가합니다. 이를 통해 휘발적인 태스크 특화 사실들을 모델 가중치 외부에 둡니다.
• Planner (플래너): 압축된 자연어 **전략(Strategy)**을 생성하는 학습 가능한 정책입니다. 태스크와 큐레이터 경험을 바탕으로, Planner는 어디를 조사할지, 어떤 입력 구조를 타겟팅할지, PoC를 어떻게 검증할지를 기술합니다. 이는 셸 명령을 직접 내리는 것이 아니라 접근 방식을 선택합니다.
• Executor (실행기): Planner의 전략을 저장소 액션과 PoC 제출로 구체화하는 고정된(frozen) 실행 기질(예: GPT-5.5, GPT-5.4 mini, GLM 5.1)입니다. Executor를 고정함으로써 개선 효과를 명령 생성 능력이 아닌 더 나은 계획 수립에 집중시킵니다.
• Verifier (검증기): CyberGym 벤치마크를 통해 실행 가능한 그라운드 트루스를 제공합니다. 롤아웃을 검증하고, 마일스톤 점수를 할당하며, 피드백을 큐레이터와 플래너(학습 중)로 전달합니다.

학습 메커니즘

Mastermind는 다음과 같은 이중 루프 학습 프로세스를 채택합니다.

1. 경험 루프 (Experience Loop): 태스크 로컬 증거(전략 및 결과)가 큐레이터에 축적됩니다. 이후의 시도들은 이 구체적이고 태스크 특화된 이력에 따라 조건화됩니다.
2. 정책 루프 (Policy Loop): Planner는 **지도 미세 조정(SFT)**과 **그룹 상대 정책 최적화(GRPO)**를 사용하여 학습됩니다.
   • SFT: 피드백을 바탕으로 전략을 수정하는 패턴을 배우도록 Planner를 예열합니다.
   • GRPO: CyberGym에서 도출된 조밀한 마일스톤 보상을 사용하여 Planner를 최적화합니다. 다양성을 확보하기 위해, 각 후보 전략 그룹은 서로 다른 가설(예: "parser-format", "bounds-allocation", "lifetime-state")에 조건화되는 **슬롯 조건부 샘플링(slot-conditioned sampling)**을 사용합니다.
   • 보상 함수: 보상은 소스 코드 위치 파악부터 이중 빌드 재현까지의 마일스톤 계층(0–7)을 기반으로 합니다. 또한 긴 전략을 지양하도록 전략 길이에 대한 페널티를 포함하여 학습 단위를 압축적으로 유지합니다.

3. 주요 기여

1. 전략 병목 현상 식별: 본 논문은 통제된 실험을 통해 전략의 품질이 재현 결과에 인과적으로 영향을 미친다는 것을 입증했습니다. 고정된 Executor와 "Soft Oracle" 전략을 결 함께했을 때 39.5%의 통과율을 기록한 반면, 전략이 없을 때는 23.5%에 그쳐, 전략 선택이 지배적인 병목임을 증명했습니다.
2. Mastermind 프레임워크: 전체 실행 궤적이 아닌 압축된 자연어 전략을 학습하는 새로운 이중 루프 아키텍처를 제안합니다. 이는 실행 비용이 큰 Executor를 정책 업데이트로부터 분리함으로써 장기 실행(long-horizon) SE 에이전트에 대한 강화 학습을 실용적으로 만듭니다.
3. 전이 가능한 학습: 동일한 Planner가 학습된 후, 재학습 없이도 서로 다른 고정된 Executor(GPT-5.5, GLM 5.1)의 성능을 유의미하게 향상시킬 수 있음을 보여줌으로써 학습된 전략의 전이 가능성을 입증했습니다.

4. 실험 결과

프레임워크는 1,507개의 실제 세계 취약점 재현 태스크로 구성된 CyberGym 벤치마크에서 평가되었습니다. 연구에서는 260개의 태스크를 학습에, 200개의 홀드아웃 태스크를 평가에 사용했습니다.

• GPT-5.5와 함께한 성능: Mastermind는 **84.5%**의 통과율(200개 중 169개 성공)을 달성하여 다음 모델들을 크게 앞질렀습니다:
  • 독립 Best-of-8 샘플링: 63.0%
  • 반복적 태스크 로컬 개선 (학습된 플래너 없음): 77.0%
  • Open-book 컨텍스트 (Level 3 ground truth): 60.0%
• 전이 가능성: 동일한 Planner가 GPT-5.4 mini의 성능을 45.0%에서 **60.0%**로, GLM 5.1을 58.5%에서 **71.0%**로 향상시켰습니다.
• 효율성: Mastermind는 조기 종료 및 더 나은 전략 선택 덕분에 더 적은 롤아웃과 낮은 계산 비용(GPT-5.5 기준 Best-of-8의 $29 대비 약$8)으로 이러한 결과를 달성했습니다.
• 절제 연구 (Ablation Studies): 이중 루프 구성 요소를 제거했을 때, 학습된 Planner(정책 루프)와 태스크 로컬 경험(경험 루프) 모두가 최고 성능을 위해 필수적임을 확인했습니다. "이중 루프 없음" 베이스라인(독립 Best-of-8)은 GPT-5.5에서 63.0%에 그쳤습니다.

5. 의의 및 주장

본 논문은 저장소 규모의 SE 에이전트에게는 접근 방식을 선택하는 것이 실행하는 것보다 더 어렵다고 주장합니다. Mastermind는 고수준 전략을 학습하는 것이 이러한 에이전트를 개선하는 효과적이고 전이 가능한 메커즘임을 보여줍니다.

• 전략적 추상화: 전략을 학습 단위로 다룸으로써, 시스템은 복잡한 디버깅에 필요한 추론 패턴을 포착하면서도 전체 실행 궤적을 학습하는 데 드는 과도한 비용을 피할 수 있습니다.
• 관심사의 분리: 프레임워크는 "전이 가능한 추론 패턴"(예: 소스 검사 시점)을 Planner의 가중치에, "휘발적인 태스크 특화 사실"(예: 특정 파일 경로)을 Curator의 메모리에 적절히 할당합니다.
• 실질적 영향: 결과는 미래의 SE 에이전트가 단순히 실행 모델의 규모를 키우거나 컨텍스트를 추가하는 것보다, 전략 수준의 학습과 명시적인 경험 관리에 우선순위를 두어야 함을 시사합니다.

저자들은 전략 수준의 학습이 취약점 재현에는 매우 효과적이지만, 유지보수성이나 인간의 해석 가능성과 같은 다른 SE 과업으로의 일반화 가능성은 여전히 열려 있는 문제라고 언급하며 신중한 입장을 유지했습니다. 또한, 프레임워크가 샌드박스 환경 내에서 작동하며 새로운 실행 능력을 만드는 것이 아니라 기존 Executor의 전략 선택을 개선한다는 점을 강조하며 안전성을 명시했습니다.