기술 요약: SWE-RPG

문제 정의

대규모 언 모델(LLM) 기반의 코딩 에이전트가 버그 수정 및 기능 구현과 같은 작업을 위해 기존 코드 저장소를 수정하는 데 점점 더 많이 배치되고 있습니다. 그러나 현재의 저장소 수준 벤치마크(예: SWE-bench, RACE-bench)는 주로 최종 코드 패치의 실행 가능한 테스트에 대한 성공 여부를 이진적인 "통과/실패(pass/fail)" 결과로 평가합니다. 이러한 결과 중심적 접근 방식은 에이전트가 왜 실패했는지 진단하지 못합니다. 저장소 수준의 문제를 해결하려면 명시적 및 암시적 요구사항의 복구, 저장소에 기반한 구현 계획 수립, 그리고 그 계획을 올바른 코드로 변환하는 복잡하고 상호 의존적인 추론 체인이 필요합니다. 최종 판정은 에이전트가 암시적 제약 조건을 이해하지 못했는지, 불충분한 계획을 생성했는지, 아니면 잘못된 코드를 작성했는지 구분할 수 없습니다. 결과적으로, 기존 벤치마크는 특정 병목 현상을 식별하거나 에이전트 아키텍처 개선을 위한 명확한 방향을 제시할 수 있는 세밀함이 부족합니다.

방법론

이러한 한계를 해결하기 위해 저자들은 단계별 인지 평가를 위해 설계된 통합 벤치마크인 SWE-RPG(Software Engineering - Requirement, Planning, and Generation)를 소개합니다.

벤치마크 구축

SWE-RPG는 31개의 성숙한 Python 및 Java 저장소에서 파생된 163개의 태스크로 구성되며, 여기에는 113개의 버그 수정과 50개의 기능 추가가 포함됩니다. 구축 과정에서는 재현 가능한 환경과 안정적인 테스트를 보장하기 위해 2,000개 이상의 초기 이슈-PR 쌍으로부터 엄격한 필터링 과정을 거쳤습니다.

SWE-RPG의 핵심 혁신은 최종 패치뿐만 아니라 중간 단계에 대한 검증된 정답(Ground-Truth, GT) 참조를 구축한 것입니다:

1. 요구사항 명확화 GT: 초기 이슈 설명이 중요한 구현 세부 사항을 누락하는 경우가 많다는 점을 인식하여, 저자들은 실무자 가이드에 따른 6가지 카테고리(기능적 의도, 비즈니스 의미론, 기술적 맥락, 인터페이스/프로토콜 사양, 코드 구조/컨벤션, 데이터 구조 의미론)를 개발했습니다. 합성 에이전트와 저장소 증거(이슈, PR, 패치)에 대한 검증을 사용하여, 암시적 요구사항을 명시적으로 만드는 QA 쌍 형태의 "명확화 GT"를 생성했습니다.
2. 구현 계획 GT: 저자들은 실행 가능한 단계별 구현 계획을 합성했습니다. 결정적으로, 이 계획들은 재현성을 위해 검증되었습니다. 즉, 각 계획 단계로부터 코드를 생성하도록 에이전트에게 과제를 부여하여, 해당 계획이 골드 레퍼런스와 기능적으로 동일한 서브 패치를 생성하는지 확인했습니다. 이는 계획이 올의른 코드를 생성하기에 충분하다는 것을 보장합니다.
3. 코드 생성 GT: 최종 골드 패치는 병합된 Pull Request에서 직접 가져왔으며, 태스크 관련 테스트가 실행 가능한 오라클 역할을 합니다.

평가 프로토콜

본 벤치마크는 세 단계에 걸쳐 에이전트를 평가합니다:

• 요구사항 명확화: 명확화 GT에 대비하여 암시적 요구사항을 복구하는 에이전트의 능력을 측정합니다.
• 계획: 생성된 계획이 계획 GT에 정의된 필수 단계와 제약 조건을 포함하는지 평가합니다.
• 코드 생성: 실행 가능한 테스트에 대해 최종 패치를 평가합니다.

해결되지 않은 실행 건에 대해서는, LLM 심사위원이 실패를 가장 먼저 이탈한 단계(요구사항, 계획, 코드 생성 또는 기타)로 귀속시켜 에이전트 궤적에 대한 사후 진단을 가능하게 합니다.

주요 기여

1. SWE-RPG 벤치마크: 검증된 중간 정답을 지원하며 요구사항 명확화, 구현 계획, 코드 생성을 공동으로 평가하는 최초의 저장소 수준 벤치마크입니다.
2. 단계별 진단: 이진 성공 지표를 넘어 실패를 특정 추론 단계로 귀속시킴으로써, 뚜렷한 능력 병목 현상을 드러내는 프로토콜을 제공합니다.
3. 포괄적 평가: 6개의 최신 LLM 백엔드(Claude-Sonnet-5, GPT-5.6-Terra, MoonshotAI-Kimi-K3 포함)와 결합된 3개의 인기 있는 코딩 에이전트 프레임워크를 평가합니다.

결과

18개의 에이전트-LLM 구성에 대한 평가 결과는 다음과 같습니다:

• 낮은 전체 해결률: 모든 구성의 평균 해결률은 **31.5%**에 불과했으며, 이는 최첨단 모델들에게도 저장소 수준의 이슈 해결이 상당한 도전 과제임을 나타냅니다.
• 주요 병목으로서의 암시적 요구사항 복구: 실패 귀속 분석 결과, 전체 에이전트 실행의 **46.7%**가 주로 요구사항 명확화 또는 구현 계획 단계에서 실패했습니다. 구체적으로, 암시적 요구사항 복구는 에이전트 실행의 **24.5%~46.0%**를 차지하여 가장 흔한 실패 지점이 되었습니다.
• 단계별 실패 프로필: 서로 다른 에이전트-LLM 쌍은 뚜렷한 실패 모드를 보였습니다. 예를 들어, 일부 구성은 유사한 전체 해결률을 보였음에도 불구하고 근본적인 실패 분포는 크게 달랐습니다(예: 높은 요구사항 실패 vs 높은 코드 생성 실패).
• 커버리지 격차: GT에 대한 에이전트 궤적 분석 결과, 에이전트들이 고수준의 의도는 안정적으로 커버하지만, 인터페이스 계약, 코드 구조, 데이터 의미론과 같은 구현 중심 카테고리에 대한 커버리지는 크게 떨어지는 것으로 나타났습니다. 마찬가지로, 계획 커버리지는 대상 위치를 식별하는 단계에서 구현 방식 및 검증 전략을 명시하는 단계로 갈수록 감소했습니다.

의의 및 주장

본 논문은 SWE-RPG가 결과 기반 평가에서 과정 인지 진단으로의 필수적인 전환을 제공한다고 주장합니다. 검증된 중간 추론 단계의 참조를 제공함으로써, 본 벤치마크는 연구자들이 다음을 수행할 수 있도록 합니다:

• 성공의 주요 장벽이 반드시 코드 생성이 아니라, 암시적 요구사항의 복구와 충분한 구현 계획의 수립임을 식별합니다.
• "블랙박스" 형태의 실패 분석을 넘어 에이전트가 올바른 궤적에서 벗어나는 특정 단계를 정확히 짚어냅니다.
• 향후 코딩 에이전트의 개선 방향이 단순히 최종 패치 생성에 집중하기보다 암시적 제약 조건 복구와 계획-코드 재현성을 우선시해야 함을 시사합니다.

저자들은 현재 Python 및 Java에 집중되어 있다는 점, 인간 참여형(human-in-the-loop) 상호작용 평가의 부재, 그리고 (수동으로 검증되었으나) LLM 보조를 통한 정답 구축에 의존한다는 점 등의 한계를 인정하며 신중한 입장을 유지합니다. 저자들은 SWE-RPG를 더 해석 가능하고 효과적인 저장소 수준 코딩 에이전트를 향한 기초적인 단계로 포지셔닝합니다.