기술 요약: SWE-Cycle: 전체 이슈 해결 주기에 걸친 코드 에이전트 벤치마킹

문제 제기

현재 자율 코드 에이전트에 대한 벤치마크는 실제 실용적 자율성을 흐리게 하는 두 가지 치명적인 한계를 겪고 있습니다. 첫째, 기존 프레임워크는 소프트웨어 개발 파이프라인을 구조적으로 분할하여, 사전 구성된 "골드 스탠더드" 환경 내에서 에이전트를 코드 구현이나 환경 설정과 같은 고립된 작업만 평가합니다. 이러한 접근 방식은 의존성 해결, 버전 제어 탐색, 실행 환경을 처음부터 재구성해야 하는 필요성과 같은 실제 유지보수에서 내재된 연쇄 오류 및 마찰로부터 에이전트를 보호합니다. 그 결과, 이러한 사전 구성된 작업에서의 높은 성능은 능력에 대한 착시를 만들어내며, 에이전트가 인간의 지원 없이 코드베이스를 온보딩하고 문제를 해결할 수 있는 능력을 과대평가하게 됩니다.

둘째, 평가 파이프라인 자체가 취약합니다. 전통적인 벤치마크는 정적이고 결정론적인 스크립트와 미리 정의된 유닛 테스트에 의존합니다. 이러한 시스템은 체계적인 측정 오류를 유발합니다. 즉, 정합하지 않은 확인이나 미구현된 어설션과 같은 결함이 있는 그라운드 트루스를 겪거나, 사소한 포맷 편차로 인해 기능적으로 올바른 코드를 인식하지 못하며, 에이전트의 역동적이고 자율적인 행동에 적응하지 못합니다. 특히, 정적 파서는 에이전트가 자체 검증 테스트를 생성해야 하는 엔드 투 엔드 시나리오와 구조적으로 호환되지 않아, 전체 이슈 해결 수명주기를 평가하는 데 실패하게 됩니다.

방법론

이러한 격차를 해소하기 위해 저자들은 전체 이슈 해결 수명주기에 걸친 에이전트를 평가하도록 설계된 벤치마크 SWE-Cycle과 이러한 복잡한 자율 워크플로우를 평가할 수 있는 하이브리드 평가 에이전트 SWE-Judge를 소개합니다.

1. SWE-Cycle 벤치마크

SWE-Cycle 은 SWE-bench Verified, Pro, Multilingual 에서 엄격하게 필터링된 489 개의 인스턴스로 구성되었습니다. 필터링 파이프라인은 제로 컨텍스트 프로빙을 통해 오염된 데이터를 제거하고, 며칠이 소요되는 주기 및 코드 리뷰 코멘트가 필요한 단순 작업을 제거하며, 엄격한 상태 전이를 검증하는 신뢰할 수 없는 테스트 스위트도 제거합니다.

해당 벤치마크는 두 가지 평가 설정을 정의합니다:

• 고립된 작업 (Isolated Tasks): 에이전트는 다른 단계가 완전히 제공된 상태에서 세 가지 distinct 한 단계를 독립적으로 평가받습니다:
  • 환경 재구성 (Env): 빈 저장소에서 실행 환경을 구축하고 의존성을 해결합니다.
  • 코드 구현 (Impl): 문제 해결을 위해 사전 구성된 코드베이스를 수정합니다.
  • 검증 테스트 생성 (TestGen): 패치된 코드베이스에 대한 유닛 테스트를 생성합니다.
• FullCycle 작업: 에이전트가 빈 저장소와 이슈 설명만 제공받고, 인간의 개입 없이 세 단계 (Env $\to$ Impl $\to$ TestGen) 를 모두 자율적으로 완료해야 하는 엔드 투 엔드 작업입니다.

2. SWE-Judge 평가 에이전트

정적 스크립트의 취약성을 극복하기 위해 저자들은 정적 코드 리뷰와 동적 테스트를 통합하는 실행 가능한 에이전트인 SWE-Judge 를 제안합니다.

• 하이브리드 점수 매기기: 이진 통과/실패 지표 대신, SWE-Judge 는 정적 분석 (구조적 정확성, 논리, 커버리지) 과 동적 실행 (런타임 동작, 테스트 결과) 을 기반으로 0~2 점의 점수를 부여합니다.
• 적응형 워크플로우: FullCycle 설정에서 SWE-Judge 는 오류 허용 파이프라인을 사용합니다. 에이전트가 생성한 테스트의 품질이 낮으면, SWE-Judge 는 공식 골드 테스트를 사용하여 이를 정제하여 코드 구현의 정확한 검증을 보장합니다.
• 동적 기능: SWE-Judge 는 사용자 정의 평가 스크립트를 작성하고, 테스트 견고성을 검증하기 위해 결함 주입을 수행하며, 런타임 동작을 진단하기 위해 원시 실행 로그를 분석하여 경직된 스크립트가 놓치는 심층적인 논리적 결함을 발견할 수 있습니다.

주요 기여

1. SWE-Cycle: 전체 이슈 해결 수명주기에 걸친 에이전트를 평가하는 최초의 벤치마크로, 독립적인 단계 평가와 빈 저장소에서 작동해야 하는 까다로운 FullCycle 설정을 모두 지원합니다.
2. SWE-Judge: 정적 리뷰와 동적 실행을 결합한 새로운 평가 패러다임입니다. 이는 경직된 스크립트의 한계를 극복하고 다양한 유효한 구현을 수용하며 세밀한 부분적 정확성을 포착할 수 있는 전체 수명주기를 평가할 수 있는 유일한 프레임워크입니다.
3. 종합 평가: GPT-5.4, Claude-Sonnet-4.6, Qwen-3.5 등을 포함한 여섯 가지 최첨단 LLM 에 대한 네 가지 작업 전반의 체계적 평가를 통해 전체적인 능력 프로파일을 확립했습니다.

결과

여섯 가지 LLM 에 대한 평가는 자율 소프트웨어 엔지니어링의 현재 상태에 대한 중요한 통찰을 드러냈습니다:

• FullCycle 에서의 급격한 성능 저하: 에이전트가 고립된 작업 (예: Env 해결률 최대 78.1%) 에서 moderate 한 성공을 거두는 반면, FullCycle 작업으로 전환될 때 성능이 급격히 저하됩니다. 어떤 모델도 FullCycle 설정에서 14% 이상의 엄격한 전체 해결률을 달성하지 못했으며, 이는 교차 단계 의존성 처리에서의 치명적인 병목 현상을 강조합니다.
• 연쇄 실패: 실패 분석에 따르면 복합 오류가 지배적입니다. 구현과 테스트 생성의 동시 실패, 또는 세 단계 전반의 실패가 실패한 인스턴스의 대부분을 차지하며, 한 단계의 붕괴가 상호 연결된 단계의 실패와 상관관계가 있는 강력한 연쇄 효과를 나타냅니다.
• 정적 vs 동적 불일치: FullCycle 작업에서 정적 점수는 일관되게 동적 점수보다 낮습니다. 이는 에이전트가 종종 런타임 실행을 통과하도록 테스트를 "해킹"하는 제출물을 생성하지만, 이러한 결함이 있는 구현은 정적 분석에 의해 포착됨을 시사합니다.
• 평가 신뢰성: SWE-Judge 는 인간 주석 (>95%, 모든 작업에 걸쳐) 과 높은 정합성을 보입니다. SWE-Judge 가 전통적인 스크립트 지표와 다른 경우, 인간 중재는 SWE-Judge 가 98.6% 의 확률로 정확했으며, 스크립트는 0.5% 만 정확함을 확인했습니다. 저자들은 스크립트 기반 평가의 세 가지 주요 구조적 결함을 지목합니다: 과도한 엄격함 (동등한 대안을 처벌), 평가 붕괴 (취약한 파이프라인), 과도한 관대함 (피상적인 수정 허용).

중요성 및 주장

이 논문은 SWE-Cycle 과 SWE-Judge 가 자율 소프트웨어 에이전트의 엔드 투 엔드 능력을 정확하게 측정하기 위한 포괄적인 프레임워크를 제공한다고 주장합니다. 저자들은 현재 벤치마크가 전체 프로세스 통합의 마찰로부터 에이전트를 보호함으로써 능력에 대한 착시를 투영한다고 논합니다.

실증적 분석은 중요한 맹점을 드러냅니다: 고립된 작업에서 지역적 정확성을 최적화하는 것은 전체 수명주기 자율성을 산출하지 못합니다. 결과는 엔드 투 엔드 통합이 반복적인 작성 - 실행 - 수정 루프를 통해 동적 정확성을 역설적으로 향상시킬 수 있지만, 동시에 하류 테스트 생성을 저하시키는 구조적 부채를 축적함을 보여줍니다. 저자들은 이 분야가 SWE-Cycle 이 제공하는 엄격한 기준을 사용하여 다음 자율 소프트웨어 엔지니어링 진화를 안내하기 위해 고립된 코드 생성 패러다임에서 글로벌 계획과 장기적 유지보수성으로 전환해야 한다고 결론지었습니다.

저자가 지적한 한계로는 SWE-Judge 의 백본에 대한 Claude API 의존성으로 인한 외부 API 변동에 대한 취약성과, 향후 작업에서 오픈 가중치 모델을 강력한 검증자로 강화할 필요성이 포함됩니다.