BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

이 논문은 기존 코드 에이전트 평가의 한계를 지적하고 교차 저장소 및 도메인 전문성 등 더 넓은 범위를 다루는 새로운 벤치마크 'BeyondSWE' 와 검색 기반 프레임워크 'SearchSWE' 를 제안하여, 현재 최첨단 모델조차 복잡한 실세계 작업에서 성능이 제한적이며 검색 증강이 일관된 개선을 보장하지 않음을 밝혔습니다.

핵심

이 논문은 **"현재의 AI 프로그래머 (코드 에이전트) 가 혼자서 복잡한 소프트웨어 문제를 해결할 수 있을까?"**라는 질문에서 시작합니다.

기존의 AI 평가 방식은 마치 **"한 방 (단일 저장소) 안에서만 일어나는 작은 고장 수리"**만 테스트했습니다. 하지만 현실의 개발자는 여러 개의 다른 프로젝트 (다른 방) 를 오가며, 전문적인 지식을 찾고, 의존성 문제를 해결하고, 아예 처음부터 새 건물을 짓기도 합니다.

이 논문은 **"BeyondSWE"**라는 새로운 시험지를 만들고, AI 가 이 새로운 시험에서 얼마나 잘하는지, 그리고 '검색 (Search)' 기능을 붙여주면 도움이 되는지 실험했습니다.

핵심 내용을 일상적인 비유로 설명해 드릴겠습니다.

---

1. 기존 시험지 vs 새로운 시험지 (BeyondSWE)

기존 시험지 (SWE-bench):

비유: "이 아파트 (단일 프로젝트) 의 302 호 변기만 고쳐보세요."

• 상황: 모든 도구와 부품이 변기 옆에 다 있습니다.
• 결과: 최신 AI 는 이 정도는 80% 이상 잘 고칩니다.

새로운 시험지 (BeyondSWE):

비유: "이 아파트의 변기 고장, 이웃 아파트의 설계도 참고, 원자력 발전소 지식 활용, 그리고 전체 배관 시스템 교체까지 해보세요."

• 상황 1 (CrossRepo): 변기 고장 원인이 이웃 아파트 (다른 프로젝트) 의 부품 문제라, 그쪽 설계도를 찾아와야 함.
• 상황 2 (DomainFix): 변기 물이 안 나오는 게 일반 고장이 아니라, '양자 물리학'이나 '생물학' 같은 특수한 지식과 관련된 문제.
• 상황 3 (DepMigrate): 아파트 전체의 배관 규격 (의존성) 이 바뀌어서, 100 개 이상의 방을 일일이 개조해야 함.
• 상황 4 (Doc2Repo): 설계도 (문서) 만 주어졌을 때, 아예 아파트를 처음부터 지어야 함.

결과:
AI 는 이 새로운 시험에서 45% 미만의 점수만 받았습니다. 즉, **"단순한 고치는 잘하지만, 복잡한 현실 세계의 문제는 여전히 무능하다"**는 결론이 나왔습니다.

---

2. 검색 기능을 붙여주면 어떨까? (SearchSWE)

연구진은 "AI 가 구글 검색을 할 수 있게 해주면 더 잘할까?"라고 생각했습니다. 그래서 **'검색 기능'이 달린 AI (SearchSWE)**를 만들었습니다.

예상: 검색을 하면 답을 찾아오니까 점수가 오를 거야!
현실: 점수가 오를 때도 있고, 오히려 떨어질 때도 있습니다.

왜 그럴까요? (3 가지 실패 사례)

1. 정보의 질이 안 맞음 (Information Landscape Gap):

   • 비유: AI 가 "이 기계의 수리 매뉴얼 (소스 코드)"을 찾고 싶은데, 검색 엔진은 "이 기계의 홍보 문구 (일반적인 설명)"만 찾아옵니다.
   • 결과: AI 는 홍보 문구를 보고 수리를 시도하다가 실패합니다.

2. 버전 충돌 (Temporal Misalignment):

   • 비유: AI 가 "2025 년 최신 자동차 수리법"을 검색해서 가져오는데, 실제로 수리해야 할 차는 1990 년식입니다.
   • 결과: 최신 부품으로 90 년식 차를 고치려다 차가 더 망가집니다. (과거의 환경과 최신 검색 결과가 안 맞음)

3. 오해의 소지가 있는 검색 (Semantic Drift):

   • 비유: "Family(가족)"라는 단어를 검색했는데, '가족'이라는 단어가 들어간 건축 설계도나 법률 문서가 먼저 뜨고, 진짜 필요한 '소프트웨어 가족 (모듈)' 정보는 뒤로 밀립니다.
   • 결과: AI 는 건축 설계도를 보고 코드를 짜다가 엉뚱한 짓을 합니다.

---

3. 핵심 교훈: "검색을 잘하는 것과 코딩을 잘하는 것은 별개다"

이 연구의 가장 큰 발견은 다음과 같습니다.

"AI 가 검색을 많이 한다고 해서 코딩 실력이 좋아지는 건 아닙니다. 오히려 검색을 잘못하면 코딩 실력이 더 나빠질 수도 있습니다."

• 현실의 개발자: "아, 이 오류는 저기서 봤어. 검색해 볼까? 아, 이 정보는 내 환경 (버전) 에 안 맞네. 무시하고 내 코드만 고치자." (검색과 코딩을 유연하게 오가며 판단)
• 현재의 AI: "검색 결과에 '이렇게 하세요'라고 나와있네? 무조건 따라해!" (검색 결과에 너무 의존하거나, 반대로 검색을 안 해서 막힘)

4. 결론: 앞으로의 방향

이 논문은 **"AI 프로그래머가 진짜 개발자가 되려면, 단순히 코드를 잘 짜는 것뿐만 아니라, 검색을 할 때 '언제 검색해야 하고, 무엇을 믿어야 하며, 내 환경에 맞게 어떻게 변형해야 하는지'를 판단하는 능력"**이 필요하다고 말합니다.

한 줄 요약:

"지금의 AI 프로그래머는 **'단순한 수리공'**은 될 수 있지만, **'복잡한 현실 문제를 해결하는 엔지니어'**가 되려면 **'검색과 코딩을 자연스럽게 섞는 지혜'**가 더 필요합니다."

이 논문은 바로 그 '지혜'를 기르기 위한 새로운 시험지 (BeyondSWE) 와 실험 도구 (SearchSWE) 를 세상에 내놓은 것입니다.

기술 요약

BeyondSWE: 단일 저장소 버그 수정을 넘어선 현재 코드 에이전트의 생존 가능성에 대한 기술적 요약

이 논문은 대규모 언어 모델 (LLM) 기반 코드 에이전트의 현재 능력과 한계를 평가하기 위해 BeyondSWE라는 새로운 벤치마크와 SearchSWE라는 검색 증강 프레임워크를 제안합니다. 기존 벤치마크가 단일 저장소 내의 국소적인 버그 수정에 집중했던 반면, 이 연구는 실제 소프트웨어 엔지니어링 환경에서 요구되는 더 넓은 범위의 과제들을 평가합니다.

1. 연구 배경 및 문제 제기

기존의 소프트웨어 엔지니어링 벤치마크 (예: SWE-bench) 는 주로 단일 GitHub 저장소 내의 함수 단위 버그 수정을 평가하는 데 중점을 두었습니다. 그러나 실제 개발자는 다음과 같은 더 복잡하고 광범위한 작업을 수행합니다:

• 크로스 저장소 추론 (Cross-repository reasoning): 외부 저장소의 코드나 솔루션을 참조하여 문제를 해결.
• 도메인 특화 문제 해결 (Domain-specific problem solving): 생물정보학, 양자 물리학 등 전문 지식이 필요한 분야.
• 의존성 주도 마이그레이션 (Dependency-driven migration): 라이브러리 버전 업그레이드 (예: NumPy 1.x → 2.x) 로 인한 전체 코드베이스의 대규모 리팩토링.
• 문서 기반 저장소 생성 (Document-to-repository generation): 명세서 (Specification) 만을 바탕으로 완전한 소프트웨어 시스템을 구축.

기존 벤치마크는 이러한 실제적인 도전 과제를 포괄하지 못하여, 에이전트의 진정한 능력을 과대평가할 수 있다는 문제가 있었습니다.

2. 제안된 방법론

2.1 BeyondSWE 벤치마크

BeyondSWE 는 **해결 범위 (Resolution Scope)**와 **지식 범위 (Knowledge Scope)**라는 두 가지 축을 확장하여 4 가지 주요 평가 시나리오를 정의합니다. 총 500 개의 실제 GitHub 이슈와 명세서를 기반으로 구성되었습니다.

1. CrossRepo (크로스 저장소 이슈 해결): 외부 저장소나 문서에서 정보를 찾아 타겟 저장소의 버그를 수정.
2. DomainFix (도메인 특화 이슈 해결): 특정 과학/공학 분야의 전문 지식을 요구하는 문제 해결.
3. DepMigrate (의존성 주도 마이그레이션): 외부 라이브러리의 주요 버전 업그레이드에 맞춰 전체 코드베이스를 리팩토링.
4. Doc2Repo (문서에서 저장소 생성): 자연어 명세서 (Specification) 만을 입력으로 받아 작동하는 전체 저장소를 처음부터 생성.

환경 구축 및 품질 관리:

• 자동화된 Docker 환경: 레거시 의존성 문제를 해결하기 위해 LLM 에이전트를 사용하여 테스트가 통과할 때까지 의존성을 자동으로 설치하고 환경 구성.
• 엄격한 검증: 각 인스턴스는 5 번의 반복 실행을 통해 비결정적 행동을 제거하고, 패치 적용 전/후의 테스트 통과/실패 (P2P/F2P) 를 엄격히 검증.
• 데이터 오염 방지: 솔루션 정보가 포함된 PR 설명을 문제 상황 (Problem Statement) 으로 재구성하여 모델이 정답을 유추하지 못하도록 함.

2.2 SearchSWE 프레임워크

BeyondSWE 의 과제들은 로컬 코드베이스 이상의 외부 지식이 필요하므로, 저자는 SearchSWE를 개발했습니다.

• 구조: OpenHands 와 같은 기존 코드 에이전트 프레임워크에 **웹 검색 (Search Tool)**과 브라우저 (Browser Tool) 기능을 통합.
• 작동 방식: 에이전트는 로컬 컨텍스트 (Docker) 와 글로벌 컨텍스트 (웹 검색) 를 오가며 정보를 수집하고 코드를 작성합니다.
• 치팅 방지: 타겟 저장소의 URL 이나 정답이 포함된 리포지토리에 접근하는 것을 차단하는 블록리스트 (Blocklist) 메커니즘을 적용하여, 에이전트가 외부 정보를 통해 추론해야 하도록 설계했습니다.

3. 주요 실험 결과

3.1 성능 한계 (BeyondSWE 결과)

최첨단 모델 (Gemini 3 Pro, GPT-5.2 등) 을 BeyondSWE 에서 평가한 결과, 다음과 같은 심각한 능력 격차가 확인되었습니다.

• 성능 정체: 모든 모델의 평균 성공률이 45% 미만에 머무릅니다. (기존 SWE-bench Verified 에서는 80% 이상 달성)
• 모델별 편차: 어떤 단일 모델도 모든 작업 유형에서 일관되게 우세하지 않습니다. (예: Gemini 3 Pro 는 DepMigrate 에서 강세, Seed-Coder 는 CrossRepo 에서 강세)
• 도메인 특화 난이도: DomainFix 작업에서 모든 모델의 성공률이 36% 를 넘지 못해, 전문 지식 기반 추론이 여전히 큰 병목임을 보여줍니다.
• 전체 시스템 생성의 어려움: Doc2Repo 작업에서 개별 컴포넌트는 구현할 수 있으나, 명세서를 바탕으로 일관된 전체 아키텍처를 구축하는 데 실패하는 경우가 많았습니다.

3.2 검색 증강의 효과 (SearchSWE 결과)

검색 기능을 추가한 SearchSWE 프레임워크의 결과는 일관되지 않은 개선을 보였습니다.

• 긍정적 효과: 도메인 지식 (DomainFix) 이나 마이그레이션 가이드 (DepMigrate) 가 필요한 경우, 검색이 성능을 향상시켰습니다 (예: Gemini 3 Pro 의 DomainFix 성공률 +7.5%).
• 부정적 효과: 일부 모델이나 작업 (CrossRepo, Doc2Repo) 에서는 오히려 성능이 저하되었습니다.
• 원인 분석:
  1. 정보 환경의 불일치: 검색 엔진은 고수준 문서를 우선시하지만, 코드 구현에는 정밀한 소스 코드나 디테일이 필요합니다.
  2. 버전 불일치 (Temporal Misalignment): 검색된 최신 문서가 로컬 환경의 레거시 버전과 충돌하여 잘못된 해결책을 유도합니다.
  3. 의미적 드리프트 (Semantic Drift): 전문 용어의 다의성으로 인해 관련 없는 도메인의 정보가 검색되어 컨텍스트를 오염시킵니다.

4. 주요 기여 및 의의

1. BeyondSWE 벤치마크 구축: 단일 저장소 버그 수정을 넘어, 크로스 저장소, 도메인 지식, 대규모 마이그레이션, 시스템 생성 등 실제 개발 워크플로우를 포괄하는 최초의 포괄적인 벤치마크를 제시했습니다.
2. 검색 - 코딩 간격 (Search-Code Disconnect) 규명: 현재 LLM 은 검색 능력과 코딩 능력이 각각 독립적으로 발전했으나, 이를 효과적으로 통합하지 못함을 증명했습니다. 검색을 더 많이 한다고 해서 성능이 향상되는 것은 아니며, 오히려 노이즈로 인해 성능이 저하될 수 있음을 보였습니다.
3. 향후 연구 방향 제시: 단순한 코드 생성 능력을 넘어, 외부 정보 검색과 추론을 유연하게 결합하는 '개발자 같은 워크플로우'를 구현할 수 있는 에이전트 개발의 필요성을 강조했습니다.

5. 결론

이 연구는 현재 최첨단 코드 에이전트들이 실제 소프트웨어 엔지니어링의 복잡성 (특히 외부 지식 활용과 대규모 리팩토링) 을 처리하는 데 여전히 큰 한계가 있음을 명확히 보여줍니다. BeyondSWE 와 SearchSWE 는 이러한 격차를 측정하고, 검색과 코딩의 통합을 위한 새로운 연구 방향을 제시함으로써, 더 현실적이고 강력한 소프트웨어 에이전트 개발을 위한 기초를 마련했습니다.