SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

이 논문은 20 개 이상의 프로그래밍 언어와 3,600 개 이상의 저장소에서 32,000 개 이상의 실행 가능한 소프트웨어 엔지니어링 (SWE) 태스크와 12 만 개 이상의 확장 데이터를 포함하는 대규모 언어 중립적 SWE 벤치마크인 'SWE-rebench V2'를 소개하며, 이를 통해 강화학습 기반 SWE 에이전트 훈련을 위한 재현 가능한 환경과 데이터셋을 제공합니다.

핵심

🚀 핵심 비유: "AI 코딩 로봇을 위한 '실전 사격 훈련장'"

지금까지 AI(로봇) 가 코딩을 잘하려면, 사람이 직접 문제를 내고 정답을 확인해 주는 **'가상 시뮬레이션'**에서 훈련받았습니다. 하지만 실제 세상은 훨씬 복잡하죠.

이 논문은 **"AI 가 진짜 현업에서 일할 수 있도록, 전 세계의 다양한 언어 (Python, Go, Java 등 20 개) 로 된 '실제 회사 프로젝트'들을 자동으로 모아놓은 거대한 훈련장"**을 만들었다고 말합니다.

이 훈련장의 이름은 SWE-rebench V2입니다.

---

🛠️ 왜 이걸 만들었나요? (문제점)

1. 훈련할 '문제'가 너무 적어요: AI 를 가르치려면 수많은 '문제 (버그 수정)'와 '정답 확인 도구 (테스트)'가 필요합니다. 그런데 기존에는 이런 데이터가 너무 적거나, 파이썬 같은 인기 언어에만 집중되어 있었습니다.
2. 환경 설정이 너무 어려워요: "이 코드를 실행하려면 이 라이브러리를 설치하고, 저 서버를 연결해야 해!" 같은 복잡한 환경 설정을 사람이 일일이 해주는 건 불가능합니다.
3. 다른 언어는 무시당해요: 파이썬은 잘 되는데, C++ 나 Rust 같은 다른 언어는 훈련장이 아예 없거나 엉망인 경우가 많았습니다.

🤖 SWE-rebench V2 가 해결한 방법 (해법)

이 연구팀은 **"로봇이 스스로 환경을 설정하고 문제를 찾아내는 자동화 공장"**을 지었습니다.

1. 자동 환경 설정 공장 (Setup Synthesis)

• 비유: 새로운 도시 (프로젝트) 에 도착한 로봇이, 지도도 없고 언어도 모를 때 **"스스로 길을 찾아 식당 (의존성) 을 열고, 요리 (코드 실행) 를 해보는 것"**입니다.
• 작동 방식: AI 에이전트가 GitHub 의 실제 프로젝트에 들어가, "어떻게 설치하고 실행하지?"를 스스로 추측하고 시도하다가, 실패하면 다시 시도하며 **최종적으로 작동하는 환경 (Docker 이미지)**을 만들어냅니다.
• 결과: 20 개 언어, 3,600 개 이상의 프로젝트에서 자동으로 실행 가능한 환경을 구축했습니다.

2. 문제 수집 및 필터링 (Quality Control)

• 비유: 공장에서는 **"진짜 쓸 만한 문제"**만 골라냅니다.
  • "문제가 너무 모호해서 뭘 고쳐야 할지 모르는 경우" → 버림
  • "테스트가 엉뚱한 걸 검사하는 경우" → 버림
  • "실제 회사에서 일어난 진짜 버그 (Pull Request)" → 채용
• 특이점: 단순히 '이슈'만 모은 게 아니라, PR(코드 변경 요청) 설명을 바탕으로 AI 가 새로운 문제 설명을 만들어내는 방식도 도입했습니다. 이렇게 하면 기존에 이슈가 없었던 프로젝트에서도 훈련 데이터를 12 만 개나 더 확보할 수 있었습니다.

3. 치밀한 진단 보고서 (Metadata)

• 비유: 훈련장에 들어가는 각 문제마다 **"주의사항 라벨"**을 붙여줍니다.
  • "이 문제는 테스트가 너무 까다로워요 (B1)"
  • "이 문제는 외부 링크가 필요해서 AI 가 못 볼 수도 있어요 (B3)"
  • "이 문제는 이름만 바꾸면 되는 쉬운 문제예요 (Easy)"
• 효과: 연구자들은 이 라벨을 보고 "초보 AI 에게는 쉬운 문제만 주고, 고급 AI 에게는 까다로운 문제를 줘야지"라고 학습 커리큘럼을 설계할 수 있게 되었습니다.

---

📊 이 훈련장의 규모는 어때요?

• 언어: 20 개 (파이썬, 자바, 자바스크립트, 루스트, 스칼라 등)
• 프로젝트: 3,600 개 이상의 실제 오픈소스 저장소
• 문제 개수:
  • 32,000 개: 실행 가능한 환경이 이미 준비된 '완성형' 문제들.
  • 120,000 개: 설치 방법과 테스트만 있는 '확장형' 문제들 (더 많은 학습용).

💡 왜 이게 중요한가요?

이전까지 AI 코딩 연구는 **"파이썬 한 나라에서만 하는 훈련"**이었다면, SWE-rebench V2 는 **"전 세계 20 개 언어로 된 국제 훈련장"**을 열었습니다.

이제 AI 는 다양한 언어와 복잡한 환경에서도 스스로 문제를 해결하는 법을 배울 수 있게 되었고, 연구자들은 어떤 환경에서 AI 가 실패하는지 (예: 외부 링크 문제, 테스트의 모호함 등) 를 정확히 진단하여 더 똑똑한 소프트웨어 엔지니어 AI 를 만들 수 있게 되었습니다.

🏁 결론

"SWE-rebench V2 는 AI 가 실제 세상에서 코딩을 잘할 수 있도록, 전 세계의 다양한 언어와 프로젝트로 구성된 '자동화된 실전 훈련장'을 무료로 공개한 것입니다."

이제 AI 는 더 이상 가상의 시뮬레이션이 아닌, 진짜 복잡한 현실 세계의 코딩 문제를 해결하는 법을 배울 준비가 되었습니다.

기술 요약

SWE-rebench V2: 대규모 언어 중립적 소프트웨어 엔지니어링 (SWE) 태스크 수집 기술 요약

이 논문은 소프트웨어 엔지니어링 에이전트 (SWE Agents) 의 강화 학습 (RL) 훈련을 위한 대규모, 실행 가능한 태스크 컬렉션을 구축하기 위한 SWE-rebench V2를 소개합니다. 기존 벤치마크가 특정 언어 (주로 Python) 에 국한되거나 훈련용 데이터의 규모와 다양성이 부족했던 한계를 극복하고, 20 개 이상의 프로그래밍 언어를 지원하는 언어 중립적 (Language-Agnostic) 파이프라인을 제안합니다.

1. 문제 정의 (Problem)

• RL 훈련 데이터의 부족: SWE 에이전트의 성능 향상은 주로 강화 학습 (RL) 에 의존하지만, RL 훈련에는 대규모의 실행 가능한 태스크와 신뢰할 수 있는 테스트 스위트가 필요합니다.
• 환경 구축의 어려움: 다양한 프로그래밍 언어와 생태계 (빌드 시스템, 의존성 관리자, 테스트 러너) 에 걸쳐 실행 가능한 환경을 구축하는 것은 비용이 많이 들고 복잡합니다.
• 데이터의 한계: 기존 벤치마크 (SWE-bench 등) 는 평가 중심이며, 훈련에 필요한 재현 가능한 환경 이미지나 세분화된 인스턴스 진단 메타데이터가 부족합니다. 또한, 대부분의 데이터가 Python 에 집중되어 있어 다른 언어에서의 에이전트 행동과 난이도 차이를 연구하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 20 개 언어와 3,600 개 이상의 저장소를 아우르는 32,000 개 이상의 실행 가능한 태스크를 수집하기 위해 자동화된 5 단계 파이프라인을 개발했습니다.

2.1. 언어 중립적 파이프라인 구조

1. 예비 데이터 수집 (Preliminary Data Collection):

   • GitHub Archive 를 기반으로 이슈와 Pull Request (PR) 메타데이터를 수집하고 저장소를 클론합니다.
   • 테스트가 포함된 PR 과 이슈가 연결된 경우를 필터링하여 후보를 선별합니다.
   • 고자원 언어 (Python, Java 등) 와 롱테일 언어 (Long-tail languages) 에 따라 다른 임계값을 적용하여 저장소 다양성을 확보합니다.

2. 설계 합성 (Setup Synthesis):

   • 인터랙티브 에이전트 활용: 각 저장소에 대해 설치 및 테스트 절차를 자동으로 추론하기 위해 mini-SWE-agent 와 같은 인터랙티브 에이전트를 사용합니다. 에이전트는 빌드 오류와 테스트 실패를 관찰하며 설치 스크립트를 반복적으로 수정합니다.
   • Docker 이미지 생성: 성공적으로 설정된 환경을 Docker 이미지로 패키징하여 네트워크 의존성 없이 재현 가능한 실행을 보장합니다.
   • 파서 생성: 테스트 로그를 구조화된 결과 (Pass/Fail) 로 변환하는 파서를 자동으로 생성합니다.

3. 실행 기반 검증 (Execution-based Validation):

   • 수정 전 (Pre-fix) 과 수정 후 (Post-fix) 에 전체 테스트 스위트를 실행하여 'Fail-to-Pass' 테스트가 존재하는지 확인합니다.
   • 이는 학습 신호로 사용할 수 있는 명확한 실행 가능한 지표를 제공합니다.

4. 이슈 명확성 필터링 (Filtering by Issue Clarity):

   • LLM 어노테이터 (GPT-oss, GLM, DeepSeek 등) 의 앙상블을 사용하여 이슈 설명의 명확성을 평가합니다.
   • 인간 검증된 SWE-bench 데이터와 비교하여 필터링 기준을 조정하며, 모호한 태스크를 제거합니다.

5. 메타데이터 풍부화 (Metadata Enrichment):

   • 7 개의 최첨단 모델을 대상으로 한 진단 연구를 통해 태스크의 결함 (예: 테스트의 취약성, 외부 의존성, 암시적 명세 등) 을 식별합니다.
   • 각 태스크에 진단 라벨 (B1~B7) 을 부착하여 연구자가 학습 목표에 따라 데이터를 필터링하거나 커리큘럼을 설계할 수 있게 합니다.

2.2. PR 기반 태스크 확장

이슈와 직접 연결되지 않은 PR 들도 포함하기 위해, PR 설명과 패치를 기반으로 합성된 문제 설명을 생성하여 120,000 개 이상의 추가 태스크를 확보했습니다. 이는 이슈 링크가 없는 개발 활동까지 학습 데이터로 활용 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 다언어 데이터셋: 20 개 언어, 3,600 개 이상의 저장소에서 추출된 32,000 개 이상의 컨테이너화된 실행 가능 태스크를 공개했습니다.
2. 확장 가능한 학습 리소스: 설치/테스트 레시피와 메타데이터를 포함한 120,000 개 이상의 PR 기반 태스크를 추가로 공개하여 훈련 데이터의 규모를 대폭 확장했습니다.
3. 언어 중립적 파이프라인: 단일 워크플로우로 다양한 언어 생태계를 처리할 수 있는 자동화 시스템을 구축하고, 각 단계의 수율과 실패 모드를 정량화했습니다.
4. 진단 메타데이터: 테스트의 취약성 (Flaky tests), 외부 의존성, 불명확한 명세 등 학습 신호를 왜곡할 수 있는 요소를 식별하는 인스턴스 수준의 메타데이터를 제공합니다.
5. 실험적 검증: 인터랙티브 에이전트 vs 비인터랙티브 파이프라인, 다양한 LLM 조합의 필터링 성능 등을 비교하는 어블레이션 연구를 수행했습니다.

4. 결과 (Results)

• 데이터 규모: 20 개 언어 (Python 21.6%, Go 20.6% 등) 를 지원하며, 태스크는 버그 수정, 리그래션, 성능 개선 등 12 가지 카테고리를 포괄합니다.
• 설계 합성 성능: 인터랙티브 에이전트 (Qwen3-Coder-480B 등 사용) 가 비인터랙티브 파이프라인보다 설치 성공률이 현저히 높았습니다 (예: pass@10 기준 58.8% 대 15.7%).
• 모델 성능: 7 개의 최첨단 모델 (Claude Opus, GLM-4.7 등) 을 300 개 태스크 (5 개 언어) 로 평가한 결과, Python 과 Go 에서 상대적으로 높은 성능을 보였으나, Scala 나 Rust 등에서는 성능이 낮게 나타났습니다. 이는 언어별 난이도 차이를 보여줍니다.
• 필터링 효과: LLM 앙상블을 통한 이슈 명확성 필터링은 인간 어노테이션과 높은 일치도를 보이며, 불명확한 태스크를 효과적으로 제거했습니다.

5. 의의 및 의의 (Significance)

• SWE 에이전트 훈련의 민주화: Python 중심의 훈련 데이터를 넘어 다양한 언어와 생태계에서 SWE 에이전트를 훈련하고 평가할 수 있는 기반을 마련했습니다.
• 재현 가능한 RL 연구: 사전 빌드된 Docker 이미지와 세분화된 메타데이터를 제공함으로써, 대규모 RL 훈련의 재현성을 높이고 환경적 결함 (Environment Pathologies) 으로 인한 학습 노이즈를 줄일 수 있게 했습니다.
• 커리큘럼 학습 지원: 진단 메타데이터를 통해 연구자는 난이도나 태스크 유형에 따라 데이터를 필터링하여 단계별 학습 (SFT, RL warm-up, Robustness training 등) 을 설계할 수 있습니다.
• 미래 지향성: 복잡한 멀티 서비스 시스템이나 비기능적 요구사항 (성능, 지연 시간 등) 을 포함한 향후 연구 방향을 제시하며, SWE 에이전트 연구의 새로운 표준을 제시합니다.

결론적으로, SWE-rebench V2 는 소프트웨어 엔지니어링 에이전트의 대규모 훈련을 위한 필수 인프라를 제공하며, 언어와 생태계의 경계를 넘어선 보다 강력하고 견고한 AI 에이전트 개발을 가능하게 합니다.