daVinci-Env: Open SWE Environment Synthesis at Scale

이 논문은 45,320 개의 실행 가능한 Docker 환경과 13,000 개의 정제된 학습 궤적을 포함하는 대규모 오픈 소스 SWE 에이전트 훈련 프레임워크인 'daVinci-Env (OpenSWE)'를 제안하여, SWE-bench Verified 에서 최첨단 성능을 달성하고 수학 및 과학 분야에서도 뛰어난 일반화 능력을 입증했습니다.

핵심

1. 문제: 왜 새로운 학교가 필요했을까?

지금까지 AI(인공지능) 에게 코딩을 가르치려고 할 때, 두 가지 큰 문제가 있었습니다.

• 규모가 너무 작아요: 기존에 공개된 코딩 문제들은 마치 "초등학교 1 학년용 교재"처럼 양이 적고 종류도 한정되어 있었습니다.
• 비밀스러운 공장: 대기업들은 엄청난 양의 데이터를 가지고 있지만, 그 내부가 어떻게 돌아가는지 아무도 모릅니다. 마치 "요리 실력을 가르치는 비밀 식당"이 있는데, 레시피와 주방은 다들 볼 수 없으니 일반인들은 배울 수 없는 상황이었죠.

2. 해결책: OpenSWE (오픈스위)

연구팀은 이 문제를 해결하기 위해 전 세계 어디서나 볼 수 있고, 누구나 사용할 수 있는 거대한 '가상 코딩 공장'을 만들었습니다.

• 거대한 도서관과 실험실: 이 프로젝트는 **12,800 개 이상의 실제 소프트웨어 프로젝트 (저장고)**에서 가져온 45,000 개 이상의 코딩 문제를 담고 있습니다.
• 완벽한 투명성: 단순히 문제만 주는 게 아니라, 문제를 해결하는 데 필요한 모든 도구 (Docker 컨테이너), 평가 방법, 심지어 이 공장을 지은 설계도까지 모두 공개했습니다. 마치 "요리 레시피뿐만 아니라, 그 요리를 만드는 데 필요한 모든 재고와 주방 장비까지 공개한 것"과 같습니다.
• 비용: 이 거대한 학교를 짓는 데 약 **147 만 달러 (약 20 억 원)**가 들었습니다. (건물 공사비 89 만 달러 + 학생들의 연습 과정 수집 및 관리비 57 만 달러)

3. 핵심 기술: 어떻게 '질 좋은' 문제를 찾았나?

단순히 문제를 많이 모은다고 좋은 게 아닙니다. 연구팀은 '질 관리'에 집중했습니다.

• 나쁜 문제 걸러내기:
  • 해결 불가능한 문제: "이 문제는 AI 가 아무리 노력해도 못 푼다"는 문제들은 제외했습니다. (예: 문제 설명이 애매하거나, 정답이 없는 경우)
  • 너무 쉬운 문제: "문제를 읽으면 바로 답이 나오는" 문제들은 제외했습니다. (예: 오타 하나만 고르면 되는 아주 쉬운 문제)
• AI 로봇 군단: 이 작업을 위해 64 대의 컴퓨터로 이루어진 거대한 로봇 군단을 투입했습니다. 이 로봇들이 자동으로 코드를 분석하고, 실행 환경을 만들고, 문제를 검증하는 과정을 반복했습니다.

4. 결과: 얼마나 잘 가르쳤나?

이 'OpenSWE'로 훈련된 AI 는 놀라운 성과를 냈습니다.

• 최고의 성적: 세계적인 코딩 실력 평가인 'SWE-bench'에서 66.0% 의 정답률을 기록하며, 기존에 있던 어떤 AI 보다도 뛰어난 성적을 냈습니다. (기존 32B 모델 기준 62.4% → 72B 모델 기준 66.0%)
• 데이터의 힘: 데이터를 더 많이 학습할수록 AI 의 실력이 계속 좋아졌습니다. "더 이상 배울 게 없다"는 지점 (포화 상태) 에 도달하지 않았다는 뜻입니다.
• 부수적인 효과: 코딩만 잘하는 게 아니라, 수학 문제나 과학 문제 해결 능력도 함께 향상되었습니다. (코딩을 통해 논리력을 기르니, 다른 분야도 잘하게 된 것) 하지만, 단순히 사실을 외우는 능력 (기억력) 은 변하지 않았습니다.

5. 요약: 이 연구가 우리에게 주는 의미

이 논문은 **"AI 가 코딩을 잘하려면, 양이 많고 질이 좋은 '실전 훈련장'이 필요하다"**는 것을 증명했습니다.

기존에는 대기업만 가진 비밀스러운 훈련장을 사용해야 했지만, 이제 **누구나 무료로 접근할 수 있는 최고의 훈련장 (OpenSWE)**을 공개했습니다. 이는 앞으로 더 똑똑한 AI 개발자 (에이전트) 를 키우는 데 큰 발판이 될 것입니다.

한 줄 요약:

"코딩 실력을 기르기 위해, 전 세계 최고의 '가상 코딩 공장'을 무료로 공개하고, 그 안에서 훈련된 AI 가 세계 최고의 코딩 실력을 보여주었습니다."

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 자율 소프트웨어 엔지니어링 (SWE) 에이전트 개발은 방대하고 실행 가능하며 검증 가능한 환경이 필수적입니다. 에이전트는 코드 편집, 테스트 실행, 솔루션 정제를 위한 동적 피드백 루프가 필요합니다. 그러나 기존 연구는 다음과 같은 한계를 겪고 있습니다:

• 규모와 다양성 부족: 기존 오픈소스 데이터셋 (SWE-bench 등) 은 규모가 작고 저장소 다양성이 제한적입니다.
• 투명성 부재: 산업계 솔루션은 규모는 크지만 인프라와 데이터가 비공개 (Opaque) 라서 학술 연구 그룹이 접근하기 어렵습니다.
• 품질 문제: 자동 생성된 환경 중에는 PR 과 이슈가 불일치하거나 (Unsolvable), 문제가 너무 쉬워 학습 신호가 약한 (Trivial) 경우들이 포함되어 있어 학습 효율을 떨어뜨립니다.
• 높은 비용: 대규모 실행 가능한 Docker 환경 구축을 위한 컴퓨팅 및 인프라 비용이 매우 높아 장벽이 됩니다.

2. 방법론 (Methodology)

저자들은 OpenSWE라는 완전히 투명한 프레임워크를 제안하며, 이는 64 노드 분산 클러스터에서 운영되는 멀티 에이전트 합성 파이프라인을 통해 구축되었습니다.

A. 데이터 수집 및 필터링

• GitHub 에서 12,800 개 이상의 Python 저장소를 대상으로 PR(풀 리퀘스트) 을 수집합니다.
• 4 단계 필터링:
  1. 저장소 생존성: 5 개 이상의 스타를 가진 성숙한 프로젝트만 선정.
  2. 언어 필터: Python 주력 저장소만 선별.
  3. 이슈 요구사항: 명확한 자연어 설명이 있는 이슈가 연결된 PR 만 포함.
  4. 실질적 코드 변경: 테스트 파일이 아닌 실제 구현 코드가 변경된 PR 만 선별.

B. 멀티 에이전트 합성 파이프라인

수집된 PR 을 실행 가능한 Docker 환경으로 변환하는 자동화 프로세스입니다:

1. 저장소 탐색 에이전트: README, 의존성 파일 등을 분석하여 환경 설정에 필요한 정보를 추출합니다.
2. Dockerfile 구축 에이전트:
   • 네트워크 타임아웃 방지를 위해 사전 빌드된 Python 기반 이미지 사용.
   • 레이어 캐싱 전략을 적용하여 의존성 수정 시 재빌드 시간 단축.
   • 저장소 코드를 컨테이너 내부가 아닌 로컬 캐시를 통해 주입하여 재현성 확보.
3. 평가 스크립트 구축 에이전트: 이슈 해결 여부를 검증할 테스트 스크립트를 생성합니다.
4. 환경 평가 및 테스트 분석:
   • 규칙 기반 검증: 패치 적용 전 테스트 실패, 패치 적용 후 테스트 성공을 확인.
   • 에이전트 분석: 실패 원인을 진단하고 (Dockerfile 오류, 해결 불가능한 환경 등), 수정 가능한 경우 피드백을 에이전트에 전달하여 반복적으로 개선합니다.

C. 대규모 인프라

• 64 노드 분산 클러스터: 64 개의 ECS 인스턴스를 활용하여 약 57 만 개의 PR 을 병렬 처리.
• 내결함성 설계: 노드 장애 시 전체 작업이 중단되지 않도록 데이터 병렬화 및 공유 파일시스템 메시지 큐를 활용.
• 비용: 환경 구축 비용 약 891,000 달러, 궤적 샘플링 및 큐레이션 비용 약 576,000 달러 (총 투자 약 147 만 달러).

D. 품질 중심 필터링 (Difficulty-Aware Curation)

• 단순히 규모만 늘리는 것이 아니라, 각 환경의 난이도를 분석하여 해결 불가능한 경우나 너무 쉬운 경우를 제거합니다.
• 약 9,000 개의 고품질 환경에서 약 13,000 개의 정제된 학습 궤적 (Curated Trajectories) 을 추출하여 학습 데이터를 구성합니다.

3. 주요 기여 (Key Contributions)

1. 전례 없는 규모와 완전한 투명성: 12,800 개 저장소 기반의 45,320 개 실행 가능 Docker 환경과 모든 인프라 (Dockerfile, 평가 스크립트, 합성 파이프라인) 를 오픈소스로 공개했습니다.
2. 난이도 인식 큐레이션을 통한 품질 필터링: PR-Issue 불일치 및 사소한 문제를 제거하고, 학습 효율을 극대화하는 적절한 난이도의 환경만 선별하는 파이프라인을 제안했습니다.
3. 강력한 실증적 검증: 데이터 스케일링과 큐레이션의 시너지 효과를 입증하고, 기존 방법론 대비 월등한 성능을 보였습니다.

4. 실험 결과 (Results)

SWE-Bench Verified 벤치마크에서 Qwen2.5 시리즈 기반 모델로 실험한 결과:

• SOTA 달성:
  • OpenSWE-32B: 62.4% (기존 32B SFT 방법 중 최고).
  • OpenSWE-72B: 66.0% (daVinci-Dev-72B 대비 7.5% 향상).
• 데이터 스케일링: 학습 데이터 양 증가에 따라 성능이 로그 - 선형 (Log-linear) 으로 향상되었으며, 포화 현상 (Saturation) 이 관찰되지 않았습니다.
• 환경 소스 비교: OpenSWE 로 학습한 모델은 SWE-rebench 로 학습한 모델보다 모든 설정에서 일관되게 우월한 성능을 보였습니다 (32B 기준 12.2% 향상).
• 범용 능력 향상 (Out-of-Domain):
  • 수학 추론 (MATH-500) 에서 최대 12 점 향상.
  • 과학 벤치마크 (SuperGPQA, SciBench) 에서 5 점 이상 향상.
  • 사실적 회상 (MMLU, TriviaQA) 능력은 저하되지 않았습니다.

5. 의의 (Significance)

• 학술적 접근성 확대: 고비용의 산업적 인프라 없이도 연구자들이 대규모 고품질 SWE 환경에서 에이전트 훈련을 수행할 수 있는 길을 열었습니다.
• 학습 효율성 증대: 단순히 데이터를 늘리는 것뿐만 아니라, 난이도와 품질을 고려한 큐레이션이 에이전트 성능에 결정적임을 입증했습니다.
• 일반화 능력: 소프트웨어 엔지니어링 특화 학습이 코딩뿐만 아니라 수학 추론 및 과학적 문제 해결 능력까지 향상시킨다는 점은 LLM 의 추론 능력 강화에 중요한 통찰을 제공합니다.
• 재현성: 모든 파이프라인과 인프라가 공개되어 커뮤니티 기반의 지속적인 개선과 재현이 가능합니다.

이 논문은 소프트웨어 엔지니어링 에이전트 학습을 위한 새로운 표준을 제시하며, 대규모 고품질 데이터와 투명한 인프라가 어떻게 SOTA 성능을 달성하는지 체계적으로 증명했습니다.