SWE-Hub: 확장 가능하고 실행 가능한 소프트웨어 엔지니어링 작업을 위한 통합 생산 시스템

이 논문은 소프트웨어 엔지니어링 (SWE) 에이전트의 발전이 실행 가능하고 확장 가능하며 현실적인 데이터의 부족으로 인해 제한받고 있다는 문제를 제기하며, 이를 해결하기 위해 SWE-Hub라는 통합 데이터 생산 시스템을 제안합니다. SWE-Hub 는 단순한 정적 데이터셋이 아닌, 원시 리포지토리를 지속적으로 실행 가능한 작업으로 변환하는 '데이터 공장 (Data Factory)' 아키텍처를 구현합니다.

1. 문제 정의 (Problem)

기존의 SWE 에이전트 연구와 벤치마크는 다음과 같은 세 가지 근본적인 한계에 직면해 있습니다:

1. 환경의 취약성과 재현성 부족: 다양한 프로그래밍 언어와 도구 체인 (toolchain) 을 가진 리포지토리를 실행 가능한 환경으로 만드는 과정이 수동적이고 복잡하여, 언어 간 재현성이 낮습니다.
2. 시스템 수준의 현실성 부재: 기존 합성 데이터는 주로 단일 함수나 파일 수준의 국소적 (local) 버그에 집중되어 있습니다. 실제 소프트웨어에서 발생하는 모듈 간 의존성, 구성 충돌, 또는 원인과 증상이 분리된 시스템 수준의 회귀 (regression) 를 포착하지 못합니다.
3. 작업 범위의 제한 (Short-horizon): 대부분의 벤치마크가 "실패 신호를 주고 패치를 생성하라"는 단기 복구 작업에 국한되어 있어, 아키텍처 설계, 의존성 관리, 전역적 일관성 유지와 같은 장기적 (long-horizon) 역량을 평가하지 못합니다.

2. 방법론 (Methodology)

SWE-Hub 는 **공유 실행 기저 (Shared Execution Substrate)**를 기반으로 하여 환경 자동화, 확장 가능한 합성, 다양한 작업 생성을 통합합니다. 시스템은 크게 환경 계층과 세 가지 주요 제품 라인 (Product Lines) 으로 구성됩니다.

2.1 환경 계층: 실행 기저 (Execution Substrate)

원시 리포지토리를 실행 가능한 상태로 만드는 자동화 계층입니다.

• Env Agent: 리포지토리 스냅샷을 분석하여 도구 체인과 의존성을 자동으로 설치하고, 테스트를 통과할 필요 없이 '실행 준비 (Build Readiness)' 상태가 된 컨테이너 이미지를 생성합니다.
• Test Agent: 이질적인 테스트 환경 (pytest, JUnit, npm test 등) 을 표준화된 검증 인터페이스로 변환합니다. 테스트 결과를 기계가 파싱 가능한 형식 (예: JUnit XML, JSON) 으로 정규화하는 어댑터를 생성합니다.
• 결과: 버전이 고정된 (pinned) 컨테이너 이미지와 표준화된 검증 진입점 (entrypoint) 이 생성되어, 하위 작업 생성 모듈이 일관된 인터페이스로 사용할 수 있게 합니다.

2.2 세 가지 제품 라인 (Product Lines)

1. SWE-Scale (확장 가능한 복구 작업 합성):

   • 목적: 고처리량 (high-throughput) 으로 국소적 버그 수정 인스턴스를 대량 생성합니다.
   • 기술: 공유 파싱 백본 (Tree-sitter 기반) 을 사용하여 여러 언어의 코드를 분석하고, 절차적 (procedural) 규칙 또는 LLM 을 활용한 수정 전략을 적용합니다.
   • 검증: Kubernetes 클러스터에서 상태 비저장 (stateless) 샌드박스를 통해 병렬로 테스트를 실행하고, 'Pass-to-Fail' 신호가 발생하는 경우만 유효한 작업으로 채택합니다.

2. Bug Agent (현실적 회귀 및 이슈 생성):

   • 목적: 시스템 수준의 회귀를 시뮬레이션하고 현실적인 디버깅 시나리오를 생성합니다.
   • 기술: 모듈 간 계약 위반, 구성 민감도 변화 등 원인과 증상이 분리된 복잡한 버그를 주입합니다.
   • Issue Agent: 생성된 버그에 대해 개발자가 아닌 사용자 관점의 이슈 리포트를 작성합니다. 이 과정에서 원인에 대한 힌트 (root-cause hints) 를 제거하고 관찰 가능한 증상 (symptoms) 과 재현 단계에만 초점을 맞춰 정보 누출 (leakage) 을 방지합니다.

3. SWE-Architect (장기적 리포지토리 구축):

   • 목적: 단순 복구를 넘어 자연어 요구사항을 바탕으로 리포지토리를 처음부터 구축하는 작업을 생성합니다.
   • 기술: 기존 리포지토리의 코드를 '구멍 뚫기 (Hollowing)'하여 구현체를 제거한 상태 (Skeleton) 를 만들고, DOC Agent 와 API Agent 를 통해 구조화된 요구사항 문서 (PRD) 를 역설계합니다.
   • 평가: 숨겨진 테스트 (hidden tests) 를 통해 에이전트가 생성한 전체 리포지토리의 기능적 정확성을 검증합니다.

2.3 통합 작업 스키마 (Unified Task Schema)

모든 작업은 실행 중심의 표준 스키마 (Family, Repository Spec, Problem Patch, Problem Statement, Oracle, Validation Criteria, Metadata)로 패키징됩니다. 이는 다양한 작업 유형을 동일한 검증 프로토콜 하에서 비교 평가할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 데이터 공장 아키텍처: 환경 설정, 후보 생성, 검증을 통합하여 실행 기반의 소프트웨어 엔지니어링 작업을 표준화하고 재현 가능하게 만드는 시스템 설계.
2. 자동화된 재현성 기저 (Env Agent): 언어별 도구 체인의 복잡성을 추상화하여, 원시 리포지토리를 자동으로 실행 가능한 컨테이너 환경으로 변환하는 범용 어댑터 개발.
3. 확장 가능하고 현실적인 작업 합성:
   • SWE-Scale: 병렬 검증을 통한 고처리량 국소적 버그 합성.
   • Bug Agent: 원인과 증상을 분리한 시스템 수준 회귀 및 현실적 이슈 리포트 생성.
4. 작업 범위 확장 (SWE-Architect): 복구 중심의 데이터셋에서 벗어나, 아키텍처 계획 및 전역 일관성 유지 능력을 평가하는 '처음부터 구축 (Build-from-scratch)' 작업의 대규모 생성.

4. 결과 및 의의 (Results & Significance)

• 결과: 논문은 구체적인 실험 결과 수치 (예: 생성된 작업 수, 에이전트 성능 점수 등) 를 직접적으로 제시하기보다는, 시스템의 아키텍처와 작동 원리를 통해 지속적이고 확장 가능한 데이터 생산 파이프라인이 구축되었음을 보여줍니다. SWE-Hub 는 정적 데이터셋을 배포하는 것이 아니라, 컴퓨팅 리소스에 따라 확장되고 새로운 언어 및 작업 유형에 적응할 수 있는 생동감 있는 생산 시스템을 제공합니다.
• 의의:
  • 데이터의 질적 향상: 실행 기반 (execution-grounded) 으로 검증된 데이터를 제공함으로써, 에이전트의 학습과 평가 신뢰도를 높입니다.
  • 현실성 확보: 국소적 수정을 넘어 시스템 수준의 복잡성과 사용자 관점의 이슈 리포트를 포함함으로써, 실제 소프트웨어 엔지니어링 환경을 더 잘 모사합니다.
  • 장기적 역량 평가: 단기 버그 수정뿐만 아니라 장기적인 아키텍처 설계 및 구축 능력을 평가할 수 있는 토대를 마련했습니다.
  • 미래 지향성: SWE-Hub 는 에이전트 기반 소프트웨어 엔지니어링 방법론의 더 빠른 반복과 더 정확한 평가를 가능하게 하는 기반 인프라로 작용할 것으로 기대됩니다.

요약하자면, SWE-Hub 는 소프트웨어 에이전트 연구의 병목 현상이었던 '고품질 실행 데이터의 부족'을 해결하기 위해, 자동화된 환경 구축과 다양한 작업 합성 전략을 통합한 데이터 공장 (Data Factory) 패러다임을 제시한 획기적인 시스템입니다.