기술 요약: DeNovoSWE

문제 정의

대규모 언어 모델(LLM) 기반의 코드 에이전트들이 기존 코드베이스 내의 국소적인 버그 수정(예: SWE-bench)에서는 숙련도를 보여주었으나, 고수준 명세로부터 완전한 소프트웨어 저장소(repository)를 설계하고 구현하는 장기적 관점의 소프트웨어 엔지니어링 작업(long-horizon software engineering tasks) 능력은 여전히 미흡한 상태이다. 현재의 벤치마크들은 이러한 장기적 추론 및 구현 능력을 테스트하기에는 부족하며, 기존의 학습 데이터셋은 전체 저장소 생성보다는 단일 이슈 수정에 편중되어 있다.

주요 병목 현상은 대규모의 검증 가능한 전체 저장소 생성 데이터의 부족이다. 이러한 데이터를 구축하는 데는 세 가지 핵심 과제가 존재한다:

1. 문서 구축: 기존의 저장소 문서는 종종 불완전하거나 실행 가능한 동작과 일치하지 않아, 문서 기반 저장소 생성 작업을 정의하기에 부적합하다.
2. 평가 설계: 다양한 저장소를 실행 가능한 테스트를 통해 평가할 수 있는 객관적이고 확장 가능한 프로토콜이 부족하다.
3. 누출 없는 실행(Leakage-Free Execution): 상호작용형 환경에서 작동하는 현대의 에이전트들은 의도치 않은 채널(예: 네트워크 검색, git 히스토리)을 통해 참조 구현체에 접근하여 성능을 부풀릴 수 있으므로, 강력한 샌드박싱이 필요하다.

방법론: DeNovoSWE 프레임워크

저자들은 에이전트가 생성된 문서를 바탕으로 처음부터 완전한 저장소를 생성해야 하는 4,818개의 고품질 인스턴스로 구성된 대규모 데이터셋인 DeNovoSWE를 소개한다. 이 데이터셋은 "분할 정복(divide and conquer)" 전략과 "반복적 비평-수정(iterative critic-repair)" 메커즘을 결합한 자동화된 샌드박스 에이전트 워크플로우를 통해 구축되었다.

1. 자동화된 파이프라인 아키텍처

구축 과정은 두 가지 주요 단계로 나뉜다:

• 분할 단계 (Decomposition):

  • 저장소 프로파일링: 시스템은 유닛 테스트를 실행하여 런타임 트레이스를 캡처하고, 구현 단위를 직접적(direct) (명시적으로 테스트됨), 핵심 간접적(core indirect) (동작에 필수적임), 비핵심 간접적(non-core indirect) (내부 세부 사항) 구성 요소로 분류한다.
  • 역량 분할(Capability Partitioning): 개요 작성자(overview writer)가 고수준 요약을 생성한 후, 역량 작성자(capability writer)가 저장소를 별도의 기능적 역량들로 분해한다.
  • 매핑: LLM 기반 분류기가 특정 함수와 클래스를 이러한 역량에 매핑하여, 문서가 실제 구현 단위에 근거하도록 보장한다.

• 정복 단계 (Iterative Refinement):

  • 초안 에이전트(Draft Agent): 샌드박스 환경 내에서 소스 코드를 조사하며 각 역량에 대한 초기 문서를 생성한다.
  • 비평 에이전트(Critic Agent): 구조적 조직, 직접적/핵심 간접적 구성 요소의 커버리지, API 구체성을 평가한다. 테스트 특유의 동작을 유출하지 않으면서 누락되거나 미흡하게 기술된 세부 사항을 식별한다.
  • 수정 에이전트(Repair Agent): 비평가의 피드백을 바탕으로 문서를 반복적으로 개선하며, 일관성을 해결하기 위해 소스 저장소를 조사한다.
  • 병합(Merging): 최종적인 역량 수준 문서들을 저장소 개요와 병합하여 완전한 태스크 문서를 형성한다.

2. 평가 및 누출 방지

"문서-대상-저장소" 작업의 유효성을 보장하기 위해, 프레임워크는 엄격한 격리를 강제한다:

• 사전 정리(Pre-cleanup): 대상 저장소의 코드와 테스트 스위트를 제거하고, 빌드 설정만을 남긴다.
• 누출 제거(Leak Purging): 프로세스 중에 site-packages, pip 캐시 및 일시적인 컴파일 아티팩트를 삭제한다.
• Git 정화(Git Sanitization): 에이전트가 git reflog를 통해 히스토리를 역공학하는 것을 방지하기 위해 .git 디렉토리를 파괴하고 재초기화한다.
• 런타임 제한: Docker 컨테이너를 통해 명령어를 제한하여 대상 패키지의 네트워크 기반 검색(예: pip install, curl)을 차단하며, 실행 트레이스에 대한 LLM 기반 감사를 보완한다.

3. 난이도 인지 궤적 필터링 (Difficulty-Aware Trajectory Filtering)

복잡한 저장소의 경우 완전히 성공적인 궤적을 얻기가 어렵다는 점을 인식하여, 저자들은 고정된 글로벌 점수 임계값을 사용하는 대신 난이도 인지 궤적 필터링 전략을 제안한다.

• 난이도 점수 산정: 구조적 신호(실행 가능한 라인 수)와 LLM 기반의 질적 판단을 사용하여 태스크 난이도를 추정한다.
• 적응형 임계값: 필터링 임계값은 추정된 난이도에 따라 조정된다. 쉬운 작업은 높은 통과율(예: 0.90)을 요구하는 반면, 어려운 작업은 유익한 부분적 성공을 유지하기 위해 더 낮은 통과율(예: 0.60)을 허용한다. 이는 데이터 품질과 도전적인 인스턴스의 다양성 사이의 균형을 맞춘다.

주요 기여

1. DeNovoSWE 데이터셋: 샌드박스 멀티 에이전트 파이프라인을 통해 자동으로 구축된, 4,818개의 문서-대상-저장소 생성 인스턴스로 구성된 대규모 데이터셋이다. 이는 NL2Repo와 같은 이전의 저장소 생성 벤치마크보다 약 46배 더 크다.
2. 자동 구축 파이프라인: 인간의 주석 없이도 포괄적이고 테스트와 일치하는 문서를 합성하기 위해 분할 정복 분해와 반복적 비평-수정 메커니즘을 결합한 새로운 워크플로우를 제공한다.
3. 난이도 인지 필터링: 실행 충실도와 태스크 다양성 사이의 균형을 맞추는 궤적 큐레이션 전략으로, 쉬운 작업에서의 노이즈를 제거하면서도 가치 있는 어려운 인스턴스가 배제되는 것을 방지한다.
4. DeNovoSWE-Agent: 장기적 관점의 SWE 능력을 실질적으로 향상시키는 파인튜닝된 모델을 제시한다.

실험 결과

저자들은 DeNovoSWE를 사용하여 Qwen3-30B-A3B 및 Qwen3.5-35B-A3B 모델을 파인튜닝함으로써 그 효과를 평가했다.

• 성능 향상: DeNovoSWE로 Qwen3-30B-A3B를 파인튜닝했을 때, BeyondSWE-Doc2Repo 벤치마크 점수가 5.8%에서 47.2%로 상승했다.
• 독점 모델과의 비교: 파인튜닝된 DeNovaSWE-Agent-35A3B는 BeyondSWE-Doc2Repo에서 **50.0%**를 달성하였으며, 더 작은 오픈 웨이트 백본을 사용했음에도 불구하고 독점적 프런티어 모델(예: Gemini3-Pro와 2.0% 포인트 이내의 차이)과의 격차를 좁혔다.
• 절제 연구(Ablation Studies): 실험을 통해 난이도 인지 필터링이 고정된 글로벌 임계값보다 우수함을 확인했다. 고정 임계값 0.95를 사용했을 때의 성능(48.1%)은 적응형 전략(50.0%)보다 낮았으며, 이는 다양한 도전적 궤적을 유지하는 것의 중요성을 강조한다.

의의

본 논문은 DeNovoSWE가 검증 가능한 장기적 SWE 학습 데이터의 결정적 공백을 메운다고 주장한다. 국소적인 이슈 수정에서 전체 저장소 생성으로 초점을 전환함으로써, 이 데이터셋은 아키텍트 수준의 저장소 구축이 가능한 에이전트를 학습시킬 수 있게 한다. 결과는 고품질의 장기적 학습 데이터가 복잡한 소프트웨어 엔지니어링 작업에서 오픈 웨이트 모델과 독점 프런티어 모델 간의 성능 격차를 줄이는 데 결정적인 요소임을 시사한다.