💬 NLP

Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments

이 논문은 병합된 풀 리퀘스트를 과거의 저장소 상태를 재구성하고 이를 현대적인 코드베이스에서 검증함으로써 검증된 실행 가능한 코딩 에이전트 태스크로 자동 변환하는 Change2Task 시스템을 소개하며, 이를 통해 기존 베이스라인과 비교하여 설정 비용을 줄이고 태스크 복구율을 개선하는 동시에 훈련 데이터의 공급을 크게 증가시킨다.

원저자: Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 소프트웨어 엔지니어가 되는 법을 배우고 있는 세상을 상상해 보세요. 이 "코딩 에이전트"들은 단순히 코드 한 줄을 쓰고 멈추는 것이 아니라, 프로젝트를 열고, 파일을 읽고, 버그를 수정하고, 테스트를 실행하고, 실패하면 다시 시도할 수 있는 디지털 견습생과 같습니다. 하지만 여기에는 함정이 있습니다. 이들이 정말 숙련되려면 실제 세계의 문제들로 연습해야 합니다. 즉, 고장 난 기능을 고치거나 새로운 기능을 추가하는 연습을 할 수 있는 방대한 양의 "연습 문제" 라이브러리가 필요하며, 그 후 명확한 "합격" 또는 "불합격" 성적을 받아야 합니다.

문제는 이러한 연습 문제를 만드는 것이 매우 어렵고 비용이 많이 든다는 점입니다. 보통 테스트를 만들려면, 모든 개별 문제에 대해 완벽하게 격리된 컴퓨터 환경(디지털 샌드박스 같은 것)을 구축해야 합니다. 만약 1,000개의 서로 다른 코딩 챌린지를 원한다면, 1,000개의 서로 다른 샌드박스를 만들어야 하며, 이는 엄청난 양의 저장 공간과 시간을 소모합니다. 이는 마치 누군가에게 요리를 가르치기 위해, 배우고자 하는 매 레시피마다 완전히 새로 갖춰진 주방을 지어주는 것과 같습니다. 그 작업이 너무나 힘들어서 우리는 연습 문제를 다 써버리게 되고, 에이전트들은 전문가가 되기 위한 필요한 훈련을 받지 못하게 됩니다.

여기서 Change2Task라는 새로운 아이디어가 등장합니다. 이것을 일종의 마법 같은 코드 타임머신이라고 생각하세요. 모든 레시피마다 새로운 주방을 만드는 대신, Change2Task는 실제 소프트웨어 프로젝트의 이력, 즉 인간 개발자가 과거에 버그를 수정하거나 기능을 추가했던 거대한 기록부를 살펴봅니다. 그리고 그 오래된 실제 이야기들을 보고 이렇게 묻습니다: "우리가 이 문제를 현재 버전의 소프트웨어에서도 똑같이 재현할 수 있을까?"

이 시스템은 영리한 편집자처럼 작동합니다. 이미 수락되어 코드에 추가된 변경 사항인 "머지된 풀 리퀘스트(merged pull request)"를 찾아내어 이를 역공학(reverse-engineer)합니다. 시스템은 그 변경 사항을 "되돌려(undo)" 고장 난 상태를 만든 다음, 코딩 에이전트에게 이를 다시 해결하라는 목표를 설정합니다. 하지만 여기서 마법 같은 기술이 나옵니다. 처음부터 다시 시작하는 대신, 이미 실행 중인 현대적이고 건강한 버전의 소프트웨어 위에서 이 작업을 수행한다는 것입니다. 만약 코드가 원래의 수정 사항 이후로 많이 변했다면, Change2Task는 오래된 수정을 새로운 코드에 매핑하기 위해 세 가지 전략을 사용합니다:

패치 역전(Patch Reversal): 코드가 거의 변하지 않았다면, 단순히 예전의 수정을 반대로 뒤집습니다.
코드 매핑(Code Mapping): 코드가 위치를 옮겼다면, 예전 코드의 새로운 위치를 찾아 교체합니다.
에이전트 재구성(Agent Reconstruction): 코드가 완전히 달라졌다면, 스마트한 AI 에이전트를 사용하여 새로운 환경에서 문제를 재현하는 방법을 알아냅니다.

연구진은 이를 다섯 가지 일반적인 유형의 코딩 작업(버그 수정, 신규 기능 추가, 새로운 테스트 작성, 오래된 도구(API) 업데이트, 보안 취약점 패치)에 대해 테스트했습니다. 그들은 공개 소프트웨어 프로젝트에서 가져온 1,130개의 실제 변경 사항으로 시작했습니다. 시스템은 이 중 900개를 작동하고 검증 가능한 연습 과제로 성공적으로 전환했습니다. 성공률은 약 80%였습니다.

이것이 얼마나 흥격적인 일인지 알려면 얼마나 많은 것을 아끼는지 봐야 합니다. 동일한 현대적 "주방"(소프트웨어 환경)을 여러 가지 연습 문제에 재사용함으로써, 환경 설정에 필요한 시간을 58.4% 줄였고 저장 공간을 71.2% 절감했습니다. 실제로, 이전 방식처럼 단순히 예전의 수정을 그대로 복사하려고 했던 방법보다 29.2% 더 많은 검증된 과제를 만들어냈습니다.

팀은 또한 재현된 과제들이 공정한지 확인했습니다. 그들은 서로 다른 AI 코딩 에이전트들에게 원래의 역사적 버전과 새로운 현대적 버전 모두에서 문제를 해결하도록 요청했습니다. 결과는 거의 동일했습니다: 에이전트들은 98%의 확률로 동일한 "합격" 또는 "불합격" 판정을 받았습니다. 이는 새로운 과제들이 단순히 무작위 추측이 아니라, 실제 개발자의 작업 내용을 충실히 재현했다는 것을 증명합니다.

요약하자면, Change2Task는 단순히 더 많은 연습 문제를 찾는 것이 아니라, 우리가 이미 가지고 있는 문제들을 어떻게 재사용 가능하고 효율적으로 만들 수 있는지에 대한 방법을 찾아냅니다. 이는 소프트웨어 개발의 역사를 차세대 AI 코더를 훈련하기 위한 재생 가능한 자원으로 바꾸어 놓으며, 우리가 매 수업마다 새로운 세상을 만들 필요 없이, 단지 옛 세상을 새로운 눈으로 바라보는 법을 알면 된다는 것을 증명합니다.

기술 요약: Change2Task

문제 정의

코딩 에이전트를 확장하기 위해서는 훈련, 벤치마킹 및 평가를 위한 실행 가능한 데이터의 지속적이고 고품리티 높은 공급이 필요합니다. 각 태스크 단위는 현실적인 소프트웨어 상태와 명세(specification), 개발 도구, 그리고 신뢰할 수 있는 검증을 결합해야 합니다. 현재의 접근 방식들은 다음과 같은 심각한 병목 현상에 직면해 있습니다:

비용 및 규모: 실행 가능한 환경을 생성하는 것은 비용이 많이 듭니다. daVinci-Env 및 SWE-Universe와 같은 시스템은 개별 태스크를 위한 별도의 스냅샷을 유지하기 위해 방대한 인프라와 스토리지를 요구하며, 이는 높은 구축 비용과 저장 공간 압박으로 이어집니다.
데이터 한계: 기존 벤치마크(예: SWE-bench)는 태스크를 종종 오래된 원본 레포지토리 리비전에 묶어두어, 현대적인 코드베이스에 대한 적용성을 제한합니다. 반대로, 합성 태스크 생성 방식(예: SWE-smith)은 실제 개발자의 의도나 유지보수 맥락이 결여된 인스턴스를 생성할 수 있습니다.
격차: 중복되는 설정 노력을 줄이면서 실행 가능한 데이터의 다양성을 확장하기 위해, 하나의 유지 관리되는 레포지토리 환경으로부터 다수의 검증된 개발자 기반 태스크를 도출할 필요가 있습니다.

방법론

Change2Task는 머지된 풀 리퀘스트(PR)를 동일한 레포지토리의 건강한 현대적 후손 리비전(descendant revision) 상의 검증된 코딩 에이전트 태스크로 변환하도록 설계된 프레임워크입니다. 이 시스템은 생애주기 $V_{pre} \xrightarrow{P_s} V_{post}$ (역사적 상태 변화)를 기반으로 작동하며, 이를 $H \xrightarrow{D} C \xrightarrow{G} H'$ (현대적 베이스에서 태스크 상태를 거쳐 복구된 상태로)로 재구성합니다.

프로세스는 다음 네 가지 주요 단계로 구성됩니다:

1. 태스크 증거 도출 (Deriving Task Evidence)

시스템은 머지된 PR로부터 설명, 구현 패치, 실행 가능한 체크 항목을 포함한 증거를 추출합니다. 이는 다음을 정의합니다:

대상 체크 (Target Checks): 재구성되어야 할 조건들.
회귀 체크 (Regression Checks): 온전하게 유지되어야 하는 주변 동작들.
소스 변경 프로필 (Source Change Profile): 영향을 받은 컴포넌트 및 수정 범위에 대한 기록.
조건이 모호하거나, 체크 항목이 실행 불가능하거나, 변경 사항을 격리할 수 없는 경우 후보는 제외됩니다.

2. 현대적 태스크 베이스 설정 (Establishing the Modern Task Base)

각 적격 PR에 대해, 동일한 레포지토리 계보에서 고정된 건강한 후손 리비전( $H$ )을 선택합니다. 이 베이스는 클린 체크아웃, 런타임 의존성 및 실행 가능한 체크 항목을 지원해야 합니다. 시스템은 진행하기 전에 매핑된 대상 및 회귀 체크가 $H$ 에서 통과하는지 확인합니다.

3. 태스크 상태 구축 (Constructing the Task State)

Change2Task는 건강한 베이스( $H$ )를 태스크 상태( $C$ )로 변환하는 태스크 패치( $D$ )를 생성하기 위해 3단계 적응형 구축 전략을 채택합니다:

레벨 1: 패치 역전 (Patch Reversal): 현대적 맥락과 호환되는 경우 소스 패치를 직접 역전시킵니다.
레벨 2: 코드 매핑 (Code Mapping): 직접 재생이 실패할 경우, 시스템은 현대적 파일 내에서 역사적 post-change 블록을 찾아 이를 pre-change 형태로 교체하며, 이를 통해 들여쓰기 정규화 및 보수적인 로컬 변환을 허용합니다.
레벨 3: 에이전트 재구성 (Agent Reconstruction): 구조적 대응이 불충분할 경우, 구축 에이전트(PR 증거와 현대적 맥락 사용)가 범위가 지정된 후보 패치를 제안합니다. 이들은 구문, 범위 및 라이프사이클 체크에 의해 필터링된 후, 소스 변경 프로필 충실도에 따라 순위가 매겨집니다.

4. 라이프사이클 및 범위 검증 (Lifecycle and Scope Validation)

모든 후보는 세 가지 상태에 대해 검증을 거칩니다:

건강한 상태 (Healthy, $H$ ): 대상 및 회귀 체크가 통과됨.
태스크 상태 (Task, $C$ ): 대상 체크가 특정 태스크 조건(예: 버그 또는 누락된 기능)을 드러내는 동시에, 회귀 체크는 여전히 통과함.
복구된 상태 (Restored, $H'$ ): 복구 패치( $G$ )를 적용한 후, 두 체크 세트가 모두 통과하여 시스템이 건강한 상태로 돌아갈 수 있음을 확인함.

또한 시스템은 현대적 태스크가 원래의 변경 사항을 사소하게 만들거나(scope collapse), 관련 없는 광범위한 편집을 요구하지 않도록(scope inflation) 범위(Scope) 및 충실도(Fidelity) 게이트를 강제합니다.

주요 기여

Change2Task 프레임워크: 출처, 동작, 범위 및 복구를 검증하면서 개발자 기반의 유지보수 변경 사항을 현재의 코드로 전이하는 일반적인 도구입니다.
적응형 구축: 필요할 때만 복잡성을 높이는 3단계 접근 방식(역전, 매형, 재구성)을 통해 역사적 데이터로부터 유효한 태스크의 회수를 극대화합니다.
태스크 어댑터: 다섯 가지 뚜렷한 태스크 패밀리(버그 수정, 기능 추가, 테스트 생성, API 마이그레이션, 보안 패치)를 지원하는 통합 인터페이스를 제공합니다.
효율성 메커니즘: 단일 유지 관리 베이스로부터 다수의 경량 태스크 변체를 도출함으로써, 반복적인 환경 설정, 저장소 및 수동 구축 노력을 크게 줄입니다.

실험 결과

시스템은 5가지 태스크 패밀리에 걸친 1,130개의 구축 가능 소스 변경 사항을 대상으로 평가되었습니다.

회수율 (Recovery Rate): Change2Task는 900개의 쌍을 이룬 태스크를 확정하여, **79.6%**의 전체 검증된 태스크 구축 성공률을 달ol했습니다.
- 버그 수정 (Bug Fix): 500개의 태스크를 회수했습니다.
- 비교: 일치하는 621개의 버그 수정 후보 세트에 대해, SWE-smith PR Mirror 베이스라인이 387개를 회수한 것에 비해 Change2Task는 500개를 회수하여 **29.2%**의 상대적 이득을 달성했습니다.
충실도 (Fidelity): 코퍼스는 0.894의 태스크 가중치 소스 변경 프로필 충실도를 달성했습니다. 역사적 사례와 재구성된 사례는 에이전트 평가 하에서 최대 **98.0%**의 일치하는 결과 합의를 보여주었습니다.
에이전트 일관성 (Agent Consistency): 3,600개의 매칭된 에이전트-태스크 쌍에 대해, 원본(역사적) 브랜치와 Change2Task(현대적) 브랜치 간의 총체적 합의는 89.7% (Cohen's $\kappa$ = 0.787)였습니다. 쌍을 이룬 해결률(solve-rate) 차이는 미미했으며, 이는 현대적 태스크가 역사적 앵커의 비교 평가 신호를 보존함을 나타냅니다.
자원 효율성: 900개의 태스크를 위해 388개의 현대적 베이스를 재사용함으로써(태스크당 하나의 베이스를 준비하는 것 대비) 다음을 달성했습니다:
- 총 설정 시간 58.4% 감소.
- 저장 요구 사항 71.2% 감소.
- 엔드 투 엔드 지출 10.8% 감소.

의의 및 주장

본 논문은 Change2Task가 레포지토리의 이력을 수동적인 기록에서 복구 가능한 검증된 코딩 태스크의 원천으로 효과적으로 변환한다고 주장합니다. 주요 의의는 다음과 같습니다:

확장성: 모든 태스크마다 고유한 환경을 만드는 과도한 비용 없이 코딩 에이전트 훈련을 위한 실행 가능한 데이터 공급을 확장하는 메커니즘을 제공합니다.
근거 기반 (Grounding): 역사적 변경 사항의 "개발자 기반 유지보수 계약"을 보존하여, 태스크가 합성 아티팩트가 아닌 실제 세계의 유지보수 의도를 반영하도록 보장합니다.
효율성: 현대적 베이스를 재사용함으로써 대규모 에이전트 평가와 관련된 계산 및 저장 오버헤드를 획기적으로 줄입니다.

저자들은 Change2Task를 기존의 환경 준비 도구(RepoLaunch 등)와 상호 보완적인 것으로 위치시키며, 특히 베이스가 실행 가능해진 이후의 단계, 즉 해당 투자를 통해 얼마나 많은 독특하고 검증된 태스크를 도출할 것인가를 다루는 도구로 정의합니다.