💻 computer science

SWE-Future: Forecast-Conditioned Data Synthesis for Future-Oriented Software Engineering Agents

이 논문은 기존 저장소 데이터를 사용하여 향후 발생할 기능 추가, 버그 수정 및 리팩토링 요구 사항을 예측함으로써, 과거의 풀 리퀘스트를 재현할 때 발생하는 데이터 오염 위험을 피하면서도 실제 저장소 진화와의 높은 관련성을 유지하는 방식으로 현실적이고 미래 지향적인 소프트웨어 엔지니어링 태스크를 합성하는 방법론인 SWE-Future를 소개한다.

원저자: Qiao Zhao, JianYing Qu, Jun Zhang, Yehua Yang, Hanwen Du, Zhongkai Sun

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiao Zhao, JianYing Qu, Jun Zhang, Yehua Yang, Hanwen Du, Zhongkai Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 수리하는 법을 가르치려 한다고 상상해 보세요.

과거의 방식 (The "Replay" Problem - "재생" 문제)
현재 대부분의 방법은 어제 정비사가 자동차를 수리하는 영상을 로봇에게 보여주며 가르칩니다. 로봇은 영상을 보고 단계를 암기한 뒤, 정확히 똑같은 차를 똑같은 방식으로 수리해야 하는 테스트를 치릅니다.

결함: 만약 로봇이 기초적인 언어를 배우는 과정(사전 학습)에서 이미 그 영상을 봤다면, 로봇은 실제로 자동차를 고치는 법을 아는 것이 아니라 단순히 답을 기억하고 있는 것입니다. 이는 마치 수학 시험에서 답안지를 통째로 외워서 시험을 치는 것과 같습니다.
대안: 어떤 이들은 완전히 새로운 가짜 자동차 문제를 만들어내기도 합니다. 하지만 이러한 가짜 문제들은 현실을 무시하는 경우가 많습니다. 예를 들어, 특정 자동차 모델에는 존재하지 않는 부품을 고치라고 요구하거나, 정비사에게 특정 렌치가 필요하다는 사실을 잊어버릴 수도 있습니다. 로봇은 문제가 "그럴듯해" 보이지만 "실제"는 아니라는 점 때문에 혼란에 빠집니다.

새로운 방식: SWE-Future (The "Weather Forecast" Method - "일기 예보" 방식)
이 논문의 저자들은 SWE-Future라고 불리는 절충안을 제안합니다. 과거의 수리 영상을 보여주는 대신, 로봇에게 다음에 어떤 수리가 필요할지 예측하도록 가르치고, 그 예측을 바탕으로 테스트를 생성합니다.

작동 방식은 다음과 같습니다:

1. "일기 예보" (예측)

당신이 한동안 주행한 자동차를 보고 있다고 상상해 보세요. 대시보드 불빛이 깜빡거리고, 타이어는 불균형하게 마모되어 있으며, 차 주인은 이상한 소음이 난다고 불평하고 있습니다.

방법: 시스템은 특정 날짜 이전까지 사용 가능한 증거만을 살펴봅니다 (마치 어제까지의 자동차 이력을 살펴보는 것처럼).
예측: 이 증거를 바탕으로, 다음에 무엇이 문제가 될지 "예보"를 만듭니다. 정확한 수리 방법을 맞히는 것이 아니라, 문제의 카테고리를 예측하는 것입니다.
- 예시 예보: "이 자동차는 곧 '브레이크 센서' 수리가 필요할 가능성이 높음" 또는 "새로운 '라디오 기능'이 필요할 것임".
핵심: 실제 발생한 수리 내용을 전혀 보지 않은 채, "발생 가능성이 높은 미래의 과업" 목록을 만듭니다.

2. "현실 검증" (Validation)

예보를 마친 후, 연구진은 6개월을 기다립니다. 그리고 그 기간 동안 발생한 실제 자동차 수리 기록을 확인합니다.

검증: 실제로 브레이크 센서 문제가 발생했나요? 라디오 기능이 추가되었나요?
결과: 연구진은 자신들의 "일기 예보"가 **58%**의 확률로 적중했다는 것을 발견했습니다. 이는 과거의 패턴을 살펴보는 것이 미래의 필요를 예측하는 데 성공적임을 입증합니다.

3. 테스트 구축 (Synthesis)

이 부분이 마법 같은 단계입니다. 이제 연구진은 로봇을 위한 테스트를 만들고자 합니다.

함정: 그들은 지난 6개월간의 실제 수리 기록을 사용하지 않습니다. 그것을 사용하는 것은 부정행위(역사 재생)이기 때문입니다.
해결책: 그들은 예보(예: "브레이크 센서를 고쳐라")를 가져와서 이를 자동차의 현재 상태(오늘날 존재하는 상태)에 적용합니다.
결과: 이 과정을 통해 로봇이 이전에 본 적 없는 새롭고 독특한 수리 과업이 만들어집니다. 로봇은 누군가가 수리하는 영상을 기억하는 것이 아니라, 현재 자동차의 설계도를 바탕으로 브레이크 센서를 어떻게 고칠지 스스로 파악해야 합니다.

이것이 왜 중요한가

요리 경연 대회를 생각해 보세요.

과 old Way: 심사위원이 요리사에게 지난주 TV에서 본 요리를 똑같이 재현하라고 요구합니다. 만약 요리사가 그 프로그램을 미리 봤다면, 실력이 아니라 기억력으로 승리하게 됩니다.
SWE-Future Way: 심사위원들은 요리사의 찬장에 있는 재료들을 보고, "곧 소금이 부족해질 것 같다"라고 예측합니다. 그런 다음 심사위원들은 소금 부족 문제를 해결할 수 있는 새로운 레시피를 만들라고 요리사에게 요구합니다. 요리사는 단순히 TV 쇼를 따라 하는 것이 아니라, 자신의 실제 요리 실력을 발휘하여 해결책을 만들어내야 합니다. 왜냐하면 그 레시피는 결코 보여준 적이 없기 때문입니다.

결론

이 논문은 예보를 사용하여 과업을 생성함으로써, 61개의 서로 다른 소프트웨어 프로젝트에 걸쳐 200개의 현실적인 코딩 챌린지를 구축할 수 있다고 주장합니다.

이 과업들은 실제 프로젝트의 추세에 기반하고 있으므로 현실적입니다.
또한, 과업 생성 시 답안지(과거의 수리 기록)를 보여주지 않았기 때문에 로봇이 답안지를 외워서 통과할 수 없는 공정한 방식입니다.
마지막으로, 과거를 단순히 반복하는 것이 아니라 아직 일어나지 않은 문제에 대비하는 미래 지향적인 방식입니다.

요약하자면, SWE-Future는 로봇이 과거에 문제가 어떻게 해결되었는지 단순히 암기하는 것이 아니라, 문제를 예측하고 스스로 해결하는 법을 가르칩니다.

기술 요약: SWE-Future

문제 정의

현재의 소프트웨어 엔지니어링(SWE) 에이전트 벤치마크는 대개 과거의 GitHub 이슈와 풀 리퀘스트(PR)를 재현하는 방식에 의존한다. 이는 현실성을 제공하지만, 벤치마크가 공개됨에 따라 해당 저장소, 이슈 텍스트, PR 메타데이터가 모델의 사전 학습(pretraining), 미세 조정(fine-tuning), 합성 데이터 생성 또는 모델 선택 루프에 노출될 수 있다는 결정적인 유효성 문제를 야기한다. 이는 모델이 진정한 코딩 능력을 입증하기보다 벤치마크 솔루션을 단순히 암기하게 만드는 데이터 오염(data contamination) 현상을 초래한다. 반대로, 순수하게 합성된 작업 생성 방식은 역사적 재현을 피할 수는 있으나, 프로젝트의 관례, 유지 관리자의 우선순위, 현실적인 의존성 제약 등을 무시하여 실제 저장소의 요구사항으로부터 벗어나는 경향이 있다.

방법론

SWE-Future는 이러한 간극을 메우기 위해 "예측 조건부 데이터 합성(forecast-conditioned data synthesis)" 방법을 제안한다. 실현된 PR을 단순히 재현하는 대신, 이 방법은 사전 스냅샷 증거를 기반으로 발생 가능한 미래의 저장소 진화 과정을 예측하고, 이 예측을 사용하여 작업 합성을 가이드한다. 프로세스는 엄격한 시간적 경계를 가진 네 가지 단계로 나뉜다:

증거 수집 (Pre- $T_0$ ): $T_0$ 시점의 저장소 스냅샷에 대해, 시스템은 $T_0$ 이전의 이슈, PR, 라벨 및 텍스트를 집계한다. 핵심 코딩 작업인 기능 구현/강화, 버그 수정, 리팩토링에 집중하기 위해 유지보수 전용 변경 사항(예: 의존성 업데이트, 문서화, CI)은 필터링한다.
예측 (Forecasting): 시스템은 $T_0$ 이전의 신호들을 "작업 패밀리(task families)"(예: "모듈 X에서의 반복적인 행(hang) 현상" 또는 "기능 Y를 위한 API 확장")로 클러스터링한다. 이는 구체적인 PR 제목이 아니라, 저장소 수요의 거시적인 방향이다. 결정론적 점수 산정 휴리스틱을 통해 신호 볼륨, 이슈 수, 라벨 다양성을 기준으로 이 클러스터들의 순위를 매긴다.
회고적 검증 (Retrospective Validation): 예측이 고정된 후, 시스템은 $(T_0, T_1]$ 구간(여기서 $T_1 = T_0 + 6$ 개월)에 병합된 PR들을 살펴본다. 시스템은 시맨틱 매칭을 사용하여 고정된 예측 패밀리가 실제 미래 작업과 일치하는지 확인한다. 결정적으로, 이 후속 PR들은 오직 예측 방향을 검증하는 데에만 사용되며, 최종 작업을 구성하는 데에는 사용되지 않는다.
작업 합성 ( $T_{gen}$ ): 검증된 예측 패밀리는 조건부 신호 역할을 한다. 작업 생성 스냅샷( $T_{gen}$ $T_{g e n}$ )이 선택된다. $T_{gen}$ $T_{g e n}$ 에서 가시적인 저장소 상태와 검증된 패밀리 방향만을 사용하여, 멀티 에이전트 워크플로우가 구체적인 코딩 작업을 구축한다. 이 워크플로우는 다음을 포함한다:
- 컨텍스트 선택: $T_{gen}$ 내의 구체적인 코드 타겟 식별.
- 작업 작성: 에이전트에게 보이는 이슈 스타일의 요청 생성.
- 오라클 설계 및 패치 구축: 숨겨진 테스트 패치와 골드 패치(솔루션)를 처음부터 생성하여, 작업이 실행 가능하도록 보장함 (FAIL TO PASS).
- 검증: 테스트 패치가 베이스 스냅샷에서 실패하고 골드 패치와 함께 통과하는지 검증하며, 공용 작업 설명에 숨겨진 아티팩트가 유출되지 않도록 보장함.

주요 기여

예측 조건부 합성: 역사적 PR 재현에 의존하는 대신, 저장소 진화 예측을 조건부 신호로 사용하여 현실적이고 미래 지향적인 코딩 작업을 구축하는 방법을 도입하였다.
회고적 검증 프로토콜: 예측 패밀리가 미래의 저장소 작업을 포착하는지 테스트하는 프로토리를 수립하였다. 80개 저장소를 대상으로 한 연구에서, 예측기는 시맨틱 매칭 메트릭 기준 하에 58.1%의 미래 작업 관련성(강하거나 관련된 매치)을 달로했다.
실행 가능한 데이터셋 구축: 검증된 예측을 61개 저장소에 걸친 200개의 작업 코딩 에이전트 데이터셋으로 변환하는 과정을 입증하였다. 이 작업들은 $T_{gen}$ 스냅샷에 근거하며, $T_0$ 이후의 PR 아티팩트를 사용하지 않고 구축된 실행 가능한 검증 자산(테스트 및 골드 패치)을 포함한다.

결과

예측 성능: 76개 저장소에서 생성된 260개 예측 패밀리 중 151개(58.1%)가 미래 작업과 "강하게" 또는 "관련되어" 있음이 검증되었다. 버그 수정 패밀리가 가장 높은 관련성(89/139)을 보였으며, 기능 구현/강화(45/93)가 그 뒤를 이었다.
데이터셋 구성: 최종 데이터셋은 200개의 작업(버그 수정 120개, 기능 구현/강화 60개, 리팩토링 20개)을 포함한다.
오염 완화: 이 방법은 작업 생성과 역사적 PR 재현을 성공적으로 분리하였다. 공개된 작업 설명에는 테스트 패치 로직, 골드 패치 상세 내용, 또는 회고적 검증 라벨이 포함되지 않으며, 이는 숨겨진 평가 자산으로 남는다.

의의 및 주장

본 논문은 SWE-Future가 역사적 재현(높은 현실성, 높은 오염 위험)과 순수 합성 생성(낮은 오염, 낮은 저장소 압력) 사이의 "중간 지점"을 해결한다고 주장한다. 저자들은 $T_0$ 에서 저장소 역사를 동결하고, 예측 가능한 방향을 도출한 뒤, 이를 $T_{gen}$ 스냅샷에 접목함으로써 역사적 PR 재현에 대한 직접적인 의존도를 낮춤으로써 데이터 누출을 방지한다고 강조한다.

저자들은 목표가 모델이 해당 저장소를 본 적이 없음을 증명하는 것이 아니라, 관찰된 과거의 PR을 작업 소재로 직접 재현하는 것을 피하는 것이라고 강조한다. 이 접근 방식은 데이터 누출을 방지하기 위한 명확한 정보 경계를 유지하면서도, 자연스러운 프로젝트 진화를 반영하는 저장소 특화 작업을 생성할 수 있게 해준다. 논문은 예측기가 노이즈 섞인 앵커를 포착할 수 있고, 생성된 테스트 패치가 특히 리팩토링 작업의 경우 유지 관리자가 작성한 테스트만큼 정밀하지 않을 수 있다는 한계를 인정하며, 예측 노이즈 필터링과 테스트 합성 품질을 개선하기 위한 향후 연구 과제를 제시한다.