Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection

기술 요약: SWE 이슈 테스트 생성 및 선택을 위한 이질적 프롬프팅과 실행 피드백

문제 정의
버그나 누락된 기능을 설명하는 소프트웨어 엔지니어링(SWE) 이슈는 자동화된 재현 테스트가 결여된 비정형적인 설명을 동반하는 경우가 많습니다. 이러한 테스트의 부재는 이슈의 검증과 코드 패치의 수용을 저해합니다. 본 논문에서 다루는 구체적인 과제는 해결 코드 패치($c_{new}$)에 접근할 수 없는 상태에서, 이슈 설명과 기존(패치 전) 코드베이스($c_{old}$)로부터 직접 "실패-통과($F \to P$)" 재현 테스트를 자동으로 생성하는 것입니다. 유효한 $F \to P$ 테스트는 $c_{old}$에서 실행되었을 때 실패해야 하며(이슈 재현), $c_{new}$에서 실행되었을 때 통과해야 합니다(수정 확인). 이슈 설명은 비정형적이고, 테스트가 통과해야 할 대상 코드가 아직 존재하지 않기 때문에 이 작업은 매우 어렵습니다.

방법론: e-Otter++
저자들은 기존 Otter++ 프레임워크를 확장한 e-Otter++ 시스템을 소개합니다. 이 시스템은 테스트 생성기, 코드 패치 생성기, 그리고 테스트 선택기라는 세 가지 주요 구성 요소로 작동합니다.

1. 이질적 프롬프팅을 통한 테스트 생성:
   단순히 LLM의 디코딩 온도를 높여 다양한 후보를 생성하는 방식(다양성이 부족한 경우가 많은 일반적인 관행) 대신, e-Otter++는 **이질적 프롬프팅(heterogeneous prompting)**을 채택합니다. 이는 두 가지 체계적인 변형을 포함합니다:

   • 이슈 설명 변형(Issue Description Morphs): LLM은 테스트 생성 전 원래의 이슈 설명을 다섯 가지 distinct한 방식(standard: 포맷팅, simple: 전문 용어 단순화, dropCode: 오해를 불러일 수 있는 코드 스니펫 제거, initTest: 초기 테스트 포함, initPatch: 초기 패치 제안 포함)으로 다시 작성합니다.
   • 컨텍스트 마스크(Context Masks): 테스트 생성 프롬프트는 특정 로컬라이제이션 컨텍스트(예: 플래너 출력, 테스트 로컬라이제이션, 패치 로컬라이제이션)를 포함하거나 제외하도록 수정되어 다섯 가지의 distinct한 프롬프트 변형을 생성합니다.
     이를 결합하여 시스템은 이슈당 10개의 후보 테스트 풀을 생성합니다.

2. 실행 증강 테스트 수리(Execution-Augmented Test Repair):
   생성된 후보 테스트들은 $c_{old}$ 상에서 실행됩니다. 이 테스트들은 실패할 것으로 기대되지만, 특정 이슈를 재현하는 것이 아니라 잘못된 이유(예: 구문 오류 또는 관련 없는 예외)로 인해 실패할 수 있습니다. e-Otter++는 비평가(critic) 메커니즘을 도입합니다:

   • LLM은 이슈 설명과 실행 로그를 분석하여 테스트가 "올바른 이유"로 실패했는지 판단합니다.
   • 만약 실패 원인이 잘못되었다면, 비평가는 필요한 컨텍스트(예: 특정 버그가 있는 라인, 관련 코드 스니펫 또는 함수 시그니처)를 식별하고 이를 보강된 수리 프롬프트에 추가합니다.
   • 시스템은 테스트가 올려진 이유로 실패하거나 반복 제한에 도달할 때까지 풍부해진 컨텍스트를 사용하여 테스트를 반복적으로 수리합니다(최대 10회 시도).

3. 대리 패치를 통한 테스트 선택:
   $c_{new}$를 사용할 수 없으므로, e-Otter++는 실제 수정 사항에 대해 테스트가 통과하는지 직접 확인할 수 없습니다. 이를 해결하기 위해 시스템은 Agentless를 사용하여 40개의 후보 코드 패치(surrogates for $c_{new}$)를 생성하고 이를 가장 빈도가 높은 5개로 필터링합니다.

   • 테스트 선택기는 이 대리 패치들 상에서 후보 테스트들을 실행합니다.
   • 대리 패치 상에서 $F \to P$인 테스트들이 우선순위를 갖습니다.
   • 규칙 기반 선택기는 실패 유형(assertion failure 대 error)을 분류하고, 코드 커버리지(패치에 의해 추가/삭제된 라인의 비율)를 타이브레이커로 사용하여 단 하나의 최종 테스트를 선택합니다.

주요 기여
본 논문은 세 가지 새로운 기여를 합니다:

1. 실행 증강 테스트 수리: 실행 피드백을 사용하여 관련 코드를 검색하고 수리 프롬프트를 보강함으로써, 테스트가 이슈에 명시된 이유로 실패하도록 하여 테스트 정확도를 높이는 방법입니다.
2. 다양성을 위한 이질적 프롬프팅: 단순히 높은 온도의 샘플링에 의존하는 대신, 이슈 설명 변형과 컨텍스트 마스크를 통해 테스트 후보의 다양성을 높입니다.
3. 대리 패치 기반 선택: 불완전하게 생성된 코드 패치를 ground-truth fix의 대리물(proxy)로 사용하여 실행 피드백으로부터 최종 테스트를 선택하는 기술입니다.

결과
시스템은 SWE-bench에서 파생된 TDD-Bench Verified (449개 샘print)와 SWT-bench Lite (276개 샘플)에서 평가되었습니다.

• 성능: e-Otter++는 Claude-3.7-Sonnet 모델을 사용하여 TDD-Bench Verified에서 63.0%, SWT-bench Lite에서 **52.5%**의 state-of-the-art 실패-통과($F \to P$)율을 달연했습니다. 이는 이전의 최고 기록(Otter++의 경우 각각 37.0%, 29.0%)을 크게 상회하는 수치입니다.
• 구성 요소 효능:
  • 실행 증강 수리는 다양한 설정에서 $F \to P$율을 11.1%에서 74.3%까지 향상시켰습니다.
  • 이질적 프롬프팅(morphs + masks)은 마스크만 사용하는 경우보다 $F \to P@N$($N$개의 후보 중 적어도 하나가 성공하는 비율)을 13% 이상 증가시켰습니다.
  • 생성된 코드 패치를 선택 전 필터로 사용함으로써 $F \to P$ 성능이 크게 향상되었습니다 (예: TDD-Bench Verified에서 32.9% 증가).
• 일반화 가능성: 데이터 오염이 없는 벤치마크인 SWE-rebench에서도 검증되었으며, 여기서 기본 Otter 시스템 대비 $F \to P$율을 상대적으로 75% 개선하여 데이터 오염에 대한 강건성을 입증했습니다.
• 검증 유틸리티: 생성된 테스트가 다른 SWE 에이전트들의 코드 패치를 효과적으로 검증하여, 상위 리더보드 시스템들이 제안한 솔루션의 정밀도를 크게 높이는 것으로 나타났습니다.

의의 및 주장
저자들은 e-Otter++가 SWE 이슈로부터 재현 테스트를 생성하는 데 있어 상당한 도약을 이루었다고 주장합니다. 본 논문은 이질적 프롬프팅과 실행 피드백의 결적인 결합—특히 선택을 위한 대리 패치의 혁신적인 사용과 컨텍스트 증강 수리—이 테스트 다양성 부족과 검증을 위한 타겟 코드베이스의 부재라는 기존 방법론의 한계를 극복한다고 논증합니다.

이 연구는 번거로운 재현 테스트 생성을 자동화함으로써 테스트 주도 개발(TDD)의 실천을 공고히 하는 것을 목표로 하며, 이를 통해 인간 엔지니어와 자동화된 SWE 에이전트 모두의 이슈 해결 및 장기적인 품질 보증을 돕고자 합니다. 저자들은 현재 시스템이 단일 테스트 파일만을 처리하며 주로 Python을 대상으로 평가된다는 점을 언급하며 범위를 신중하게 제한하면서도, 상대적인 개선 수치가 이 기술들이 오염되지 않은 다양한 데이터셋에서도 효과적임을 시사한다고 강조합니다.