기술 요약: SWE-Doctor

문제 정의

대규모 언어 모델(LLM) 기반의 소프트웨어 엔지니어링 에이전트는 이슈 보고서와 코드 저장소로부터 패치를 생성하여 소프트웨어 문제를 해결하는 데 점점 더 많이 사용되고 있습니다. 이러한 에이전트의 핵심 구성 요소는 버그 재현 테스트(Bug Reproduction Test, BRT)로, 이는 텍스트 형태의 버그 보고서를 실행 가능한 피드백으로 변환합니다. 최근 연구들은 BRT가 패치 검증(생성된 패치가 테스트를 통과하는지 확인하는 과정)에는 효과적이라는 것을 입증했지만, 더 중심적이고 도전적인 단계인 패치 생성 자체를 효과적으로 가이드할 수 있는지에 대해서는 여ยัง 불분명합니다.

저자들이 수행한 예비 연구에 따르면, 고급 BRT 생성기를 패치 생성을 가이드하는 용도로 직접 사용하는 것은 유익하지 않은 것으로 나타났습니다. 두 가지 주요 실패 모드가 식별되었습니다:

1. Fail-to-Pass (F→P) 한계: BRT가 버그를 성공적으로 재현하더라도(원본 코드에서는 실패하고 수정된 코드에서는 통과하더라도), 종종 보고된 이슈의 단일 현상만을 다룹니다. 이는 에이전트가 특정 테스트는 만족하지만 명시된 다른 동작 요구 사항은 해결하지 못하는 **부분적 패치(partial patches)**를 생성하게 만듭니다.
2. Fail-to-Fail (F→F) 오도: 생성된 BRT가 원본 코드와 정답 패치 저장소 모두에서 실패할 경우, 이를 직접적인 pass/fail 타겟으로 사용하는 것은 에이전트를 오도합니다. 이는 해당 테스트가 버그를 유발하는 동작이나 기대되는 수정 동작을 올바르게 포착하지 못했음을 의미합니다.

방법론: SWE-Doctor

이러한 한계를 해결하기 위해 저자들은 다면적 BRT 생성과 런타임 기반 진단을 통해 패치 생성을 가이드하는 소프트웨어 이슈 해결 에이전트인 SWE-Doctor를 제안합니다. 이 시스템은 3단계 파이프라인을 통해 작동합니다:

1. 다면적 BRT 생성

단일 이슈당 하나의 테스트를 생성하는 대신, SWE-Doctor는 이슈 보고서를 여러 동작 요구 사항(예: 특정 출력, 예외 조건 또는 호환성 필요성)으로 분해합니다.

• 요구 사항 추출: LLM이 이슈 보고서로부터 관찰 가능한 동작들을 추출합니다.
• 타겟팅된 생성: 각 요구 사항에 대해, 에이전트는 요구 사항 수준의 버그 로컬라이제이션(localization)을 수행하여 관련 소스 파일과 함수를 식별합니다. 그 후, 생성-실행-정제(generate–execute–refine) 루프를 통해 의도한 요구 사항에 대해 특정하여 실패하는 타겟형 BRT를 생성함으로써, 테스트가 해당 요구 사항을 정확히 검증하도록 보장합니다.
• 스크리닝: BRT가 환경적 오류를 제외하고 로컬라이즈된 코드를 실행한 후에만 실패하도록 스크리닝하여 필터링합니다.

2. 런타임 기반 버그 진단

BRT를 단순한 pass/fail 신호로 취급하는 대신, SWE-Doctor는 디버거 하에서 이를 실행하여 구조화된 **진단 기록(diagnosis records)**을 구축합니다.

• 디버깅 프로세스: LLM 디버깅 에이전트가 런타임 디버거(예: Python용 PDB, Go용 Delve)와 상호작용하여 스택 트레이스, 런타임 값 및 실행 경로를 조사합니다.
• 진단 기록: 시스템은 다음을 포함하는 구조화된 기록을 합성합니다:
  • 의심되는 결함 위치.
  • 런타임 실패 증상(예외, 어설션).
  • 실패 전파 경로.
  • 관련 코드에 대한 잠재적 패치 영향.
  • 제안된 수정 방향.
• 검증: "런타임 근거 체크(runtime-grounding check)"를 통해 진단이 텍스트로부터 추론된 것만이 아니라 실제 실행 피드백에 기반하는지 확인하며, 런타임 증거가 부족한 결론은 거부합니다.

3. 다중 소스 가이드 패치 생성

마지막 단계는 표준 에이전트(mini-SWE-agent)를 사용하지만, 이전 단계의 정보로 컨텍스트를 보강합니다.

• 교차 참조: 에이전트는 추출된 요구 사항, 요구 사항 수준의 로컬라이제이션, 그리고 런타임 기반 진단 기록을 결합한 통합된 컨텍스트를 전달받습니다. 에이전트는 편집 위치를 결정하기 위해 이러한 소스들을 교차 참조하도록 지시받습니다.
• 완결성 체크: 제출 전, 에이전트는 생성된 패치가 모든 추출된 동작 요구 사항을 충족하는지, 그리고 런타임 진단과 일치하는지 확인하기 위해 프롬프트 수준의 체크를 수행하여 부분적 패치의 가능성을 줄입니다.

주요 기여

1. 예비 연구: 최신 BRT 생성기를 패치 생성 타겟으로 직접 사용하는 것이 해결율을 높이지 못하며, 오히려 부분적 패치와 오도하는 테스트로 인해 성능을 저하시킬 수 있음을 보여주는 연구를 제시합니다.
2. SWE-Doctor 프레임워크: "BRT를 타겟으로" 보는 것에서 "BRT를 진단 프로브(diagnostic probe)로" 활용하는 것으로 패러다임을 전환하는 새로운 에이전트 아키텍처를 제안합니다. 이는 다면적 테스트 생성과 런타임 기반 진단을 활용합니다.
3. 광범위한 평가: 두 가지 벤치마크(SWE-bench Verified 및 SWE-bench Pro)와 4개 벤더의 5개 LLM 백엔드에 걸친 종합적인 평가를 수행했습니다.
4. 오픈 소스: 재현성을 지원하기 위해 SWE-Doctor 구현체와 관련 데이터를 공개합니다.

실험 결과

평가는 SWE-bench Verified(436개 이슈)와 SWE-bench Pro(107개 이슈)의 Python 버그 수정 이슈를 대상으로 5개의 LLM 백엔드(GPT-5.4, GPT-5.4-mini, Claude Sonnet 4.6, DeepSeek-V4-Pro, MiMo-V2.5-Pro)를 사용하여 진행되었습니다.

• 전반적인 효과: SWE-Doctor는 모든 10개 LLM-벤치마크 조합에서 두 개의 강력한 베이스라인(mini-SWE-agent 및 live-SWE-agent)을 일관되-게 능가했습니다.
  • SWE-bench Verified: 평균 해결율 **75.7%**를 달성했습니다 (베이스라인의 73.7% 및 71.8% 대비).
  • SWE-bench Pro: 평균 해결율 **59.4%**를 달성하여 베이스라인보다 8.0~8.9 퍼센트 포인트 향상되었습니다.
• 고유 해결 사례: SWE-Doctor는 베이스라인들보다 두 배 이상 많은 고유 이슈를 독자적으로 해결했습니다 (총 108개 고유 이슈 vs 베이스라인의 51개 및 38개). 이는 해결 가능한 문제의 범위를 확장했음을 나타냅니다.
• BRT 결과 분석:
  • F→P 이슈: SWE-Doctor는 다면적 BRT 생성을 통해 부분적 패치를 방지함으로써 SWE-bench Pro에서 해결율을 8.3 퍼센트 포인트 개선했습니다.
  • F→F 이슈: SWE-Doctor는 실패하는 테스트를 막다른 길로 취급하는 대신 유용한 정보를 추출하는 런타임 기반 진단을 통해 SWE-bench Pro에서 해결율을 9.2 퍼센트 포인트 개선했습니다.
• 절제 연구(Ablation Study): 다면적 BRT 생성 또는 런타임 기반 진단 단계 중 하나라도 제거하면 성능이 8.0~10.0 퍼센트 포인트 감소하여, 두 구성 요소가 모두 필수적임을 확인했습니다.
• 안정성: SWE-Doctor는 반복 실행 시 베이스라인에 비해 낮은 분산을 보였습니다.
• 교차 언어 일반화: SWE-bench Pro의 Go 이슈에 대해 평가했을 때, SWE-Doctor는 **36.0%**의 해결율을 달성하여 베이스라인(32.0% 및 30.0%)을 능가했으며, 이는 이 접근 방식이 Python을 넘어 일반화될 수 있음을 시사합니다.

의의

본 논문은 소프트웨어 엔지니어링 에이전트에서 버그 재현 테스트의 가치는 단순히 버그를 재현하는 능력이 아니라, 그 실행이 어떻게 활용되는가에 달려 있다고 주장합니다. SWE-Doctor는 BRT를 단순한 pass/fail 타겟이 아닌 런타임 진단 증거의 원천으로 취급함으로써, 에이전트가 부분적 패칭과 오도하는 테스트 신호의 한계를 극 정도로 할 수 있음을 보여줍니다. 이 연구는 에이전트 설계의 패러다임을 테스트 결과에 의존하는 것에서, 테스트 실행 내에 포함된 풍부한 정보(스택 트레이스, 런타임 상태 등)를 활용하여 LLM 기반 에이전트의 추론 및 의사결정 과정을 가이드하는 방향으로 전환할 것을 제안합니다.