기술 요약: EVIACT – 에이전트형 프로그램 수리를 위한 증거 기반 행동 프레임워크

문제 제기

자동 프로그램 수리 (APR) 는 고정된 컨텍스트 패치 생성에서 대규모 언어 모델 (LLM) 에이전트를 활용한 상호작용형 리포지토리 수준 수리로 진화해 왔습니다. 기존 에이전트형 APR 시스템은 유연성을 제공하지만, 수리 과정을 안내하기 위해 실행 증거를 효과적으로 활용하는 데 어려움을 겪습니다. 이 논문은 워크플로우 기반 에이전트형 APR 시스템에서 중요한 "증거 - 행동 간극 (evidence-to-action gap)"을 식별합니다.

현재 워크플로우 기반 시스템에서는 수리가 국소화, 패치 생성, 검증과 같은 단계로 분해되지만, 이러한 단계 간의 경계가 미흡하게 정의되어 있습니다. 이러한 엄격한 제어의 부재는 그림 1 에서 "잘못된 국소화 연쇄 (mislocalization cascade)"로 묘사된 세 가지 주요 실패 모드를 초래합니다:

1. 잘못된 국소화: 약한 실패 증거가 잘못된 의심 코드 집합을 초래하여 에이전트가 관련 없는 코드를 수정하게 됩니다.
2. 유효하지 않은 패치 시도: 에이전트가 형식이 잘못되거나 적용 불가능하거나 컴파일되지 않는 패치를 생성하여 검증 단계에 도달시킵니다.
3. 높은 검증 비용: 시스템이 의미적으로 관련 없거나 실행 불가능한 패치를 반복적으로 테스트하여 컴퓨팅 자원을 낭비합니다.

핵심 문제는 실행 증거가 관찰되지만, 무엇을 검색하고, 무엇을 수정하며, 언제 검증할지를 제어하는 데 신뢰성 있게 사용되지 않는다는 점입니다.

방법론: EVIACT 프레임워크

이 간극을 해결하기 위해 저자들은 EVIACT(Evidence-to-Action) 를 제안합니다. 이는 표준 4 단계 파이프라인인 설정 (Setup), 국소화 (Localize), 패치 (Patch), 검증 (Verify) 전반에 걸쳐 세 가지 증거 기반 "가드레일"을 조정하는 에이전트형 APR 프레임워크입니다.

1. 파이프라인

• 설정: 깨끗한 작업 공간을 초기화하고, 구조를 보존하는 검색 인덱스 (AST 스팬 및 코드 그래프 사용) 를 구성하며, 목표 실패를 재현하여 RED 증거 (실패한 테스트 로그, 스택 트레이스) 를 획득합니다.
• 국소화: RED 증거를 실패 기반 쿼리로 변환하여 의심스러운 코드 위치를 순위 매깁니다.
• 패치: 국소화된 의심 집합을 기반으로 후보 편집을 합성합니다.
• 검증: 패치를 승인하기 위해 목표 테스트와 전체 회귀 테스트 스위트 를 다시 실행합니다.

2. 세 가지 가드레일

EVIACT 는 증거를 실행 가능한 제약 조건으로 변환하기 위해 단계 전환 시 특정 제어를 도입합니다:

• 검색 발판 (Setup $\to$ Localize):
  제약 없는 키워드 검색 대신, 이 발판은 구조적 코드 그래프를 사용하여 RED 실패 증거를 집중된 의심 집합에 매핑합니다. 스택 프레임, 오류 메시지 등 실패 신호를 AST 스팬 및 구조적 기술자 (파일 경로, 심볼, 호출 그래프) 와 일치시킴으로써 결정론적 검색을 수행합니다. 정확한 트레이스 - 심볼 일치, 파일 근접성, 그래프 거리를 기반으로 후보를 순위 매겨 상위 K 개의 의심 대상 (기본값 $K=3$) 을 출력합니다.

• 컴파일 게이트 (Patch Stage):
  테스트 검증 전에 이 게이트는 후보 패치를 필터링합니다. 패치가 잘 형성된 diff 인지, 깔끔하게 적용되는지, 그리고 구문 또는 빌드 검사를 통과하는지 확인합니다. 패치가 실패할 경우, 구조화된 진단 정보 (실패 유형, 영향을 받은 파일, 빌드 출력) 가 에이전트에 반환되어 수정을 유도함으로써, 유효하지 않은 후보가 비용이 많이 드는 테스트 스위트 에 도달하는 것을 방지합니다.

• 테스트 주도 (TD) 게이트 (Setup $\to$ Verify):
  이 게이트는 전체 회귀 전에 RED-GREEN 흐름을 강제합니다.

  • RED: 원래 실패한 목표 테스트는 국소화를 고정하기 위해 버그가 있는 리비전에서 실패해야 합니다.
  • GREEN: 패치 후, 동일한 목표 테스트는 전체 회귀 테스트로 진행하기 전에 통과해야 합니다.
    이는 전체 검증 비용을 발생시키기 전에 패치가 관찰된 실패를 구체적으로 해결했음을 보장합니다.

주요 기여

1. 증거 - 행동 간극의 식별: 이 논문은 워크플로우 기반 에이전트형 APR 의 비효율성을 실행 증거가 후속 수리 결정을 제약하지 못하는 단계 경계 설계 문제로 규정합니다.
2. EVIACT 프레임워크: 수리 궤적이 관찰된 실패, 컴파일러 피드백, 검증 결과에 계속 연결되도록 보장하는 세 가지 가드레일 (검색 발판, 컴파일 게이트, TD 게이트) 을 조정하는 새로운 아키텍처입니다.
3. 종합 평가: 여러 LLM 백본 (GPT-4o, GPT-5.2, DeepSeek-V3.2, Gemini-2.5-Pro) 을 사용하여 네 가지 벤치마크 (Defects4J 2.0, SWE-bench Verified, SWE-bench Lite, SWE-bench Live) 에서 평가했습니다.
4. 실증적 증거: 조정된 증거 제어가 효과성 (해결률) 과 효율성 (API 비용, 실행 시간) 을 모두 향상시킨다는 결과를 보여줍니다.

실험 결과

GPT-4o 백본 하에서 평가된 EVIACT 는 네 가지 데이터셋 전반에 걸쳐 보고된 가장 강력한 비교 기준선보다 우수한 성과를 거두었습니다:

• 해결률: EVIACT 는 기준선 대비 1.6 에서 6.0 퍼센트 포인트만큼 개선된 해결률을 달성했습니다 (예: Defects4J 2.0 에서 25.0% 대 RepairAgent 의 19.6%; SWE-bench Verified 에서 40.4% 대 Agentless 의 38.8%).
• 효율성: 기준선 비용 데이터가 있는 경우, EVIACT 는 버그당 API 비용을 70.1–88.6% 낮추는 것을 보여줍니다.
• 모델 확장: GPT-5.2 와 같은 더 강력한 백본을 사용하면 해결률이 더욱 증가합니다 (SWE-bench Verified 에서 최대 70.2%). 반면 DeepSeek-V3.2 와 같은 비용 효율적인 모델은 버그당 $0.03–$0.05 의 비용으로 높은 성능을 유지합니다.

어블레이션 연구:
가드레일을 제거하면 성능이 크게 저하됩니다. 전체 EVIACT 시스템은 층화 표본에서 가드레일이 없는 기준선 대비 해결률을 +13.0 퍼센트 포인트 향상시키면서, 토큰 사용량은 84.1K 줄이고 실행 시간은 195.3 초 단축합니다. 이 연구는 검색 발판이 국소화 드리프트를 줄이고, 컴파일 게이트가 유효하지 않은 후보를 필터링하며, TD 게이트가 조기 전체 회귀를 방지한다는 것을 확인했습니다.

실패 분석:
실패한 실행 중 **46.5%**는 잘못된 국소화 때문이며 **38.5%**는 잘못된 편집 (올바른 컨텍스트이지만 잘못된 의미론적 변경) 때문입니다. 주목할 점은 형식이 잘못되거나 컴파일되지 않는 패치는 컴파일 게이트에 의해 효과적으로 필터링되어, 실패의 최전선이 "실행 불가능성"에서 "의미론적 기반"으로 이동했다는 점입니다. 해결된 패치에 대한 수동 분석 결과, **78.0%**는 의미론적으로 정확하지만, **11.5%**는 과적합 (테스트는 통과하지만 일반적인 수리를 구현하지 않음) 인 것으로 나타났습니다.

중요성과 주장

이 논문은 EVIACT 가 에이전트형 APR 을 위한 실용적인 증거 - 행동 제어 메커니즘을 제공한다고 주장합니다. 추적 가능한 증거 (실패 로그, 컴파일러 진단, 테스트 결과) 에 수리 행동을 고정함으로써, 프레임워크는 수리 결정을 더 효과적이고 신뢰할 수 있게 만듭니다.

저자들은 EVIACT 가 검증 비용을 크게 줄이고 국소화를 개선하지만, 남은 병목 현상은 의미론적 기반 (수정이 단순히 작동하는 수리가 아니라 올바른 수리임을 보장) 과 복잡한 리포지토리 구조에서의 강건한 검색이라고 겸손하게 지적합니다. 이 논문은 의미론적 과적합을 완전히 해결한다고 주장하지는 않지만, 실패의 최전선을 구문/실행 오류에서 의미론적 오류로 이동시키는 것이 더 견고한 에이전트형 수리를 향한 필수 단계임을 보여줍니다. 향후 연구는 축적된 실행 피드백에 기반하여 국소화와 검증을 정교화하는 적응형 시스템으로 이 설계를 확장하는 것이 제안됩니다.