Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation

이 논문은 코드 그래프 기반의 정교한 컨텍스트 검색, 자동 실행 피드백, 그리고 패치 생성을 통해 버그 재현 테스트를 단일 생성으로 최적화하고 SWT-Bench Verified 에서 66.28% 의 성공률로 새로운 최첨단 성능을 달성한 'Echo' 에이전트를 제안합니다.

핵심

에코 (Echo): 버그를 찾아내는 '수사관'과 '검증관' 이야기

이 논문은 소프트웨어 개발자들이 가장 골치 아파하는 문제 중 하나인 "이 버그가 정말로 존재하는 걸까? 그리고 어떻게 다시 만들어낼 수 있을까?" 라는 질문에 대한 획기적인 해결책을 제시합니다. 바로 '에코 (Echo)' 라는 인공지능 에이전트입니다.

이 복잡한 기술 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "내 컴퓨터가 왜 이렇게 작동하지?"

소프트웨어를 쓰다 보면 가끔 "이 기능은 원래 이렇게 작동해야 하는데, 이상하게 작동해요!"라는 사용자 보고 (버그 리포트) 가 들어옵니다. 하지만 이 보고서는 보통 매우 모호합니다.

• "화면이 깨져요." (어떤 화면? 언제? 왜?)
• "로그가 안 뜬다." (어떤 로그?)

개발자는 이 모호한 보고를 바탕으로 왜 문제가 생겼는지, 어떤 코드가 잘못되었는지 찾아내야 합니다. 그리고 가장 중요한 것은 "이 버그를 다시 재현 (Reproduce) 하는 테스트 코드" 를 작성하는 것입니다. 즉, "이 코드를 실행하면 반드시 오류가 나야 한다"는 것을 증명하는 시나리오를 만드는 건데, 이는 마치 미스터리 사건을 재연하는 것처럼 매우 어렵고 시간이 많이 걸립니다.

2. 에코 (Echo) 의 등장: 사건을 해결하는 3 인조 수사팀

에코는 이 어려운 작업을 대신해 주는 AI 에이전트입니다. 기존의 도구들은 단순히 "코드 검색해서 테스트 만들어보기" 수준이었다면, 에코는 세 가지 강력한 무기를 가지고 있습니다.

🔍 무기 1: '초능력 지도' (그래프 기반 검색)

기존의 AI 는 방대한 코드 도서관에서 키워드만 검색해서 관련 문서를 찾습니다. 하지만 에코는 '코드 지도 (Code Graph)' 라는 초능력을 가졌습니다.

• 비유: 일반적인 검색은 책장 이름만 보고 책을 고르는 거라면, 에코는 책과 책 사이의 연결고리 (함수 호출, 상속 관계 등) 까지 파악합니다.
• 효과: 버그가 발생한 핵심 부분 (초점 코드) 과 그와 관련된 과거의 테스트 사례를 정확히 찾아냅니다. "이 함수가 저 함수를 부르고, 그 함수가 또 저기서 쓰였으니, 여기가 문제일 거야!"라고 추리하는 거죠.

🛠️ 무기 2: '자동 실행 로봇' (자율 실행 및 피드백)

기존 도구들은 테스트 코드를 만들어도 "이게 실행될지, 환경 설정이 맞을지" 모르고 끝났습니다. 에코는 직접 실행해 봅니다.

• 비유: 요리사가 레시피 (테스트 코드) 를 적어주는 걸 넘어, 직접 부엌에 들어가 재료를 구하고 (환경 설정), 요리를 해보고 (실행), "아, 소금이 부족했네!"라고 실제 결과를 보고 피드백을 받습니다.
• 효과: 에코는 프로젝트마다 다른 실행 명령어 (pytest, unittest 등) 를 스스로 파악해서 테스트를 실행하고, 오류가 나면 그 로그를 분석해 코드를 수정합니다.

🧪 무기 3: '시간 여행자' (패치 검증)

가장 혁신적인 부분입니다. 에코는 버그를 고친 '수정된 버전 (패치)' 을 미리 만들어냅니다.

• 비유: 에코는 "이 테스트 코드가 진짜 버그를 잡은 걸까?"를 확인하기 위해 두 가지 세계를 비교합니다.
  1. 원래 세계 (버그 있음): 테스트가 실패해야 합니다. (버그 재현 성공!)
  2. 수정된 세계 (버그 없음): 테스트가 통과해야 합니다. (버그 고침 확인!)
• 효과: 만약 테스트가 원래 세계에서도 통과하거나, 수정된 세계에서도 실패한다면, 그 테스트는 엉뚱한 것을 테스트하고 있는 것입니다. 에코는 이 '실패 - 통과 (Fail-to-Pass)' 기준을 자동으로 확인하고, 조건에 맞지 않으면 코드를 다시 고쳐서 다시 실행합니다.

---

3. 에코의 성과: 왜 이것이 특별한가?

에코는 이 모든 과정을 한 번에 하나의 테스트에 집중해서 수행합니다.

• 기존 방식: 100 개의 테스트를 만들어서 그중 하나만 골라보는 식 (비효율적, 비용 큼).
• 에코 방식: 최고의 테스트 하나를 만들어내기 위해 끊임없이 다듬고 검증합니다.

실험 결과 (SWT-Bench 라는 유명한 테스트 기준에서), 에코는 66.28% 의 성공률을 보이며 기존 모든 오픈소스 도구들을 제치고 최고 (SOTA) 자리에 올랐습니다. 특히, 다른 도구들이 해결하지 못했던 어려운 사건들도 에코가 해결해냈습니다.

4. 요약: 에코가 우리에게 주는 메시지

에코는 단순히 코드를 짜주는 도구가 아닙니다.

1. 정확한 정보 수집: 초능력 지도로 정확한 단서를 찾습니다.
2. 실전 훈련: 직접 실행해보고 실패하면 다시 배웁니다.
3. 철저한 검증: 버그가 고쳐졌을 때 다시 작동하는지 확인합니다.

이처럼 에코는 개발자들이 "버그를 재현하는" 가장 힘들고 지루한 작업을 대신해 주어, 소프트웨어의 품질을 높이고 개발 속도를 빠르게 만들어주는 최고의 파트너가 되었습니다.

한 줄 요약: 에코는 "버그가 왜 생겼는지"를 찾기 위해 코드의 지도를 보고, 직접 실행해 보고, 수정된 버전과 비교하며 가장 정확한 테스트를 만들어내는 AI 수사관입니다.

기술 요약

1. 문제 정의 (Problem)

소프트웨어 개발 과정에서 버그의 근본 원인을 파악하는 것은 매우 어렵습니다. 특히, 사용자가 보고한 이슈 (Issue) 에는 종종 버그를 재현할 수 있는 실행 가능한 테스트 케이스가 누락되어 있습니다.

• 수동 작성의 비효율성: 개발자가 코드베이스를 이해하고 실패하는 행동을 격리하여 수동으로 테스트 케이스를 작성하는 것은 시간과 노력이 많이 소요됩니다.
• 기존 자동화 도구의 한계:
  • 문맥 검색의 부재: 기존 LLM 기반 접근법들은 단순한 계층적 파일 로컬라이제이션을 사용하여, 대규모 코드베이스의 깊은 구조적 관계나 장기적 시맨틱을 포착하지 못해 노이즈가 많거나 불완전한 문맥을 제공합니다.
  • 실행 환경 설정의 어려움: 실제 프로젝트는 테스트 실행 명령어와 구성이 명시되어 있지 않거나 여러 파일에 분산되어 있어, 생성된 테스트를 실행하는 것이 큰 장벽입니다.
  • 신뢰할 수 있는 오라클 (Oracle) 부재: 생성된 테스트가 버그를 올바르게 재현했는지 (즉, 원본 코드에서는 실패하고 패치된 코드에서는 통과하는지) 를 검증할 신뢰할 수 있는 기준이 부족합니다. 기존 방식은 LLM 이 실패 로그와 이슈 설명의 의미적 일치를 판단하도록 의존하는데, 이는 신뢰도가 낮습니다.

2. 방법론 (Methodology: Echo)

저자들은 Echo라는 새로운 에이전트를 제안합니다. Echo 는 코드 그래프를 활용한 문맥 검색, 자동 실행, 그리고 패치를 활용한 이중 버전 검증 (Dual-version Check) 을 통해 이슈 재현 테스트를 생성합니다.

주요 구성 요소 및 프로세스:

1. 코드 그래프 기반 문맥 검색 (Graph-Enhanced Retrieval):

   • 코드베이스를 ResourceNode(파일/디렉토리), ParseNode(구문 트리 노드), TextSpanNode(텍스트 조각) 로 구성된 이질적 방향 그래프로 변환합니다.
   • 자동 쿼리 정제 (Automatic Query Refinement): LLM 이 초기 쿼리를 평가하고, 검색된 문맥이 충분하지 않다고 판단되면 추가 정보를 요청하는 반복적 정제 과정을 통해 정밀한 문맥을 확보합니다.
   • 초점 코드 (Focal Code) 및 회귀 테스트 검색: 이슈와 관련된 핵심 코드와 기존 회귀 테스트를 그래프 기반 검색을 통해 추출합니다.

2. 패치 생성 (Patch Generation):

   • 테스트 생성을 안내하고 검증 오라클로 사용하기 위해 Prometheus 와 같은 오픈소스 프로그램 복구 도구를 사용하여 잠재적인 버그 수정 패치 (Patch) 를 생성합니다.

3. 테스트 생성 (Test Generation):

   • 검색된 문맥 (이슈 설명, 초점 코드, 회귀 테스트, 패치) 을 바탕으로 LLM 이 하나의 재현 테스트를 생성합니다.
   • 프로젝트의 테스트 프레임워크 규칙을 따르며, 최소한의 어설션으로 버그를 재현하는 단일 테스트 파일을 만듭니다.

4. 자율 테스트 실행 (Autonomous Test Execution):

   • 생성된 테스트를 실행하기 위해 LLM 이 프로젝트의 README 및 설정 파일을 분석하여 적절한 실행 명령어를 추론합니다.
   • 안전 장치: LLM 이 파일 수정, 전체 테스트 스위트 실행, 의존성 설치 등 위험한 행동을 하지 않도록 엄격한 제약을 둡니다. 오직 생성된 테스트 파일만 실행하도록 제한합니다.

5. 이중 버전 검증 및 피드백 루프 (Dual-Version Check & Refinement):

   • Fail-to-Pass 기준 검증: 생성된 테스트가 원본 (버그 포함) 코드에서는 실패하고, 생성된 패치를 적용한 코드에서는 통과하는지 확인합니다.
   • 반복적 정제: 만약 테스트가 기준을 만족하지 못하거나 실행 로그에 오류가 있다면, 해당 로그를 LLM 에게 피드백하여 테스트를 수정하고 다시 생성하는 과정을 반복합니다.
   • 단일 테스트 전략: 여러 후보를 생성하고 선택하는 기존 방식과 달리, Echo 는 한 이슈당 단 하나의 고품질 테스트를 반복 정제를 통해 생성하여 비용 대비 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 에이전트 Echo 개발: 코드 그래프를 활용한 정밀한 문맥 검색, 실행 피드백을 통한 테스트 정제, 그리고 자동 실행 기능을 통합한 최초의 도구입니다.
2. SOTA 달성: 널리 사용되는 벤치마크인 SWT-Bench Verified에서 오픈소스 접근법 중 새로운 최고 성능 (State-of-the-Art) 을 달성했습니다.
3. 오픈소스 공개: 코드, 실행 로그, 전체 실험 결과를 공개하여 연구의 재현성과 향후 연구를 지원합니다.

4. 실험 결과 (Results)

• 성공률: SWT-Bench Verified(433 개 인스턴스) 에서 **66.28%**의 성공률 (Success Rate) 을 기록했습니다. 이는 기존 최고 성능을 보였던 OpenHands(62.4%) 와 e-Otter++(62.1%) 보다 각각 3.9%p, 4.2%p 높은 수치입니다.
• 고유 해결 사례: Echo 는 다른 어떤 접근법으로도 해결되지 않은 33 개의 고유한 이슈를 성공적으로 재현하여, 기존 방법론을 보완할 수 있음을 입증했습니다.
• 정제 (Refinement) 의 효과: 실행 피드백을 활용한 정제 루프를 제거한 변형 모델 (Echo w/o refinement) 은 59.12% 의 성공률을 보였으며, 정제 루프를 통해 성공률이 7.16%p 향상됨을 확인했습니다.
• 비용 효율성: 인스턴스당 평균 비용은 약 $1.54로, 유사한 성능을 내는 다른 에이전트들보다 비용 효율적이거나 경쟁력 있는 수준입니다. (대부분의 토큰 소모는 긴 입력 문맥 처리에서 발생함)

5. 의의 및 결론 (Significance)

• 실무 적용 가능성: Echo 는 실제 개발 워크플로우에 통합될 수 있도록 테스트 실행 명령어를 자동으로 추론하고 실행하며, 패치를 활용한 엄격한 검증 과정을 도입하여 신뢰성을 높였습니다.
• 효율성: 여러 후보를 생성하는 대신, 정제 과정을 통해 하나의 고품질 테스트를 생성하는 전략은 LLM 의 토큰 비용과 시간을 절감하면서도 높은 정확도를 유지합니다.
• 향후 방향: 검색 문맥의 양을 줄여 비용을 최적화하는 방법, 더 안전한 테스트 실행 환경 구축, 그리고 버그 재현을 위한 더 강력한 오라클 개발이 향후 연구 과제로 제시되었습니다.

결론적으로, Echo 는 LLM 기반 버그 재현 테스트 생성 분야에서 문맥 검색의 정밀도와 실행 피드백 기반의 검증 루프를 결합하여 새로운 표준을 제시한 획기적인 연구입니다.