Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study

기술 요약: 왜 AI 에이전트가 참여한 풀 리퀘스트(수정 관련)는 병합되지 않은 채 남는가? 실증적 연구

문제 정의
자율 코딩 에이전트(예: OpenAI Codex, Devin, GitHub Copilot)가 수정 관련 풀 리퀘스트(PR)를 생성하기 위해 실제 소프트웨어 개발 워크플로우에 점점 더 많이 통합되고 있음에도 불구하고, 이들의 실질적인 효과는 프로젝트 유지 관리자(maintainer)의 수락 여부에 달려 있습니다. 기존 연구는 주로 벤치마크 기반의 작업 성공률이나 개발자 생산성에 초점을 맞추어, 다운스트림의 PR 리뷰 및 통합 과정을 추상화하여 다룹니다. 결과적으로, 왜 AI가 생성한 수정 관련 PR이 실제 환경에서 병합되지 않고 종료되는지에 대한 실증적 이해가 부족합니다. 이러한 미병합 PR은 계산 자원의 낭비와 리뷰 오버헤드 증가를 의미하며, 이는 에이전트의 추론, 검증 전략, 그리고 인간-AI 협업의 잠재적 한계를 드러냅니다.

연구 방법론
저자들은 2025년 11월에 공개된 GitHub 저장소에서 추출한 대규모 AI 작성 PR 모음인 AIDEV-POP 데이터셋을 사용하여 혼합 방법론적 실증 연구를 수행했습니다. 본 연구는 다섯 가지 널리 사용되는 AI 코딩 에이전트(OpenAI Codex, GitHub Copilot, Devin, Cursor, Claude Code)가 작성한 8,106개의 수정 관련 PR에 초점을 맞췄습니다.

연구 방법론은 두 가지 주요 단계로 구성됩니다:

1. 정량적 분석 (RQ1): 저자들은 8,106개 전체 PR의 통합 결과를 병합됨(merged), 병합되지 않고 종료됨(closed without merging), *열려 있음(open)*의 세 가지 상태로 분류했습니다. 병합된 PR의 경우, 서로 다른 에이전트 간의 통합 지연 시간을 특성화하기 위해 "병합 시간(time-to-merge)"(PR 생성부터 종료까지의 기간)을 계산했습니다.
2. 정성적 분석 (RQ2): 미병합 원인을 이해하기 위해, 저자들은 통계적으로 유의미한 표본인 326개의 종료되었으나 병합되지 않은 PR을 대상으로 수동 분석을 수행했습니다. 두 명의 저자는 캘리브레이션 단계를 거친 후 개방형 코딩(open coding) 방식을 사용하여 독립적으로 PR을 라벨링했으며, 약 100 인시(person-hours)를 소비했습니다. 이들은 0.82의 Cohen's kappa 값을 달성하여 상당한 수준의 평가자 간 일치도를 보였습니다. 이 과정은 데이터로부터 귀납적으로 도출된 구조화된 실패 원인 카탈로그를 생성하는 결과로 이어졌습니다.

주요 기여

• 대규모 실증 데이터: 본 연구는 합성 벤치마크를 넘어 실제 저장소 데이터를 사용하여 다섯 가지 주요 AI 에이전트에 대한 수정 관련 PR의 통합 결과를 분석한 최초의 대규모 분석을 제공합니다.
• 구조화된 실패 카탈로그: 저자들은 AI가 작성한 수정 PR이 병합되지 않고 종료되는 이유를 설명하는 12가지의 뚜렷한 실패 원인 카탈로그를 구축했습니다. 이는 기술적 문제(예: 테스트 실패)부터 프로세스 관련 역학(예: 비활성, 중복성)에 이르기까지 다양합니다.
• 에이전트별 성능 프로필: 본 연구는 서로 다른 에이전트 간의 병합률과 실패 모드에서 상당한 차이가 있음을 밝혀내며, 일률적인 "AI 에이전트" 성능이라는 개념에 의문을 제기합니다.

결과

• 통합 결과: 전체 수정 관련 PR의 **65.0%**가 성공적으로 병합된 반면, **26.1%**는 병합되지 않고 종료되었고, **8.9%**는 열려 있는 상태로 남았습니다. 그러나 성공률은 에이전트별로 극명하게 달랐습니다:

  • OpenAI Codex: 가장 높은 병합률인 **81.6%**를 기록했습니다.
  • Devin: 가장 낮은 병합률인 **42.9%**를 기록했으며, PR의 **54.0%**가 병합되지 않고 종료되었습니다.
  • GitHub Copilot: 병합률은 **42.4%**였습니다.

• 지연 시간(Latency): 병합된 PR은 제출에서 병합까지의 시간에서 상당한 가변성을 보였습니다. OpenAI Codex는 일관되게 짧고 집중된 병합 시간을 보인 반면, Copilot과 Devin은 더 넓은 분포와 무거운 꼬리(heavy upper tails)를 보여, 더 높은 통합 지연 시간과 조정 오버헤드를 나타냈습니다.

• 실패 원인: 326개의 미병합 PR에 대한 수동 분석 결과, 다음과 같은 주요 종료 원인이 식별되었습니다:

  1. 다른 PR에 의해 해결됨 (RAPR): 22.1% (다른 PR에 의해 문제가 해결됨).
  2. 테스트 케이스 실패 (TCF): 18.1% (수정이 기존 테스트를 통과하지 못하거나 새로운 문제를 유발함).
  3. 부정확하거나 불완전한 수정 (IIF): 15.3% (수정이 근본 원인을 해결하지 못하거나 오류를 도입함).
  4. 비활성으로 인한 종료 (CDI): 9.2%.
  5. 낮은 우선순위/구식화 (LPO): 8.0%.
  6. 불완전한 리뷰 프로세스 (IRP): 5.5%.
  7. 유지 관리자에 의한 수정 거부 (FRM): 4.9%.
  8. 리뷰 미실시 (NRC): 4.6%.
  9. 명시적 근거 없이 종료됨 (CWR): 4.0%.
  10. 배포 실패 (DF): 3.1%.
  11. 기타 이유 (OTH): 3.1%.
  12. 빌드 실패 (BF): 2.1%.

• 에이전트별 실패 패턴:

  • OpenAI Codex의 실패는 **테스트 케이스 실패(54.9%)**가 지배적이었습니다. 이는 리뷰 상호작용보다는 검증 준비성(validation readiness)의 문제를 시사합니다.
  • Devin의 실패는 주로 **비활성(54.0%)**에 의해 발생했으며, 이는 리뷰 사이클 동안 참여를 지속하는 데 어려움이 있음을 나타냅니다.
  • GitHub Copilot의 실패는 주로 **다른 PR에 의해 해결됨(31.8%)**에 의한 것이었으며, 이는 중복성과 타이밍 불일치를 나타냅니다.

의의 및 주장
본 논문은 AI 에이전트가 빈번하게 실행 가능한 수정 사항을 생성할 수 있음에도 불구하고(65% 병합률), 상당 부분의 기여가 기술적 결함과 워크플로우 역학의 결합으로 인해 통합에 실패한다고 주장합니다. 저자들은 구문론적으로 타당한 패치만으로는 충분하지 않다는 점을 강조합니다.

저자들이 강조한 핵심 시사점은 다음과 같습니다:

• 검증 vs 컴파일: 실패는 빌드나 배포 실패보다는 테스트 케이스 실패 및 잘못된 로직과 더 자주 연관되어 있으며, 이는 현재의 에이전트들이 기본적인 코드 생성보다는 검증 준비성 측면에서 어려움을 겪고 있음을 나타냅니다.
• 워크플로우 역학: 다른 PR에 의해 문제가 해결되거나 비활성 상태가 되는 것과 같은 프로세스 관련 요인들이 통합 결과에 중요한 역할을 하며, 이는 에이전트의 성공이 코드 품질뿐만 아니라 프로젝트 타이밍 및 리뷰 워크플로우와의 정렬(alignment)에 달려 있음을 시사합니다.
• 향례 방향: 이러한 발견은 현재 에이전트의 주요 한계를 노출하며, 자동화된 검증, 리뷰 상호작용 및 프로젝트별 기대치에 대한 정렬을 더 잘 지원할 수 있는 테스트 및 컨텍스트 인식형 에이전트 설계의 필요성을 강조합니다. 본 연구는 소프트웨어 유지보수를 위한 인간-AI 협업을 개선하기 위한 토대로서 기능합니다.