Humans Integrate, Agents Fix: How Agent-Authored Pull Requests Are Referenced in Practice

1. 연구 배경 및 문제 제기 (Problem)

• 배경: Claude Code, Cursor, Devin, GitHub Copilot 등 AI 코딩 에이전트가 단순한 개발자 보조 도구를 넘어 자율적인 소프트웨어 개발 팀원으로서의 역할을 수행하고 있습니다. 이러한 에이전트들이 생성한 Pull Request(PR) 가 기존 개발 워크플로우에 어떻게 통합되고 있는지, 특히 코드 리뷰 (Code Review) 과정에서 어떻게 상호작용하는지에 대한 실증적 연구는 부족합니다.
• 문제: 에이전트 생성 PR 들이 고립된 기여로 취급되는지, 아니면 개발 이력의 필수적인 부분으로 통합되는지, 그리고 인간과 에이전트 간의 참조 (Reference) 행위가 어떤 패턴과 동기를 가지고 발생하는지 명확히 규명할 필요가 있습니다.

2. 연구 방법론 (Methodology)

• 데이터셋: 116,211 개의 저장소에서 72,189 명의 개발자와 5 가지 AI 에이전트 (Claude Code, Cursor, Devin, GitHub Copilot, OpenAI Codex) 가 작성한 총 932,791 개의 에이전트 생성 PR 이 포함된 AIDev 데이터셋을 사용했습니다.
• 샘플링: GitHub 에서 500 개 이상의 스타를 가진 인기 있는 2,807 개의 저장소에서 필터링된 33,596 개의 에이전트 생성 PR을 최종 분석 대상으로 선정했습니다.
• 분석 절차:
  1. 참조 이벤트 추출: PR 타임라인에서 참조 (Linking) 이벤트를 추출하여 '참조하는 PR (Referencing)'과 '참조받는 PR (Referenced)'을 식별했습니다.
  2. 상호작용 유형 분류:
     • Human-to-Agent (H-A): 인간이 작성한 PR/커밋이 에이전트 PR 을 참조.
     • Agent-to-Agent (A-A): 에이전트가 작성한 PR 이 다른 에이전트 PR 을 참조 (자기 참조 및 교차 참조 포함).
     • AI 지원 인간 참조: 커밋 메타데이터를 분석하여 인간이 AI 도구를 사용하여 다른 에이전트 PR 을 참조했는지 확인.
  3. 정량적 분석 (RQ2): 링크된 PR 과 비링크된 PR 을 비교하여 리뷰 노력 (커밋 수, 코멘트 수, 리뷰 소요 시간) 의 차이를 Mann-Whitney U 검정과 Cliff's delta 효과 크기로 분석했습니다.
  4. 정성적 분석 (RQ3): 213 개의 참조 이벤트를 수동으로 라벨링하고 카드 소팅 (Card Sorting) 기법을 적용하여 참조 동기를 분류하는 택소노미 (Taxonomy) 를 개발했습니다.

3. 주요 연구 질문 (Research Questions)

1. RQ1: 코드 리뷰 과정에서 에이전트 생성 PR 들이 얼마나 자주 링크 (참조) 되는가? (참조 빈도 및 주체)
2. RQ2: 에이전트 생성 PR 을 참조하는 행위가 코드 리뷰 과정 (노력, 시간) 에 어떤 영향을 미치는가?
3. RQ3: 에이전트 생성 PR 과 상호작용하는 주요 동기는 무엇인가? (참조 의도 분류)

4. 주요 연구 결과 (Key Results)

RQ1: 참조의 빈도와 주체

• 참조 비율: 에이전트 생성 PR 의 4.2% 가 다른 PR 에 의해 참조되었습니다. (OpenStack 등 인간 중심 프로젝트의 17~25% 보다는 낮으나, Android(5%) 나 LibreOffice(3%) 와 유사한 수준).
• 주체: 전체 참조의 95.62% 는 인간이 시작했습니다. 에이전트가 다른 PR 을 참조한 경우는 4.38% 에 불과했습니다.
• 메타 협업 (Meta-collaboration): 인간이 에이전트 PR 을 참조할 때, 56.6% 의 경우 AI 도구의 도움을 받아 수행했습니다. 이는 인간이 AI 를 단순히 코드 생성뿐만 아니라, 다른 AI 의 작업을 이해하고 통합하는 데에도 활용하고 있음을 보여줍니다.
• 에이전트 간 상호작용: 에이전트가 다른 에이전트 PR 을 참조할 때, 95.5% 는 자기 자신의 이전 PR 을 참조 (Self-reference) 하는 것이었습니다.

RQ2: 링크된 PR 의 리뷰 영향

• 더 높은 리뷰 노력: 링크된 PR 은 비링크된 (고립된) PR 에 비해 리뷰에 훨씬 더 많은 노력이 소요됩니다.
  • 커밋 수: 링크된 PR 은 약 2 배 더 많은 커밋을 포함합니다.
  • 소통: 코멘트 수가 더 많고, 리뷰 소요 시간 (Duration) 이 현저히 깁니다.
  • 통계적 유의성: 모든 지표에서 통계적으로 유의미한 차이가 관찰되었으며 (Cliff's delta: Medium to Large), 링크된 PR 이 통합 및 조정 비용을 증가시킴을 시사합니다.
• 시간적 패턴: 참조는 PR 생성 직후 (1 시간 이내) 또는 장기간 후 (1 주일 이상) 에 발생하는 이분산 (Bimodal) 패턴을 보입니다.

RQ3: 상호작용의 동기 (택소노미)

에이전트 생성 PR 에 대한 참조 동기는 **'구성적 (Constructive)'**과 **'수정적 (Corrective)'**으로 명확히 구분됩니다.

• Human-to-Agent (H-A): 통합자 역할

  • 주된 동기: 구성적 (59%). 인간은 에이전트의 코드를 기반으로 새로운 기능을 추가하거나 (Add/Update: 48%), 맥락을 설명하는 (Context: 9%) 방식으로 에이전트 작업을 확장합니다.
  • 의미: 인간은 에이전트 생성 코드를 '기반'으로 삼아 더 높은 수준의 통합을 수행합니다.

• Agent-to-Agent (A-A): 자기 수정자 역할

  • 주된 동기: 수정적 (68%). 에이전트는 주로 자신의 이전 작업을 수정 (Fix: 46%), 되돌리기 (Revert: 11%), 또는 폐기 (Deprecate: 11%) 합니다.
  • 의미: 에이전트는 주로 오류를 수정하거나 이전 코드를 개선하는 반복적 자기 정제 (Self-refinement) 루프에 참여합니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 협업 패러다임의 발견 ("Humans Integrate, Agents Fix"):
   • 인간은 에이전트 생성 코드를 **통합 (Integrate)**하고 확장하는 역할을, 에이전트는 자신의 작업을 **수정 (Fix)**하고 정제하는 역할을 수행한다는 명확한 분업 구조를 규명했습니다.
2. 메타 협업 (Meta-collaboration) 의 등장:
   • 인간 개발자가 AI 도구를 사용하여 다른 AI 가 생성한 아티팩트를 참조하고 상호작용한다는 사실은, AI 가 개발 생명주기 전반에 걸쳐 더 깊게 통합되고 있음을 시사합니다.
3. 코드 리뷰 프로세스에 대한 통찰:
   • 에이전트 생성 PR 이 링크될 경우 리뷰 비용이 크게 증가하므로, 향후 AI 코딩 에이전트 최적화 시 이러한 '연결성'과 '통합 노력'을 고려한 도구 개발이 필요함을 제안합니다.
4. 실증적 데이터 및 오픈 소스:
   • 33,000 개 이상의 대규모 에이전트 PR 데이터와 수동 라벨링된 참조 동기 데이터셋을 공개하여, 향후 에이전트 기반 소프트웨어 공학 연구의 기초를 마련했습니다.

6. 결론

이 연구는 AI 코딩 에이전트가 단순히 코드를 생성하는 것을 넘어, 인간 개발자와의 복잡한 상호작용을 통해 소프트웨어 개발 워크플로우에 통합되고 있음을 보여줍니다. 특히 인간은 확장하고 통합하며, 에이전트는 수정하고 정제한다는 핵심 인사이트는 향후 AI 에이전트의 성능 향상 및 인간-AI 협업 도구 설계에 중요한 방향성을 제시합니다.