🤖 AI

How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests

이 논문은 GitHub 풀 리퀘스트를 분석하여 AI 코딩 에이전트가 인간 개발자보다 더 많은 커밋 수로 코드를 수정하고 설명과 변경 사항 간의 유사성이 약간 더 높다는 대규모 실증적 증거를 제시합니다.

원저자: Daniel Ogenrwot, John Businge

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

원저자: Daniel Ogenrwot, John Businge

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 연구의 배경: 로봇 요리사가 등장하다

과거에는 요리사 (개발자) 만이 레시피를 보고 요리를 만들었습니다. 하지만 최근에는 '코딩 AI'라는 로봇 요리사들이 등장해서, 스스로 재료를 다듬고 (코드 작성), 완성된 요리를 서빙 요청 (Pull Request) 으로 내어놓습니다.

하지만 우리는 이 로봇 요리사들이 정말 인간 요리사와 똑같은 방식으로 일하는지, 아니면 뭔가 다른 습관이 있는지를 정확히 알지 못했습니다. 이 연구는 24,000 개가 넘는 로봇 요리사의 주문과 5,000 개가 넘는 인간 요리사의 주문을 비교해 그 차이를 찾아냈습니다.

🔍 주요 발견 1: "작은 조각" vs "대단한 요리" (구조적 차이)

연구 결과, 로봇 요리사와 인간 요리사는 요리를 만드는 방식에서 큰 차이가 있었습니다.

인간 요리사 (Human PRs):
- 특징: 한 번에 많은 재료를 다듬고, **여러 개의 접시 (파일)**를 동시에 건드리며, 요리를 완성하기 위해 수차례 시도를 합니다 (커밋 횟수 많음).
- 비유: 인간은 "오늘 저녁 메뉴를 완전히 바꾸자!"라고 생각하면, 식탁 전체를 정리하고 여러 요리를 동시에 준비하듯, 코드를 광범위하게 고칩니다.
로봇 요리사 (Agentic PRs):
- 특징: 매우 작고 구체적인 부분만 다듬습니다. 한 번에 한 가지 일만 집중해서 처리하며, 한 번에 끝내려 합니다 (커밋 횟수 적음).
- 비유: 로봇은 "소금 한 꼬집만 더 넣자"라고 생각하면, 그 소금 한 꼬집만 정확히 넣고 바로 서빙 요청을 보냅니다. 너무 큰 변화보다는 작고 국소적인 수정을 선호합니다.

💡 핵심 포인트: 로봇이 코드를 많이 바꾼다는 뜻이 아니라, 변경 사항을 어떻게 쪼개서 제출하느냐가 다릅니다. 로봇은 "작은 조각"으로 나누어 제출하는 것을 훨씬 더 잘합니다.

🔍 주요 발견 2: "메뉴 설명서"와 "실제 요리"의 일치도

요리사가 서빙 요청할 때, "이 요리는 매콤합니다"라고 적어놓은 **설명서 (PR 설명)**와 **실제 요리 (코드 변경 내용)**가 잘 맞는지 확인했습니다.

인간 요리사: 설명서와 요리는 대체로 잘 맞지만, 가끔 "매콤하다"고 썼는데 실제로는 "달다"는 경우가 있기도 합니다.
로봇 요리사: 놀랍게도 로봇이 쓴 설명서가 실제 요리 내용과 더 잘 맞았습니다.
- 비유: 로봇은 "이 요리는 매콤합니다"라고 적으면, 실제로도 매운 고추를 넣는 등 말과 행동이 매우 일치합니다. 특히 로봇이 만든 설명서는 코드가 무엇을 의미하는지 (의미적 유사성) 를 인간보다 더 정확하게 전달하는 경향이 있었습니다.

📊 연구의 결론 및 시사점

로봇은 '작고 깔끔한' 일을 잘합니다: 인간처럼 거창하게 코드를 뒤집어엎기보다는, 필요한 부분만 정확히 고쳐서 제출합니다.
로봇은 '말을 잘합니다': 자신이 무엇을 고쳤는지 설명하는 능력도 인간 못지않게, 혹은 더 잘합니다.
우리가 해야 할 일: 이제 코드 리뷰를 할 때, 로봇이 보낸 요청은 "너무 작아서 무시할까?"라고 생각하기보다, **"로봇이 이렇게 작은 조각으로 나누어 제출했으니, 이 작은 조각들이 모여 큰 변화를 만들었을 수도 있으니 꼼꼼히 확인하자"**는 태도가 필요합니다.

🎁 요약

이 연구는 **"AI 가 코딩할 때 인간과 똑같지 않다"**는 것을 증명했습니다. AI 는 작은 조각으로 나누어 깔끔하게 일을 처리하고, 자신의 작업을 정확하게 설명하는 능력이 뛰어납니다. 이제 우리는 이 새로운 '로봇 동료'와 더 잘 협업하기 위해, 그들의 독특한 작업 방식을 이해하고 적응해야 합니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: GitHub Copilot, OpenAI Codex, Claude Code, Devin 등 AI 코딩 에이전트들이 소프트웨어 개발 과정에서 단순한 보조 도구를 넘어, 자율적으로 코드를 생성하고 풀 리퀘스트 (PR) 를 제출하는 '능동적 협력자'로 진화하고 있습니다.
문제점: 기존 연구는 주로 개발자와 AI 의 상호작용이나 생산성 향상에 집중했으나, 실제 리포지토리에서 AI 가 생성한 PR 과 인간이 작성한 PR 의 차이, 특히 **코드 수정 방식 (구조적 특성)**과 변경 사항에 대한 설명 (PR 설명) 의 정확성에 대한 실증적 증거는 부족했습니다.
연구 목적: AI 에이전트가 오픈소스 개발에 어떻게 기여하는지, 그리고 그 신뢰성과 유지보수성 영향을 평가하기 위해 대규모 데이터를 기반으로 두 그룹 (AI vs 인간) 의 PR 을 비교 분석하는 것.

2. 연구 방법론 (Methodology)

본 연구는 MSR 2026 Mining Challenge를 위해 제공된 AIDev 데이터셋을 활용하여 다음과 같은 4 단계 프로세스로 진행되었습니다.

데이터 수집 및 전처리:
- 데이터셋: 116,211 개의 리포지토리에 포함된 932,791 개의 AI 에이전트 PR 과 6,618 개의 인간 PR 포함.
- 필터링: 병합 (Merged) 된 PR 만을 대상으로 하며, 유효한 패치 (diff) 가 포함된 PR 로 제한.
- 최종 분석 규모: 24,014 개의 AI PR(440,295 개의 커밋) 과 5,081 개의 인간 PR(23,242 개의 커밋).
- 보완: 인간 PR 의 경우 데이터셋에 커밋 단위의 세부 정보가 누락되어 있어, GitHub REST API 를 통해 커밋 메타데이터와 파일 단위 패치를 재구성하여 AI PR 과 비교 가능한 구조로 정제.
분석 지표 (Metrics):
- 구조적 특성 (RQ1): 추가/삭제된 라인 수 (LOC), 수정된 파일 수, 커밋 수.
- 설명 - 코드 정합성 (RQ2): PR 설명과 코드 Diff 간의 일치도.
  - 어휘적 유사성 (Lexical): TF-IDF 코사인 유사도, Okapi BM25.
  - 의미적 유사성 (Semantic): CodeBERT 와 GraphCodeBERT 를 활용한 임베딩 코사인 유사도.
통계 분석: 정규성 가정이 위반된 데이터 분포를 고려하여 Mann-Whitney U 검정을 수행하고, 효과 크기를 **Cliff's delta ( $\delta$ )**로 정량화.

3. 주요 연구 결과 (Key Results)

RQ1: 구조적 특성 비교 (AI vs 인간)

커밋 수 (Commit Count): AI PR 과 인간 PR 사이에서 가장 큰 차이가 발생 (Cliff's $\delta$ = 0.5429, Large Effect). 인간은 변경 사항을 여러 커밋으로 세분화하는 반면, AI 는 상대적으로 적은 수의 커밋으로 변경을 처리하는 경향이 있음.
수정된 파일 수 및 삭제 라인: 인간 PR 이 더 많은 파일을 수정하고 더 많은 코드를 삭제하는 경향이 있음 (Medium Effect).
추가 라인 및 총 변경량: 두 그룹 간 차이가 상대적으로 작음 (Small Effect). 즉, AI 가 추가하는 코드의 양 자체는 인간과 비슷하지만, 이를 어떻게 조직화 (커밋 구조) 하고 분배하는지가 핵심 차이.
에이전트별 차이: Claude Code 와 OpenAI Codex 는 변동성이 크고 광범위한 수정을 하는 반면, Devin, Cursor, Copilot 은 더 작고 국소화된 (Localized) 변경을 생성하는 경향이 있음.

RQ2: PR 설명과 코드 Diff 의 정합성

의미적 유사성 (Semantic Similarity): 두 그룹 모두 PR 설명과 코드 Diff 간의 의미적 일치도가 매우 높음 (0.9~1.0 구간). 이는 AI 가 작성한 설명이 실제 코드 변경의 의도를 잘 반영하고 있음을 시사.
어휘적 유사성 (Lexical Similarity): 설명과 Diff 간의 표면적인 단어 중복도는 낮으나, AI PR 이 인간 PR 보다 설명 - Diff 일치도가 약간 더 높은 경향을 보임.
결론: AI 에이전트가 생성한 PR 설명은 인간이 작성한 설명과 비교해도 일관성이 높으며, 오히려 일부 지표에서 더 높은 정합성을 보임.

4. 주요 기여 (Contributions)

대규모 실증 비교: MSR 2026 데이터셋을 활용하여 AI 에이전트 PR 과 인간 PR 의 구조적 코드 변경 패턴을 대규모로 비교 분석한 최초의 연구 중 하나.
설명 - 코드 정합성 평가: PR 설명이 실제 코드 수정을 얼마나 정확하게 포착하는지 어휘적 및 의미적 차원에서 평가.
재현성 확보: 분석에 사용된 정제된 데이터와 분석 스크립트를 포함한 복제 패키지 (Replication Package) 를 공개.

5. 의의 및 시사점 (Significance & Implications)

코드 리뷰 프로세스 개선: AI PR 의 규모를 판단할 때 단순히 코드 라인 수 (LOC) 에 의존하기보다, 커밋 수와 수정된 파일 수를 초기 지표로 활용하여 리뷰 우선순위를 결정할 수 있음.
리스크 관리: 광범위한 파일 수정이나 많은 삭제 라인을 포함하는 AI PR 은 인간 PR 과 유사한 리스크를 가질 수 있으므로 더 면밀한 검토가 필요할 수 있음.
자동화 도구 활용: AI PR 의 설명과 코드 간 높은 의미적 일치도를 활용하여 릴리스 노트 생성, 변경 로그 작성, 리뷰어 라우팅 등의 자동화 작업을 수행할 수 있음.
에이전트 특성화: 모든 AI 에이전트가 동일한 행동을 하는 것이 아니므로 (예: Copilot 은 국소적, Claude 는 광범위), 에이전트 유형과 작업 맥락을 고려한 맞춤형 관리 전략이 필요함.

6. 결론

본 연구는 AI 코딩 에이전트가 생성한 PR 이 인간과 비교하여 코드 변경의 양보다는 변경 사항의 구조화 (커밋 조직화) 및 분포에서 뚜렷한 차이를 보임을 발견했습니다. 또한, AI 가 생성한 PR 설명은 코드 변경 내용과 높은 의미적 일치를 보여주어, AI 가 소프트웨어 개발 워크플로우에서 신뢰할 수 있는 협력자로서 기능할 잠재력을 가지고 있음을 시사합니다. 향후 연구에서는 이러한 구조적 패턴이 리뷰 노력, 결함 위험, 유지보수성에 미치는 구체적인 영향을 규명해야 할 것입니다.