AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate

기술 요약: AI는 인간의 검토 속도보다 빠르게 코드를 작성한다

문제 제정
기업들은 엔지니어링 생산성을 두 배로 높이겠다는 기대와 함께 AI 코딩 도구 도입을 점점 더 강제하고 있다. 그러나 이러한 명령이 어떻게 전개되는지, 생산성 향상을 이끄는 메커니즘은 무엇인지, 그리고 조직적 비용은 어떠한지에 대한 종단적 증거는 부족한 실정이다. 기존의 현장 연구들은 19%의 속도 저하부터 40%의 이득까지 상충하는 결과를 보고하고 있으며, 업계 매체들은 견고한 공개 데이터 없이도 출력량이 배수로 증가한다고 주장한다. 더욱이 대부분의 연구는 롤아웃(rollout)의 진화 과정을 측정하기보다는 특정 시점의 효과를 측정하는 데 그치고 있어, 대규모의 이득이 달성 가능한지, 이 이득이 개발자와 코드베이스 사이에 어떻게 분배되는지, 그리고 조직이 품질이나 검토 역량을 저해하지 않으면서 발생하는 처리량을 어떻게 흡수하는지에 대한 의문이 남아 있다.

방법론
본 논문은 2025년 6월에 12개월 이내에 엔지니어당 병합된 풀 리퀘스트(PR) 수를 두 배로 늘리는 것을 목표로 하는 '2배 명령(2× mandate)'을 시행한 중견 규모의 AI 선도형 B2B 소프트웨어 기업에 대한 정량적 종단 사례 연구를 제시한다. 본 연구는 2024년 1월부터 2026년 4월까지 802명의 개발자와 196,212개의 PR을 아우르는 패널 데이터셋을 활용한다.

• 데이터 소스: 저자들은 상용 AI 도구(Cursor 및 Claude Code)의 내부 텔레메트리, PR 이력(타임스탬프, 크기, 상태 포함), 그리고 HR 역할 데이터를 마이닝하였다. 이들은 어휘적 및 행동적 신호와 내부 created-by-ai 라벨을 사용하여 AI가 작성한 PR을 식별하였다.
• 설계: 핵심 분석에는 스태거드 이중차분법(staggered difference-in-differences, DiD) 설계를 적용한다. 명령 날짜가 아닌 각 개발자의 특정 AI 도입 월에 맞춤으로써, 연구는 개발자 내부의 출력 변화를 격리한다. 이 접근 방식은 명령을 직접적인 동인이 아닌 채택을 위한 촉매제로 취급하여, 즉각적인 채택 효과와 시간이 흐름에 따라 축적되는 이득을 분리할 수 있게 한다.
• 추정량: 비무작위적 채택(더 생산적인 개발자가 먼저 채택할 가능성)으로 인한 잠재적 편향을 해결하기 위해, 저자들은 개발자 고정 효과를 사용하고 개발자 단위로 표준 오차를 클러스터링하며, 채택자만을 미채택자와 비교하는 Callaway–Sant'Anna 및 Borusyak imputation 등의 다중 추정량을 통해 결과를 검증한다.
• 분해: 연구는 생산성 이득을 두 가지 채널, 즉 즉각적인 "채택 점프(adoption jump)"와 "누적 사용(cumulative use)" 효과(용량-반응, dose-response)로 분해하며, 캘린더 트렌드 및 모델 생성 릴리스(Sonnet 4.5, Opus 4.5, Opus 4.6)를 통제한다.

주요 결과

1. 생산성 이득: 인당 PR 처리량은 2026년 4월 기준으로 명령 전 베이스라인 대비 2.09배 증가했다. 그러나 이 총체적 이득은 거의 전적으로 개발자 내부의 개선에 의해 주도된다.

   • 채택 vs. 축적: 이 이득은 즉각적인 부스트가 아니다. 분해 결과, 초기 채택 점프도 유의미하지만, 이득의 대부분은 축적된 사용에서 발생한다. 개발자의 출력은 AI 도구 사용량이 누적됨에 따라 성장하며, 9개월간의 도구 사용 후에는 1.46배에서 1.72배(모델 엄격성에 따라 다름)의 이득에 도달한다.
   • 이질성: 이 이득은 숙련도 수준(IC부터 Principal까지)에 걸쳐 폭넓게 공유되지만, 신규 레포지토리(2022년 이후 생성)에 집중되어 있으며 레거시 코드에서는 미미하다. 이 이득은 특정 모델 세대별로 구분되지 않는데, 이는 조직의 사용량 증가가 모델 릴리스와 맞물려 있어 모델의 능력 향상과 축적된 사용자 경험을 분리하는 것이 불가능하기 때문이다.
   • 관리 영향: 비례적 이득은 관리직(+86%)에서 가장 높게 나타났으며, 이는 AI가 관리자가 직접 코딩에 다시 참여하는 장벽을 낮춰준다는 것을 시사한다.

2. 검토 프로세스의 재구조화: 코드 생산의 급증은 검토 시스템에 부담을 주었다.

   • 부하 이동: 검토자당 부하가 대략 두 배로 증가했다. 이를 흡수하기 위해 조직은 자동화된 검토로 심하게 전환했다. 인간의 검토를 받는 PR의 비율은 89%에서 68%로 감소한 반면, 자동 검토 커버리지는 약 19%에서 ~84%로 상승하여 인간의 검토를 추월했다.
   • 인간 검토 품질: 실질적인 인간의 검토(코멘트)는 감소한 반면, "침묵하는(silent)" 승인은 증가했다. 남은 인간의 검토 활동은 더 얇아졌으며, 깊은 참여보다는 승인에 초점을 맞추게 되었다.
   • 지연 시간: AI가 작성한 PR은 인간이 작성한 PR에 비해 첫 번째 인간 검토부터 병합까지의 사이클 타임이 약 20% 더 길었으나, 병합 및 되돌리기(revert) 비율은 유사했다. 이 지연 시간은 인간의 검토 역량이 작성 속도를 따라잡지 못해 검토 큐(queue)에 정체가 발생하는 병목 현상 때문인 것으로 분석된다.

3. 품질 프록시(Proxy): 병합률은 평이하게 유지되었고, 되돌리기 비율은 약간 감소했다. 그러나 저자들은 병합/되돌리기 비율이 기술 부채, 유지보수성 또는 인지 부채를 포착하지 못하는 거칠고 단기적인 프록시라고 경고한다.

의의 및 주장
본 논문은 AI 코딩 도구로부터 얻을 수 있는 가장 큰 현장 이득 중 하나(목표치인 "2배"에 근접)를 보고한다고 주장하지만, 이 이득의 메커니즘과 지속 가능성에 대해 중요한 주의 사항을 덧붙인다:

• 도구 도입이 아닌 프로세스 재설계: 연구는 기업의 AI 명령이 단순한 도구 도입이 아니라 프로세스 재설계 문제라고 결론짓는다. 생산성 이득은 명령에 의해 켜지는 스위치가 아니라, 기술과 사용 강도의 점진적인 축적이다. 명령은 채택을 위한 촉매제 역할을 했지만, 실제 수익은 "용량-반응"으로서의 축적된 사용에 의해 결정된다.
• 병목 지점의 이동: 롤아웃의 주요 결과는 더 빠른 배포가 아니라 노동 분업의 근본적인 변화였다. 조직은 검토를 자동화로 넘김으로써 증가된 볼륨을 흡수했으며, 이는 결과적으로 병목 지점을 코드 생성에서 코드 검토로 이동시켰다.
• 맥락적 타당성: 저자들은 자신의 연구 결과를 "최선의 시나리오"(예산 제한이 없고 AI 친화적인 젊고 허용적인 기업)로 규정한다. 저자들은 이 결과가 일반적인 산업 평균이나 즉각적이고 공짜인 이득으로 해석되어서는 안 된다고 명시적으로 밝힌다.
• 한계: 연구는 롤아웃이 무작위로 이루어지지 않았음을 인정하며, 따라서 정확한 인과적 크기는 점 식별(point-identified)되기보다는 경계가 정해진 값임을 밝힌다. "축적된 사용" 효과는 AI가 생산성 증가를 유발했다기보다, 고생산성 개발자가 AI를 더 많이 사용하는 경향을 반영할 수 있는 연관성이다. 또한, 본 연구는 병합 시점까지의 처리량만을 측정하므로 다운스트림 비용(기술 부채, 유지보수 등)은 측정되지 않았다.

요약하자면, 본 논문은 유리한 조건 하에서 거의 두 배에 달하는 처리량 달성이 가능하지만, 이는 기술 축적을 위한 긴 기간을 필요로 하며, 자동화가 인간의 검토를 대체함으로써 표준적인 처리량 지표로는 포착되지 않는 코드 품질 및 인지 부채에 관한 새로운 위험을 초래할 수 있는 구조적 변화를 수반한다고 주장한다.