A Large-Scale Comprehensive Measurement of AI-Generated Code in Real-World Repositories A Large-Scale Comprehensive Measurement of AI-Generated Code in Real-World Repositories

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 소프트웨어 공학을 급격히 변화시키고 있으며, 개발자들은 작은 코드 조각부터 전체 프로젝트까지 AI 를 활용하여 생성하고 있습니다.
• 문제점: 기존 연구는 주로 통제된 환경 (벤치마크, 프롬프트 기반 평가) 에서 소규모로 수행되었습니다. 실제 개발 환경에서는 AI 생성 코드가 인간이 작성한 코드와 복잡하게 얽히고, 반복적으로 수정되며 대규모 코드베이스에 통합됩니다.
• 연구 격차: 실제 저장소 (Real-world repositories) 에서 AI 생성 코드의 코드 수준 (Code-level) 특성 (복잡성, 구조, 결함 등) 과 커밋 수준 (Commit-level) 특성 (변경 규모, 빈도, 안정성 등) 을 종합적으로 분석한 대규모 실증 연구가 부재했습니다.

2. 연구 방법론 (Methodology)

2.1 데이터 수집 및 정제 (Dataset Construction)

• 목표: GitHub 의 실제 저장소에서 AI 가 관여한 코드를 대규모로 식별하고 수집.
• 3 단계 필터링 파이프라인:
  1. 초기 수집: GitHub REST API 를 활용하여 코드 주석에 명시적인 LLM 언급 (예: "generated by ChatGPT") 이 포함된 파일 수집 (초기 31,726 커밋).
  2. 다단계 규칙 기반 필터링:
     • 키워드 정규화 (부정확한 부분 문자열 매칭 제거).
     • 의미적 귀속 필터링 (코드 생성이 아닌 문서화 등 다른 용도 언급 제거).
     • 사용 기반 제외 (코드 생성이 아닌 보조 도구로만 언급된 경우 제거).
  3. LLM 보조 분류: 규칙으로 판단이 불확실한 샘플에 대해 LLM 분류기 (ChatGPT 5-mini) 를 사용하여 추가 식별.
• 최종 데이터셋: 12,749 개의 커밋, 19,816 개의 AI 생성 코드 파일.
• 대조군 구성 (Human Code Alignment): 편향을 줄이기 위해 AI 생성 파일과 동일한 저장소, 동일한 언어, 유사한 크기 (±20%) 를 가진 인간 작성 코드를 매칭하여 36,467 개의 인간 작성 파일과 비교 분석.

2.2 측정 지표 (Metrics)

• 코드 수준 (Code-Level):
  • 크기 및 통계: 줄 수 (LOC), 토큰 수.
  • 구조적 복잡성: AST 기반 함수/문장/루프/조건부 수, 사이클로매틱 복잡도, 중첩 깊이.
  • 코드 스타일: 중복률 (Duplication), 빈 줄 비율.
  • 객체 지향 설계 (OOP): WMC, DIT, CBO 등 CK 메트릭.
  • 프로그램 그래프: 제어 흐름 (CFG), 데이터 흐름 (DFG), 호출 그래프 (Call Graph) 분석.
  • 보안 및 결함: CodeQL 을 통한 취약점 (CWE) 및 보안 경고 분석.
• 커밋 수준 (Commit-Level):
  • 시간적 패턴: 근무 시간/주말 비율, 릴리스 전후 시기.
  • 변경 특성: 수정 파일 수, 변경 라인 수 (Churn).
  • 사후 진화: 수정/되돌림 (Revert) 빈도, 안정화 시간, 협업 패턴 (Handoff latency).

3. 주요 기여 (Key Contributions)

1. 대규모 데이터셋 공개: 실제 GitHub 저장소에서 추출된 AI 생성 코드에 대한 현재까지 가장 큰 규모의 데이터셋 (약 2 만 개 파일) 을 구축하고 공개.
2. 종합적 측정 연구: 기존 연구와 달리 코드 수준의 구조적/품질적 특성과 커밋 수준의 개발 프로세스 특성을 동시에 분석.
3. 실무적 통찰 도출: AI 지원 프로그래밍의 실제 영향력과 개발자 행동 변화에 대한 실행 가능한 인사이트 제공.

4. 주요 연구 결과 (Key Results)

4.1 코드 수준 특성 (Code-Level Findings)

• 간결함 vs 명시성 (Verbosity): AI 생성 코드는 인간 작성 코드보다 더 verbose(구체적이고 길게) 합니다. 주석 양은 비슷하지만, 코드 본문의 구조적 요소와 토큰 수가 더 많습니다.
• 구조적 복잡성:
  • AI 코드는 루프와 중첩 깊이가 더 깊지만, 사이클로매틱 복잡도 차이는 미미합니다.
  • 인간 코드는 조건부 논리나 불리언 표현식에 복잡성을 집중시키는 반면, AI 는 계층적 (Layered) 인 중첩을 선호합니다.
  • 재귀 (Recursion) 사용 감소: AI 는 반복문 (Iterative) 을 선호하여 재귀 호출을 덜 사용합니다.
• 코드 중복 (Duplication): 인간 코드는 파일 간 (Cross-file) 재사용이 많지만, AI 코드는 파일 내 (Within-file) 또는 작업별 생성으로 인해 파일 간 중복이 적고 조각화된 (Fragmented) 중복 패턴을 보입니다.
• 객체 지향 설계 (OOP): 언어에 따라 결과가 다릅니다. C++ 에서는 인간 코드가 훨씬 복잡하고 결합도가 높은 반면, Java 에서는 두 그룹의 차이가 거의 없습니다.
• 보안 및 결함:
  • 전체적인 치명적 오류 (Critical) 는 비슷하지만, AI 코드는 높은 위험 (High-risk) 및 중간 위험 경고가 더 많습니다.
  • JavaScript 에서 AI 생성 코드의 고위험 취약점이 특히 두드러집니다.
  • 비밀 정보 유출: 인간 코드는 비밀번호 유출이 많고, AI 코드는 API 키/토큰 유출이 더 많습니다.

4.2 커밋 수준 특성 (Commit-Level Findings)

• 시간적 패턴: AI 관련 커밋은 근무 시간 외 (야간/주말) 에 발생할 확률이 높지만, 릴리스 직전 (30 일 이내) 에는 인간 코드가 더 많습니다 (AI 는 안정성 중요한 단계에서 덜 사용됨).
• 변경 규모: AI 관련 커밋은 파일 수와 변경 라인 수가 훨씬 적고 세분화 (Localized) 되어 있습니다.
• 유지보수 및 안정성:
  • 단기 (7 일) 에는 큰 차이가 없으나, 장기 (30~90 일) 에는 AI 코드가 더 자주 수정되고, 더 많은 개발자가 관여하며, 안정화 (Stabilization) 시간이 더 깁니다.
  • 코드 이관 (Handoff) 지연 시간이 더 길어지지만, 결국 더 넓은 협업으로 이어집니다.

5. 의의 및 시사점 (Significance & Implications)

• 개발 프로세스의 변화: AI 는 단순히 코드를 더 빠르게 작성하게 하는 것이 아니라, 코드 표현 방식과 진화 과정을 재구성합니다. AI 는 초기 작성 (Drafting) 에 효과적이지만, 추상화와 구조 단순화 (Refactoring) 에는 추가적인 노력이 필요합니다.
• 개발자 및 도구 제공업체에 대한 제언:
  • 개발자: AI 생성 코드를 '최종 결과'가 아닌 '초안'으로 간주해야 합니다. 생성 후 재사용성 확보, 불필요한 확장 제거, 구조적 단순화에 집중해야 합니다.
  • AI 벤더: 현재 도구는 즉시 정확성에 최적화되어 있으나, 장기적인 유지보수성 (Maintainability) 과 코드 재사용성을 고려한 최적화가 필요합니다. 특히 언어별 특성에 맞는 전략이 필요합니다.
• 연구적 의의: 통제된 실험실 환경이 아닌 실제 생태계 (In-vivo) 에서 AI 코드의 특성을 규명한 최초의 대규모 연구로서, 향후 소프트웨어 공학 연구의 기준을 제시합니다.

이 논문은 AI 가 소프트웨어 개발에 미치는 영향을 단순한 생산성 향상을 넘어, 코드의 구조적 품질과 유지보수 비용의 재분배 관점에서 이해해야 함을 강조합니다.