1. 문제 정의 (Problem)

• 배경: GitHub Copilot, Cursor 와 같은 자율 에이전트 (Agentic Coding) 를 활용한 코딩이 개발 효율성을 높이고 있지만, 생성된 코드의 양이 급증하여 코드 리뷰어의 부담을 가중시키고 있습니다.
• 핵심 문제: AI 에이전트가 생성한 코드는 종종 불필요하거나 중복된 내용을 포함하고 있으며, 이는 최종적으로 Pull Request(PR) 리뷰 과정에서 삭제되는 경우가 많습니다.
• 현황: 현재 리뷰어들은 삭제될 가능성이 높은 코드를 미리 식별할 수 있는 도구가 없어, 모든 생성된 코드를 검토한 후 불필요한 것을 판단해야 하므로 인지적 부하 (Cognitive Load) 가 증가하고 있습니다.
• 연구 목표: PR 생성 시점에 어떤 메서드가 나중에 삭제될 가능성이 높은지 예측하여, 리뷰어가 핵심 코드에 집중할 수 있도록 지원하는 모델 개발.

2. 연구 방법론 (Methodology)

2.1 데이터 수집 및 전처리

• 데이터셋: AIDev 데이터셋 (5 개의 주요 AI 에이전트가 생성한 33,596 개의 PR) 을 사용.
• 선정 기준:
  • Python 코드 변경이 포함된 PR 만 추출 (리팩토링 감지 도구 제약).
  • 병합 (Merge) 된 PR 만 선별 (최종적으로 필요한지 확인 가능).
  • 최종 샘플: 197 개 프로젝트의 1,664 개 PR.
• 메서드 식별:
  • ast 모듈을 사용하여 각 PR 의 변경된 파일에서 메서드를 파싱.
  • 리팩토링 처리: ActRef 도구를 사용하여 메서드 이름 변경, 이동, 인라인 등의 리팩토링을 감지. 리팩토링된 메서드는 '삭제'로 분류하지 않고 생존으로 간주하여 오분류를 방지.
  • 레이블링: PR 생성 시점 (Added) 과 병합 시점 (Merged) 을 비교하여, 생성되었으나 병합 시점에 사라진 메서드를 'Deleted Methods', 남아있는 메서드를 'Survived Methods' 로 분류.

2.2 특징 추출 (Feature Extraction)

각 메서드에서 코드 품질 분석에 일반적으로 사용되는 23 가지 특징을 추출 (Table 1 참조):

• 크기 (Size): 코드 줄 수 (code_loc), 문자 수 (char_length), 토큰 수, docstring 단어 수 등.
• 메서드 유형 (Method Type): getter/setter 여부, 테스트 코드 포함 여부, 프라이빗 메서드 (_ 접두사), 더더 (dunder) 메서드 등.
• 내용 (Contents): 파라미터 수, 변수 수, 함수 호출 수, 주석 비율, 사이클로매틱 복잡도 (Cyclomatic Complexity), Halstead Volume, 중첩 깊이 등.

2.3 연구 질문 (RQ) 및 분석

• RQ1: 에이전트가 생성한 메서드가 삭제되는 비율은 얼마나 되며, 그 특징은 무엇인가?
  • Mann-Whitney U 검정과 Cliff's delta 효과 크기를 사용하여 '삭제된 메서드'와 '생존한 메서드'의 분포 비교.
• RQ2: 메서드 삭제를 얼마나 정확하게 예측할 수 있는가?
  • 모델: 불균형 데이터를 처리하기 위해 소수 클래스에 맞춰 언더샘플링을 적용한 Random Forest (RF) 분류 모델 구축.
  • 비교 대상: 무작위 예측, 상용 LLM (GPT-4o).
  • 평가 지표: AUC, 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-Score.

3. 주요 결과 (Key Results)

3.1 삭제 현황 및 특징 (RQ1)

• 삭제율: 전체 생성 메서드의 약 2.6% 가 삭제됨. 하지만 수정이 필요한 PR(리뷰가 진행된 PR) 에 한정하면 메서드 레벨에서 6.0%, 파일 레벨까지 포함하면 9.9% 가 삭제됨.
• 차별적 특징: 삭제된 메서드는 생존한 메서드와 비교해 다음과 같은 특징을 보임 (효과 크기가 큰 순):
  1. 메서드 이름 길이 (method_name_words): 삭제된 메서드는 이름이 더 긴 경향.
  2. 문자 수 (char_length): 전체 문자 수가 많음.
  3. 코드 줄 수 (code_loc): 줄 수가 더 많음.
  • 의미: AI 는 종종 과도하게 길고 상세한 설명을 포함하거나 불필요하게 긴 메서드를 생성하는 경향이 있음.

3.2 예측 모델 성능 (RQ2)

• 성능 비교 (AUC 기준):
  • 제안된 모델 (Random Forest): 0.871
  • GPT-4o: 0.621
  • 무작위 예측: 0.500
• 상세 분석:
  • GPT-4o: 정확도는 높았으나 (83.6%), 재현율 (Recall) 이 극히 낮음 (2.6%). 즉, 대부분의 코드를 '생존할 것'으로 잘못 예측하여 삭제될 코드를 놓침.
  • 제안 모델: 정밀도는 낮음 (4.9%) 이지만 재현율이 매우 높음 (82.5%). 실제로 삭제될 코드를 대부분 찾아냄.
  • GPT-4o 의 실패 원인: GPT-4o 는 코드의 국소적 품질 (가독성, 타입 힌트, best practice 준수 등) 이 높으면 '유지될 것'이라고 판단했으나, 실제로는 시스템 요구사항 불일치나 중복 기능으로 인해 삭제되는 경우가 많음. (예: Figure 2 의 사례)
• 중요 특징: 모델의 예측에 가장 큰 영향을 미친 특징은 method_name_words, char_length, tokens 등 크기 관련 지표였음. 반면, 메서드 유형 (getter/setter 등) 은 예측에 큰 기여를 하지 못함.

4. 주요 기여 (Key Contributions)

1. 실증적 분석: Agentic Coding 환경에서 실제로 삭제되는 메서드의 통계적 비율과 특징을 최초로 정량적으로 규명함.
2. 예측 모델 개발: PR 생성 시점에 삭제될 메서드를 높은 재현율 (Recall) 로 예측하는 머신러닝 모델 (AUC 87.1%) 을 제안.
3. LLM 한계 지적: 최신 LLM(GPT-4o) 이도 코드 생성 시의 '국소적 품질'과 '시스템적 필요성'을 혼동하여 삭제 예측에 실패함을 보임.
4. 리뷰 효율화 도구: 리뷰어가 불필요한 코드를 선별하여 검토 시간을 단축하고 인지적 부하를 줄일 수 있는 실용적인 접근법 제시.

5. 의의 및 한계 (Significance & Limitations)

• 의의: AI 코딩 도구의 확산으로 인한 '코드 리뷰 병목 현상'을 해결할 수 있는 데이터 기반 솔루션을 제공. 개발 생산성 향상과 코드 품질 유지의 균형을 찾는 데 기여.
• 한계 (Threats to Validity):
  • 내적 타당도: 리팩토링 감지 도구의 오검지로 인한 레이블 오류 가능성.
  • 구성 타당도: 병합 후 삭제되는 코드는 분석 대상에서 제외됨. 삭제 이유가 항상 코드 품질 문제는 아닐 수 있음 (요구사항 변경 등).
  • 외적 타당도: Python 프로젝트에 국한된 연구이므로, Java 나 C++ 등 다른 언어로 일반화하기 어려움.

6. 결론

이 연구는 AI 에이전트가 생성한 코드 중 불필요한 부분을 미리 식별하는 것이 가능함을 입증했습니다. 제안된 예측 모델은 리뷰어가 핵심 코드에 집중할 수 있도록 도와주며, 향후 기존 코드베이스와의 시맨틱 유사성 분석 등을 통해 예측 정확도를 더욱 높일 수 있을 것으로 기대됩니다.