Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 소프트웨어 개발 관행은 프롬프트 기반 (단순 명령) 접근법에서 에이전트 기반 코딩 도구 (Agent-based coding tools) 로 빠르게 전환되고 있습니다. 에이전트 도구는 저장소의 컨텍스트를 이해하고, 테스트 생성, 실행, 수정을 자율적으로 반복하여 더 정교한 테스트를 생성할 수 있습니다.
• 문제: 기존 연구들은 통제된 실험 환경에서 LLM 이 생성한 테스트의 품질을 평가했으나, 실제 개발 환경 (Real-world scenarios) 에서 에이전트 도구가 얼마나 자주 테스트를 생성하는지, 그리고 인간이 작성한 테스트와 구조적/기능적으로 어떤 차이가 있는지에 대한 실증적 데이터는 부족했습니다.
• 목표: 실제 오픈소스 프로젝트에서 AI 에이전트가 생성한 테스트의 빈도, 구조적 특성, 그리고 코드 커버리지에 미치는 영향을 정량적으로 분석하여 에이전트 기반 테스트 생성 기술의 실용성을 평가하는 것.

2. 연구 방법론 (Methodology)

이 연구는 AIDev 데이터셋을 기반으로 한 실증 분석을 수행했습니다.

• 데이터 수집 및 필터링:

  • 언어: AIDev 데이터셋 내 AI 작성 PR 이 가장 많은 언어인 TypeScript를 선정.
  • 프레임워크: 커버리지 측정을 위해 테스트 프레임워크를 통일. TypeScript 생태계에서 가장 널리 쓰이는 Vitest를 사용하는 프로젝트로 필터링.
  • 프로젝트 선정: AI 가 테스트를 추가한 활동이 가장 활발한 상위 10 개 프로젝트 (cal.com, azure-sdk-for-js, liam 등) 를 최종 샘플로 선정.
  • 데이터셋: 총 2,232 개의 커밋 (테스트 관련 변경 포함) 을 추출하여 분석.

• 연구 질문 (RQ) 및 분석 기법:

  • RQ1 (빈도): AI 에이전트가 테스트를 추가하는 빈도는 얼마나 되는가?
    • GitHub API 를 통해 PR 내 커밋을 추출하고, + 접두사가 붙은 추가 라인에서 test(), it(), describe() 등의 패턴을 정규식으로 탐지하여 '테스트 추가 커밋'을 식별.
    • Git blame 과 AST 파싱을 통해 각 라인의 작성자 (AI 또는 인간) 를 판별.
  • RQ2 (구조적 차이): AI 와 인간이 작성한 테스트 메서드의 차이는 무엇인가?
    • 지표 기반 분석: 유효 코드 라인 수 (eLoC), 어설션 (assertion) 수, 사이클로매틱 복잡도 (Cyclomatic Complexity, CC) 계산.
    • 임베딩 시각화: CodeBERT 모델을 사용하여 테스트 메서드의 벡터 임베딩을 생성하고, t-SNE 를 통해 2 차원 공간에서 분포를 시각화하여 군집화 패턴 분석.
  • RQ3 (커버리지 영향): 에이전트 도구가 코드 커버리지를 개선하는가?
    • 테스트 추가 전 (부모 커밋) 과 후 (테스트 추가 커밋) 의 문장 (Statement) 및 분기 (Branch) 커버리지를 측정하여 변화량 비교.

3. 주요 결과 (Key Results)

RQ1: AI 의 테스트 생성 빈도

• 전반적 기여도: 실제 저장소에서 테스트를 추가하는 모든 커밋 중 16.4% 가 AI 가 작성한 것으로 나타남.
• 프로젝트 규모에 따른 차이:
  • 소규모/초기 프로젝트: AI 가 테스트 생성의 주체 역할을 함 (예: total-typescript-monorepo 는 100%, capgo 는 83.3% AI 작성).
  • 대규모/기업 프로젝트: AI 는 보조적인 역할에 그침 (예: cal.com 은 14.4%, azure-sdk-for-js 는 1.9%).
  • 결론: 팀 규모가 작거나 실험적인 프로젝트일수록 AI 의 테스트 주도성이 높음.

RQ2: AI vs 인간 테스트의 구조적 특성

• 코드 길이 (eLoC): AI 테스트는 인간 테스트보다 약간 더 길지만 (중앙값 12.0 vs 11.0), 분산이 매우 작아 일관성이 높음. 인간 테스트는 매우 긴 아웃라이어 (최대 699 라인) 가 존재하는 반면, AI 는 87 라인 이내로 제한됨.
• 어설션 (Assertion) 수: AI 테스트는 어설션 수가 더 많음 (중앙값 2.00 vs 1.00). 이는 한 번의 테스트 메서드 내에서 여러 검증 단계를 수행하는 경향이 있음을 의미하며, 이는 'Assertion Roulette'(하나의 테스트에 너무 많은 어설션이 있어 실패 원인 파악이 어려움) 테스트 냄새의 위험이 있음을 시사.
• 복잡도 (Cyclomatic Complexity): AI 테스트는 복잡도가 낮거나 동등함 (중앙값 1.00). 인간 테스트는 복잡한 분기 구조를 가진 경우가 많으나, AI 는 선형적이고 단순한 로직을 선호하여 복잡도 2~3 을 초과하는 경우가 드묾.
• 시맨틱 분포: t-SNE 시각화 결과, AI 테스트는 인간 테스트 분포에 따라 '분산형', '국소형', '고립형' 등 세 가지 패턴으로 나타남.

RQ3: 코드 커버리지 개선 효과

• 커버리지 향상: AI 가 생성한 테스트는 인간이 작성한 테스트와 비교할 수 있거나 더 높은 커버리지 향상을 보임.
  • liam 프로젝트: AI 테스트는 문장 커버리지 +0.072%p, 분기 커버리지 +0.074%p 향상 (인간은 오히려 감소).
  • appkit 프로젝트: AI 테스트는 분기 커버리지에서 +0.183%p로 인간 (+0.008%p) 보다 월등히 높은 개선 효과.
• 결론: AI 에이전트는 실제 코드 커버리지 향상에 유의미한 기여를 함.

4. 주요 기여 (Key Contributions)

1. 실제 환경 기반 실증 연구: 통제된 실험실이 아닌 실제 오픈소스 프로젝트 (AIDev 데이터셋) 에서 AI 에이전트의 테스트 생성 활동을 대규모로 분석한 최초의 연구 중 하나.
2. 구조적 특성 규명: AI 테스트가 인간 테스트보다 더 길고, 어설션이 많지만 복잡도는 낮고 선형적이라는 구체적인 구조적 패턴을 발견.
3. 커버리지 영향 입증: AI 가 생성한 테스트가 실제 프로젝트의 코드 커버리지를 유의미하게 개선한다는 것을 정량적으로 증명.
4. 프로젝트 규모별 역할 분석: 프로젝트의 규모와 성숙도에 따라 AI 의 역할이 '주도'에서 '보조'로 변한다는 통찰 제공.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 개발자들이 AI 에이전트 도구를 신뢰하고 테스트 자동화에 통합하는 데 필요한 근거를 제공함. 특히 AI 가 복잡한 로직보다는 선형적인 테스트를 선호하여 유지보수 측면에서 장점이 있을 수 있음을 시사.
• 한계 및 향후 과제:
  • 테스트 냄새 (Test Smells): 높은 어설션 밀도가 'Assertion Roulette'과 같은 유지보수 문제를 초래할 수 있으므로, 이를 정밀하게 평가할 필요성 있음.
  • 결함 탐지 능력: 높은 커버리지가 실제 결함 (Bug) 을 얼마나 잘 찾아내는지 평가하기 위해 변이 테스트 (Mutation Testing) 와 같은 추가 연구가 필요함.
  • 장기적 품질: 생성된 테스트의 장기적인 유지보수성과 기술 부채에 대한 심층 분석이 필요함.

이 연구는 AI 에이전트가 단순한 코드 생성 도구를 넘어, 실제 소프트웨어 품질 보증 (QA) 프로세스에서 중요한 역할을 수행할 수 있음을 입증했습니다.