AI-Assisted Unit Test Writing and Test-Driven Code Refactoring: A Case Study

논문 요약: AI 지원 단위 테스트 작성 및 테스트 주도 코드 리팩토링

1. 문제 정의 (Problem)

많은 소프트웨어 시스템은 프로토타입이나 최소 기능 제품 (MVP) 으로서 개발되며, 이는 장기적인 유지보수성보다는 배포 속도와 요구사항 변화에 대한 대응에 중점을 둡니다. 이러한 접근 방식은 시간이 지남에 따라 구조가 최적화되지 않은 코드베이스와 기술 부채를 초래합니다.

• AI 프로그래밍의 한계: 최신 AI(대형 언어 모델, LLM) 는 예측 가능하고 잘 조직된 코드 환경에서 가장 효과적으로 작동합니다. 구조가 엉망인 코드는 AI 의 효율성을 제한하며, 이는 기회 비용으로 작용합니다.
• 리팩토링의 위험: 인간 개발자가 직접 대규모 리팩토링을 수행하는 것은 비용이 너무 많이 들고 위험합니다. 또한, AI 가 코드를 리팩토링할 때 발생할 수 있는 '할루시네이션 (허위 정보 생성)'이나 버그 도입을 방지할 안전장치가 필요합니다.
• 핵심 질문: AI 가 기존 시스템의 동작을 포착하는 포괄적인 테스트 스위트 (Test Suite) 를 자동으로 생성할 수 있으며, 이를 기반으로 AI 가 안전하게 대규모 리팩토링을 수행할 수 있는가?

2. 방법론 (Methodology)

이 연구는 상업용 웹 애플리케이션 (React/Next.js, 약 19k 줄의 코드, TypeScript/TSX 중심) 을 대상으로 한 사례 연구입니다. 연구팀은 계층적 멀티 에이전트 (Hierarchical Multi-agent) 워크플로우를 도입하여 '계획 (Planner)'과 '실행 (Executor)'을 분리했습니다.

주요 단계:

1. 규칙 및 컨텍스트 설정:

   • GEMINI.md, .cursorrules 등의 지속 가능한 규칙 파일을 통해 네이밍 컨벤션, 임포트 규칙, 테스트 생성 가이드라인을 정의했습니다.
   • "Plan-Act-Verify" 루프를 따르며, 강력한 모델 (Gemini 2.5 Pro) 이 전체 코드베이스를 분석하여 마크다운 형식의 고수준 계획을 수립하고, 실행 모델 (Cursor 의 통합 모델) 이 이를 구현하도록 했습니다.

2. 1 단계: AI 지원 테스트 스위트 구축 (AI-Assisted Test Suite Construction)

   • 목표: 기존 시스템의 동작을 포착하는 포괄적인 단위 테스트 생성.
   • 프로세스:
     • 계획 모델이 테스트할 영역과 구조를 정의.
     • 실행 모델이 테스트 코드 생성.
     • 인간 개입 최소화: 개발 중 생성된 코드는 즉시 검토되지 않음. 대신, 기존 소스 코드에서 테스트가 통과하는지 여부로 품질을 검증.
     • 수정 및 검증: 실패 시 제한된 횟수의 재시도 후 제거. 생성 완료 후 **변이 테스트 (Mutation Testing)**를 수행하여 비효율적인 테스트를 제거하고, 최종적으로 개발자가 전체 이터레이션을 검토하여 승인/거부.
   • 특징: 테스트는 모의 객체 (Mocking) 공유, 테스트 데이터 분리 등 재사용 가능한 인프라를 구축하는 방향으로 진화함.

3. 2 단계: AI 지원 테스트 가드 리팩토링 (AI-Assisted Test-Guarded Refactor)

   • 목표: 생성된 테스트 스위트가 '안전장치 (Guardrail)' 역할을 하도록 하여, AI 가 코드 구조를 개선하도록 유도.
   • 제약 조건: 테스트 파일은 원칙적으로 수정 불가 (변수 이름 변경 등 필수 경우 제외).
   • 프로세스: 규칙 파일과 계획 파일을 기반으로 AI 가 모듈성 향상, 파일 크기 축소, 복잡성 핫스팟 해소를 위해 코드를 리팩토링. 모든 변경 사항은 기존 테스트가 통과해야만 적용됨.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 테스트 생성 결과

• 규모: 약 16,000 줄 이상의 신뢰할 수 있는 단위 테스트 생성 (단위 테스트 명세만 약 11,000 줄).
• 커버리지: 타겟팅된 논리 중심 모듈에서 분기 커버리지 (Branch Coverage) 78.12%, 라인 커버리지 67.85% 달성.
• 품질: 생성된 테스트는 단순한 코드 생성을 넘어, 공유된 모의 객체 카탈로그, API 모킹 레이어, 전역 테스트 하네스 등 재사용 가능한 인프라를 구축함.
• 문서화: 테스트와 소스 코드의 비율이 1:1 에 근접하여, 테스트 스위트 자체가 기대 동작에 대한 문서 역할을 수행함.

B. 리팩토링 결과

• 구조적 변화:
  • 라우팅 레이어 축소: 기존에 모든 로직이 집중되어 있던 src/app (라우팅) 레이어의 코드 양이 65.3% 감소 (17,872 줄 → 6,201 줄).
  • 새로운 레이어 도입: 로직이 Features, Shared, Domains 등 명확한 아키텍처 레이어로 재분배됨.
  • 파일 수 증가: 전체 파일 수는 237 개에서 263 개로 증가했으나, 이는 단순한 코드 증가가 아닌 논리적 재분배 (146 개 추가, 120 개 삭제) 를 반영함.
• 코드 품질 지표 개선:
  • 결합도 (Coupling): 라우팅 레이어 내 내부 임포트 수가 893 개에서 379 개로 57.5% 감소하여 모듈 간 의존성이 낮아짐.
  • 순환 복잡도 (Cyclomatic Complexity): 함수당 평균 순환 복잡도가 2.24 에서 2.13 으로 감소.
  • 모듈화: 파일당 평균 줄 수는 82 에서 86 으로 소폭 증가했으나, 이는 기능적 응집력 (Cohesion) 이 높은 모듈로 재구성되었음을 의미.

C. 관찰된 한계 및 해결책

• 가치 불일치 (Value Misalignment): AI 는 때때로 "지나치게 성실하지는 않지만 성능은 좋은" (lazy but performant) 테스트를 생성하여 커버리지는 높지만 실제 유효성이 낮은 테스트를 만들었습니다. 이를 해결하기 위해 변이 테스트를 도입하여 비효율적인 테스트를 식별하고 제거했습니다.
• 인간 개입의 필요성: 완전 자동화는 불가능하며, 계획 수립, 최종 승인, 그리고 가치 정렬 (Value Alignment) 보정을 위해 개발자의 개입이 필수적입니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

1. 실용적 가능성 증명: 기존에 테스트가 부재하거나 MVP 수준인 레거시 코드베이스에서도 AI 를 활용하여 대규모 테스트 스위트와 리팩토링을 성공적으로 수행할 수 있음을 입증했습니다.
2. 안전한 자동화 워크플로우: "테스트 생성 → 테스트 가드 리팩토링"이라는 두 단계 워크플로우는 AI 의 할루시네이션 위험을 테스트 통과 여부로 제한함으로써, 대규모 코드 변경을 안전하게 수행할 수 있는 패러다임을 제시합니다.
3. 소프트웨어 공학의 경험적 과학화: 데이터 수집 (커버리지, 복잡도 등) 과 제약 메커니즘 (테스트, 규칙 파일) 을 통해 빠르고 안전한 반복 (Iteration) 을 지원하는 경험적 접근법의 중요성을 강조합니다.
4. 미래 방향: 다양한 기술 스택과 레거시 시스템으로의 확장 연구가 필요하며, AI 의 가치 정렬 문제를 해결하기 위한 명확한 품질 지표와 피드백 루프의 표준화가 요구됩니다.

결론적으로, 이 연구는 AI 지원 코딩이 단순한 코드 생성을 넘어, 체계적인 테스트와 제약 조건 하에서 복잡한 소프트웨어 시스템의 구조적 개선을 이끌 수 있는 강력한 도구임을 보여줍니다.