Automated Test Suite Enhancement Using Large Language Models with Few-shot Prompting

논문 제목: 소수 샷 프롬프팅 (Few-shot Prompting) 을 활용한 대규모 언어 모델 (LLM) 기반 자동화된 테스트 스위트 향상

1. 연구 배경 및 문제 정의 (Problem)

• 단위 테스트의 중요성: 소프트웨어 품질 보증의 핵심인 단위 테스트는 기능적 정확성을 검증하고, 유지보수 및 진화 과정에서 프로그램 이해를 돕는 실행 가능한 문서 역할을 합니다.
• 기존 접근법의 한계:
  • 수동 작성: 노동 집약적이고 시간이 많이 소요됨.
  • 전통적 자동화 도구 (SBST 등): 검색 기반 소프트웨어 테스트 (SBST) 등 기존 도구는 테스트 커버리지는 어느 정도 달성하지만, 생성된 테스트 코드의 가독성 (Readability) 과 자연스러움이 부족하여 실제 개발 환경에서 사용하기 어렵습니다.
  • LLM 의 한계: 최근 LLM 은 뛰어난 코드 생성 능력을 보이지만, '할루시네이션' (잘못된 코드 생성) 과 '비결정성' (동일 프롬프트에 다른 출력) 으로 인해 실행 오류가 빈번합니다. 또한, 기존 연구는 주로 제로샷 (Zero-shot) 프롬프팅에 집중되어 있어, 소수 샷 (Few-shot) 프롬프팅이 테스트 스위트 향상에 미치는 영향은 충분히 연구되지 않았습니다.
• 핵심 문제: LLM 이 생성한 테스트의 품질을 높이고 기존 테스트 스위트 (인간, SBST, LLM 생성 테스트가 혼재된 환경) 를 효과적으로 보완하기 위해, 어떤 출처의 예시 (Human, SBST, LLM) 를 소수 샷 프롬프트에 포함시키고, 어떤 방식으로 예시를 선택 (Retrieval) 해야 하는지에 대한 실증적 연구가 필요합니다.

2. 연구 방법론 (Methodology)

2.1 실험 설정

• 모델: GitHub Copilot 에 통합된 GPT-4o 사용.
• 데이터셋:
  • HumanEval: 단순한 코드 연습 문제 (단일 파일).
  • ClassEval: 클래스 간 참조가 필요한 복잡한 문제 (크로스 파일 참조).
  • 데이터 구성: 각 벤치마크에 대해 인간 작성 테스트, Pynguin(SBST) 을 이용한 SBST 생성 테스트, GPT-4o(Zero-shot) 를 이용한 LLM 생성 테스트를 각각 생성하여 3 가지 소스 (Human, Pynguin, ChatGPT) 의 예시 데이터를 구축.
• 프롬프트 설계:
  • 시스템 프롬프트: 역할 부여 (Persona Pattern) 및 출력 형식 지정.
  • 유저 프롬프트: 테스트 대상 클래스 정의 및 소수 샷 예시 (5 개) 포함.
  • 예시 수: 사전 실험을 통해 5 개의 예시가 최적임을 확인.

2.2 예시 선택 기법 (RQ2, RQ4)

LLM 에 제공할 예시 테스트를 선택하는 4 가지 전략을 비교 평가:

1. 무작위 선택 (Baseline): 전체 테스트 스위트에서 무작위 선택.
2. 테스트 대상 클래스 내 무작위 선택: 현재 테스트 대상 클래스 (CUT) 의 기존 테스트에서 무작위 선택.
3. 유사도 기반 선택:
   • 문제 정의 유사도: 자연어 문제 설명의 유사도.
   • 소스 코드 유사도: 코드 구조의 유사도.
   • 문제 정의 + 소스 코드 유사도: 두 가지 점수를 결합 (Problem+Code).

2.3 평가 지표 (Metrics)

• 기능적 정확성 (Functional Correctness): 문법 오류 (Syntactic), 컴파일 성공 (Compilation), 실행 통과 (Execution).
• 코드 커버리지 (Code Coverage): 라인 커버리지 (Line Coverage), 분기 커버리지 (Branch Coverage).
• 코드 품질 (Code Quality):
  • 순환 복잡도 (Cyclomatic Complexity), 인지 복잡도 (Cognitive Complexity).
  • 테스트 냄새 (Test Smells), 유지보수성 (Maintainability), 기술 부채 (Technical Debt).

2.4 평가 파이프라인

1. 생성: 프롬프트를 통해 LLM 이 테스트 생성.
2. 검증 및 수정 (Repair): 생성된 테스트의 실행 오류를 해결하기 위해 규칙 기반 수정 (Rule-based Repair) 적용 (예: 누락된 import 추가, 문법 오류 수정, 불완전한 출력 제거 등 9 가지 규칙).
3. 최적화 (Optimization): 생성된 테스트가 기존 스위트의 커버리지를 향상시키는지 확인하여, 중복되거나 불필요한 테스트는 제거하고 향상된 테스트만 통합.

3. 주요 연구 질문 (Research Questions)

• RQ1: 소수 샷 프롬프트의 예시 소스 (Human, SBST, LLM) 가 생성된 테스트의 품질에 어떤 영향을 미치는가?
• RQ2: 예시 선택 기법 (무작위 vs 유사도 기반) 이 생성된 테스트의 품질에 어떤 영향을 미치는가?
• RQ3: 다양한 소스의 예시를 사용하여 기존 테스트 스위트의 품질 (커버리지, 정확성 등) 을 향상시키는 데 어떤 효과가 있는가?
• RQ4: 유사도 기반 예시 선택이 기존 스위트의 커버리지 향상에 어떤 영향을 미치는가?

4. 주요 결과 (Results)

4.1 예시 소스의 영향 (RQ1)

• 정확성: 수정 (Repair) 전에는 SBST(Pynguin) 생성 예시가 가장 높은 실행 통과율을 보였으나, 규칙 기반 수정 후 모든 소스 (Human, SBST, LLM) 가 높은 통과율 (약 76~84%) 을 달성했습니다. 이는 LLM 이 생성한 테스트의 오류가 주로 사소한 실수 (import 누락 등) 임을 시사합니다.
• 커버리지: 인간 작성 예시 (Human-written) 를 사용한 경우, HumanEval 과 ClassEval 모두에서 가장 높은 라인 및 분기 커버리지를 달성했습니다. 이는 인간 코드가 LLM 에게 더 나은 패턴을 제공함을 의미합니다.
• 코드 품질: 인간 예시를 사용한 테스트가 인지 복잡도가 다소 높았으나, 전반적인 유지보수성 (기술 부채, 테스트 냄새) 은 소스 간 큰 차이가 없었습니다.

4.2 예시 선택 기법의 영향 (RQ2)

• 정확성: 선택 기법에 따른 정확성 차이는 미미했습니다.
• 커버리지: "Problem + Source Code Similarity"(문제 정의와 소스 코드를 결합한 유사도) 기반 선택 기법이 가장 일관되게 높은 커버리지를 보였습니다. 특히 ClassEval 에서 인간 및 LLM 소스와 결합 시 가장 효과적이었습니다.
• 비효율성: "테스트 대상 클래스 내 무작위 선택 (Random from Class)" 기법은 오히려 성능이 저하되어, 동일한 클래스의 테스트만 반복 제시하는 것은 비효율적임을 확인했습니다.

4.3 테스트 스위트 향상 효과 (RQ3, RQ4)

• 커버리지 향상: 모든 소스 (Human, SBST, LLM) 에서 소수 샷 프롬프팅을 통해 기존 스위트의 커버리지를 향상시킬 수 있었습니다.
  • HumanEval: 모든 소스에서 최적화된 후 커버리지가 98~99% 에 근접했습니다.
  • ClassEval: 인간 예시가 가장 높은 최종 커버리지를 달성했으나, SBST 예시가 초기 커버리지가 낮은 스위트를 가장 크게 향상시켰습니다.
• 코드 품질 변화: 최적화 과정에서 순환 복잡도 (Cyclomatic Complexity) 는 다소 증가했으나, 인지 복잡도나 기술 부채는 큰 변화가 없었습니다. 이는 생성된 테스트가 복잡도를 높이지 않으면서 커버리지를 확장했음을 의미합니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 실증적 통찰: 소수 샷 프롬프팅에서 예시 소스 (Human vs SBST vs LLM) 와 선택 전략이 테스트 생성 품질에 미치는 영향을 체계적으로 분석했습니다.
2. SBST 의 재발견: 인간 작성 테스트가 단독 생성 시 가장 좋았으나, 기존 커버리지가 낮은 스위트를 보완 (Enhancement) 하는 목적에서는 SBST 생성 예시도 매우 효과적임을 발견했습니다. 이는 "인간 예시가 항상 최선"이라는 가정을 반박합니다.
3. 실용적 프레임워크 제안: LLM 이 생성한 테스트를 바로 사용하는 것이 아니라, 검증 - 수정 (Repair) - 최적화 (Optimization) 파이프라인을 통해 기존 스위트에 통합하는 접근법의 유효성을 입증했습니다.
4. 선택 전략의 중요성: 단순한 무작위 선택보다는 문제 정의와 소스 코드를 결합한 유사도 기반 선택이 더 높은 커버리지를 달성하는 데 효과적임을 규명했습니다.
5. 실무자 및 연구자 지침:
   • 실무자: LLM 생성 테스트를 독립적인 스위트로 만들기보다, 기존 스위트의 공백을 메우는 보조 도구 (Augmentation) 로 활용하고, 경량화된 규칙 기반 수정을 적용해야 함.
   • 연구자: 테스트 생성 평가 시 정확성과 커버리지뿐만 아니라 유지보수성, 인지 복잡도, 테스트 냄새 등을 포함한 다각적인 지표를 사용해야 함.

6. 결론

이 연구는 LLM 이 소수 샷 프롬프팅과 적절한 예시 선택, 그리고 규칙 기반 수정을 통해 실행 가능하고 높은 커버리지를 가진 단위 테스트를 생성할 수 있음을 입증했습니다. 특히, 기존 테스트 스위트의 품질을 향상시키는 데 있어 인간 작성 예시뿐만 아니라 SBST 생성 예시도 강력한 대안이 될 수 있으며, 문제와 코드의 유사도를 기반으로 한 예시 선택이 가장 효과적인 전략임을 제시했습니다. 이는 하이브리드 인간-AI 개발 워크플로우에서 테스트 자동화의 실용성을 크게 높이는 기여를 합니다.