1. 연구 배경 및 문제 정의 (Problem)

• 검색 기반 소프트웨어 테스트 (SBST) 의 한계: EvoSuite 와 같은 기존 SBST 기법은 진화 알고리즘 (EA) 을 사용하여 테스트 스위트의 구조적 커버리지를 최적화합니다. 그러나 복잡한 코드에서는 **조기 수렴 (premature convergence)**이 발생하거나, 의미 있는 다양한 테스트 케이스를 생성하는 데 어려움을 겪어 검색이 정체 (stagnation) 되는 문제가 있습니다.
• LLM 기반 테스트 생성의 한계: 최근 ChatUniTest, TestART 와 같은 LLM 기반 접근법은 문법적으로 정확하고 가독성이 높은 테스트를 생성할 수 있습니다. 하지만 복잡한 입력 공간 탐색 능력이 부족하고, 할루시네이션 (hallucination) 으로 인한 불안정성이 있으며, 외부 피드백 없이는 초기 생성물을 반복적으로 개선하는 데 한계가 있습니다.
• 핵심 문제: SBST 와 LLM 의 상호 보완적 강점을 활용하되, 단순히 LLM 으로 초기 세대를 생성하고 EA 로 최적화하는 수준을 넘어, 어떻게 하면 생성된 테스트의 '의미적 다양성 (semantic diversity)'을 체계적으로 확보하여 진화 과정의 정체기를 탈출하고 테스트 품질을 극대화할 수 있는가가 주요 과제입니다.

2. 제안된 방법론: EvoGPT (Methodology)

EvoGPT 는 LLM 기반 테스트 생성과 진화 알고리즘 기반 테스트 스위트 최적화를 통합한 하이브리드 시스템입니다. 주요 프로세스는 다음과 같습니다.

A. 초기 개체군 생성 (Initial Population Generation)

단순한 한 번의 LLM 호출이 아닌, 다양성을 의도적으로 부여하는 전략을 사용합니다.

1. 다중 에이전트 구성: 5 가지 서로 다른 LLM 에이전트 구성을 사용합니다. 각 에이전트는 고유한 시스템 프롬프트 (예: 엣지 케이스 집중, 깊은 객체 체인, 창의적 어설션 등) 와 Temperature 설정 (0.3~0.8) 을 결합합니다.
2. 생성 - 수리 루프 (Generation-Repair Loop): 생성된 테스트가 컴파일 오류나 런타임 오류를 발생시키면, TestART 에서 영감을 받은 수리 루프를 통해 스택 트레이스를 분석하고 자동으로 수정하거나 LLM 에게 재요청하여 테스트의 유효성을 높입니다.
3. 커버리지 향상 (Coverage Enhancement): 생성된 테스트 스위트의 커버리지 (JaCoCo 사용) 를 분석하여 미커버된 브랜치를 식별하고, 해당 부분을 덮는 추가 테스트를 LLM 에게 요청하여 초기 개체군을 보강합니다.
4. 결과: 총 25 개의 구조적, 의미적으로 다양한 테스트 스위트가 초기 개체군으로 생성됩니다.

B. 개체군 최적화 (Population Optimization)

생성된 초기 개체군을 진화 알고리즘 (EA) 으로 최적화합니다.

1. 적합도 함수 (Fitness Function): 코드 라인 커버리지 (LCCT), 브랜치 커버리지 (BCCT), 변이 점수 (MSCT) 를 가중치 (0.2, 0.3, 0.5) 를 두어 선형 결합한 지표를 사용합니다. 변이 탐지 능력을 가장 중요하게 평가합니다.
2. 진화 연산자: 선택 (Rank-based), 교차 (Crossover, 테스트 메서드 단위 재조합), 변이 (Mutation, 리터럴 변경, 어설션 제거 등) 를 적용합니다.
3. 정체기 탈출 메커니즘 (Plateau Escape): 진화 과정이 일정 기간 (τ) 동안 개선되지 않을 때, CodaMosa 에서 영감을 받아 **LLM 주입 (Injection)**을 수행합니다. 이때도 초기 생성 시와 마찬가지로 다양한 프롬프트와 Temperature 를 가진 LLM 에이전트를 사용하여 미커버된 브랜치와 변이를 타겟으로 한 새로운 테스트 메서드를 생성하여 현재 최우수 개체에 주입합니다. 이를 통해 지역 최적점 (local optima) 을 탈출합니다.

3. 주요 기여 (Key Contributions)

1. 고효율 SBST-LLM 하이브리드 시스템: 검색 기반 최적화와 LLM 의 생성 능력을 결합하여 고품질 테스트 스위트 생성을 가능하게 하는 EvoGPT 를 제안했습니다.
2. 의도적 다양성 부여 전략 (Diversity Induction): 초기 생성 및 정체기 탈출 단계에서 다양한 프롬프트와 Temperature 설정을 명시적으로 사용하여 의미적으로 다양한 테스트 케이스를 생성하는 것이 핵심임을 증명했습니다. 이는 단일 프롬프트나 고정된 설정보다 훨씬 효과적입니다.
3. 실증적 평가 및 분석: Defects4J 벤치마크를 통해 EvoSuite (SBST 기반) 와 TestART (LLM 기반) 와 비교 평가했습니다. 또한, 다양한 구성 요소를 제거하는 Ablation Study를 통해 다양성 부여와 정체기 탈출 메커니즘이 성능 향상에 결정적인 역할을 함을 입증했습니다.

4. 실험 결과 (Results)

Defects4J 벤치마크 (17 개 프로젝트, 137 개 이상의 포커스 메서드) 에서 EvoGPT 는 기존 기법들을 압도적으로 능가했습니다.

• 성능 지표 비교 (평균):
  • 변이 점수 (MSCT): EvoGPT (87%) > TestART (78%) > EvoSuite (69%). EvoGPT 는 TestART 대비 약 10% 향상, EvoSuite 대비 약 18% 향상.
  • 브랜치 커버리지 (BCCT): EvoGPT (90%) > TestART (80%) > EvoSuite (79%).
  • 라인 커버리지 (LCCT): EvoGPT (92%) > TestART (83%) > EvoSuite (83%).
• 통계적 유의성: Wilcoxon 부호 순위 검정 결과, 모든 지표에서 EvoGPT 가 두 베이스라인보다 통계적으로 유의미하게 (p < 0.001) 우수하며, 효과 크기 (Cliff's delta) 도 매우 큽니다.
• Ablation Study 결과:
  • LLM 만 사용하거나 (80.1% MSCT), 단순 EA 를 결합한 경우 (80.8% MSCT) 는 성능 향상이 미미했습니다.
  • Temperature 다양성과 Prompt 다양성을 추가할수록 성능이 점진적으로 향상되었습니다.
  • 정체기 탈출 (Plateau Recovery) 메커니즘이 추가되면 성능이 크게 상승하며, 이때에도 다양한 프롬프트/온도를 사용하는 것이 고정된 설정보다 더 큰 효과를 냈습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • LLM 과 SBST 의 단순 결합을 넘어, 생성 단계에서의 '다양성 (Diversity)'이 진화 알고리즘의 성공에 얼마나 중요한지를 체계적으로 입증했습니다.
  • LLM 이 생성한 테스트의 초기 다양성과 진화 과정 중의 다양성 유지가 지역 최적점 탈출과 높은 변이 점수를 달성하는 핵심 열쇠임을 보여줍니다.
  • 기존 SBST 의 커버리지 한계와 LLM 의 탐색 한계를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 한계:

  • 실행 시간 및 비용: LLM API 호출 (OpenAI gpt-4o-mini) 과 반복적인 컴파일/실행으로 인해 EvoSuite 나 TestART 대비 실행 시간 (약 8 분/클래스) 과 비용 ($0.32/클래스) 이 높습니다. 대규모 CI/CD 환경에서는 적용에 제약이 있을 수 있습니다.
  • 확장성: 현재는 자바 (Defects4J) 프로젝트에 국한되어 평가되었으며, 산업계 대규모 코드베이스나 다른 언어로의 확장성은 추가 연구가 필요합니다.

결론

EvoGPT 는 LLM 의 생성 능력과 진화 알고리즘의 최적화 능력을 효과적으로 융합한 시스템으로, 의도적인 프롬프트 및 온도 다양성 전략을 통해 생성된 테스트 스위트의 품질을 획기적으로 향상시킵니다. 이는 자동화된 단위 테스트 생성 분야에서 LLM 과 전통적인 검색 기반 기법의 시너지를 극대화하는 중요한 방향성을 제시합니다.