Improving LLM-Driven Test Generation by Learning from Mocking Information

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 자동화된 유닛 테스트 생성 분야에서 큰 잠재력을 보여주지만, 여전히 몇 가지 한계가 존재합니다.

• 제한된 컨텍스트: 기존 LLM 기반 테스트 생성 접근법들은 주로 테스트 대상 클래스 (CUT) 의 소스 코드와 주석/문서에 의존합니다.
• 활용되지 않는 정보: 개발자가 작성한 기존 테스트 스위트에는 테스트 더블 (Test Doubles, 흔히 'Mock'이라고 함) 을 통해 인코딩된 풍부한 사용 패턴과 기대 행위가 포함되어 있습니다. 이는 의존성 주입, 스텝핑 (Stubbing), 검증 (Verify) 연산 등을 통해 명시되지만, 기존 LLM 접근법에서는 이러한 정보가 테스트 생성에 활용되지 않고 방치되어 왔습니다.
• 핵심 질문: 기존 테스트 스위트에 존재하는 개발자 정의 Mock 정보를 활용하여 LLM 이 생성하는 테스트의 품질과 효과를 향상시킬 수 있는가?

2. 방법론 (Methodology): MOCKMILL

저자들은 MOCKMILL이라는 새로운 LLM 기반 기술과 도구를 제안했습니다. 이는 기존 테스트 스위트에서 자동으로 추출된 Mock 정보를 활용하여 새로운 테스트를 생성하는 4 단계 프로세스로 구성됩니다.

1. 프로젝트 분석 (Project Analysis):

   • 프로젝트의 테스트 코드 (AST 분석) 를 파싱하여 Mockito (Java) 와 같은 프레임워크를 사용하여 테스트 더블로 대체된 컴포넌트 (의존성) 와 해당 컴포넌트에 정의된 스텝핑 (Stubbing) 및 검증 (Verify) 연산을 식별합니다.
   • 생성된 테스트가 프로젝트 내부 코드에 집중되도록 3rd 파티 라이브러리는 제외합니다.

2. Mock 추출 (Mock Extraction) - 핵심 혁신:

   • 식별된 대상 컴포넌트에 대한 Mock 정보를 구조화된 JSON 형식으로 추출합니다.
   • 구체적으로 어떤 메서드가 호출되었는지, 어떤 인자가 전달되었는지, 어떤 반환값이나 예외가 발생했는지를 포착합니다.
   • 이는 LLM 의 컨텍스트 윈도우를 과부하시키지 않도록 전체 테스트 파일을 넣는 대신, 핵심적인 행동 패턴 정보만 선별하여 제공합니다.

3. 테스트 생성 (Test Generation):

   • 추출된 Mock 정보와 대상 클래스의 전체 소스 코드를 LLM 프롬프트에 포함시킵니다.
   • 프롬프트는 변형 기반 적합성 (Mutation-based adequacy) 을 목표로 설계되었으며, LLM 에게 실제 객체를 인스턴스화하고 Mock 정보를 기반으로 한 정확한 어설션 (Assertion) 을 작성하도록 지시합니다.
   • Few-shot prompting 전략을 사용하여 간단한 예시를 제공합니다.

4. 생성 후 수리 (Post-Generation Repair):

   • 생성된 테스트가 컴파일 오류나 런타임 오류가 발생할 경우, 오류 메시지를 LLM 에게 다시 입력하여 수정을 요청하는 반복적 루프 (Generation-and-Repair Loop) 를 수행합니다.
   • 테스트가 성공적으로 실행될 때까지 이 과정을 반복합니다.

3. 주요 기여 (Key Contributions)

• 새로운 접근법: LLM 기반 테스트 생성에 기존 테스트 스위트의 Mock 정보를 활용하는 최초의 연구입니다.
• MOCKMILL 도구 구현: Java 프로젝트 (JUnit 5, Mockito) 를 대상으로 하는 프로토타입 도구를 구현하고 오픈소스로 공개했습니다.
• 실증적 평가: 6 개의 오픈소스 Java 프로젝트 (10 개의 클래스) 와 4 가지 LLM (GPT-4o Mini, GPT-5 Mini, GPT-5, Claude Sonnet 4.5) 을 사용하여 광범위한 평가를 수행했습니다.

4. 실험 결과 (Results)

MOCKMILL 은 기존 프로젝트 테스트, 랜덤 테스트 (Randoop), 그리고 Mock 정보 없이 생성된 LLM 테스트 (Baseline) 와 비교되었습니다.

• 효과성 (Effectiveness):

  • MOCKMILL 은 높은 컴파일 성공률 (최종적으로 92100%) 과 실행 통과율 (98.699.7%) 을 보였습니다.
  • 변형 점수 (Mutation Score): GPT-5 Mini 와 Claude Sonnet 4.5 를 사용한 경우 중앙값 변형 점수가 각각 84%, 89% 로 매우 높게 나타났으며, 기존 테스트나 Baseline 이 놓친 결함 (Mutants) 을 발견하는 능력이 뛰어났습니다.
  • 코드 커버리지: Line Coverage 역시 Baseline 대비 높은 수치를 기록했습니다.

• 상호 보완성 (Complementarity):

  • MOCKMILL 이 생성한 테스트는 기존 테스트나 다른 도구들이 놓친 **고유한 변형 (Unique Mutations)**을 발견하는 데 성공했습니다. (예: CAS 클래스에서 24.56%, RRA 클래스에서 25.64% 의 고유 변형 제거율).
  • 이는 Mock 정보가 LLM 에게 새로운 테스트 시나리오를 탐색하도록 유도하여 테스트 스위트의 다양성을 높인다는 것을 의미합니다.

• 비용 (Cost):

  • Mock 정보를 추가함으로써 프롬프트 길이가 늘어나 입력 토큰 비용이 약 5~15% 증가했습니다.
  • 그러나 GPT-5 Mini 와 같은 모델은 비용 대비 성능이 가장 우수하여, 높은 테스트 품질을 유지하면서 실용적인 비용 효율성을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 검증된 가치: 개발자가 이미 작성한 테스트의 Mock 정보는 LLM 이 현실적이고 의미 있는 테스트를 생성하는 데 강력한 컨텍스트 가이드 역할을 합니다.
• 상호 보완적 접근: MOCKMILL 은 기존 테스트를 대체하는 것이 아니라, 기존 테스트 스위트와 기존 LLM 기반 생성 방식을 보완하여 더 포괄적인 테스트 커버리지와 결함 탐지 능력을 제공합니다.
• 미래 연구 방향: Mock 정보를 활용한 테스트 생성은 LLM 기반 소프트웨어 테스트의 새로운 패러다임을 제시하며, 추후 다양한 프로그래밍 언어와 프레임워크로 확장될 수 있는 가능성을 열었습니다.

요약하자면, 이 논문은 **"기존 테스트에 숨겨진 Mock 정보를 LLM 에게 가르쳐주면, 더 정확하고 포괄적인 테스트를 자동으로 생성할 수 있다"**는 것을 실증적으로 증명했습니다.