기술 요약: MocklessTester

문제 정의

대규모 언어 모델 (LLM) 이 자동화된 테스트 생성에 잠재력을 보여주고 있지만, 자바에 대한 기존 접근법은 주로 테스트 대상 메서드 (MUT) 를 의존성에서 격리하기 위해 Mockito 와 같은 모킹 프레임워크에 의존합니다. 이러한 의존성은 두 가지 근본적인 한계를 초래합니다:

1. 얕은 커버리지: 모킹된 테스트는 MUT 를 격리된 상태로만 실행하여 의존성 클래스의 실제 동작은 테스트되지 않은 채 남깁니다.
2. 모킹의 취약성: 테스트는 가정된 API 동작에 강하게 결합되어, 실제 동작이 호환되더라도 의존성이 진화하면 테스트가 깨집니다.

실제 의존성을 인스턴스화하고 실행하는 모킹 없는 (Mockless) 테스트는 해결책을 제시하지만 상당한 어려움에 직면합니다. 유효한 모킹 없는 테스트를 생성하려면 언어 제약 조건을 엄격히 준수하고, 객체를 올바르게 인스턴스화하며, 유효한 API 호출 시퀀스를 구성해야 합니다. 현재 LLM 기반 접근법은 다음과 같은 두 가지 환각 (hallucination) 의 근본 원인으로 인해 여기서 어려움을 겪습니다:

• 모름 (Not Knowing): LLM 이 올바른 코드를 생성하기 위해 프로젝트별 컨텍스트 (예: 유효한 생성자, 팩토리 메서드, 또는 사용 패턴) 를 충분히 갖추지 못함.
• 준수하지 않음 (Not Following): 제약 조건이 제공되더라도 LLM 이 이를 준수하지 못함 (예: 심볼 유효성 위반 또는 API 호출 프로토콜 위반). 이는 종종 강제 메커니즘의 부재로 인해 발생함.

방법론: MocklessTester

저자들은 자바를 위한 모킹 없는 단위 테스트 생성 접근법인 MocklessTester를 제안하며, 이는 반복적인 계획 - 생성 - 검증 - 수정 (plan–generate–validate–fix) 워크플로우를 활용합니다. 이 시스템은 식별된 근본 원인을 해결하기 위해 두 가지 핵심 전략을 중심으로 구축되었습니다: **컨텍스트가 풍부한 생성 (Context-enriched Generation)**과 제약 조건이 강제된 수정 (Constraint-enforced Fixing).

1. 준비 단계

테스트 생성이 시작되기 전에 MocklessTester 는 대상 리포지토리를 분석하여 세 가지 프로젝트별 아티팩트를 구성합니다:

• 코드 속성 그래프 (CPG): Joern 을 사용하여 구축되며, 이 그래프는 의존성 사용을 포착하여 프로그램 슬라이싱을 통해 실제 객체 생성 및 API 호출 예시를 검색할 수 있게 합니다.
• ClassIndex: 프로젝트에서 가시적인 모든 클래스, 메서드, 생성자 및 가져오기 (import) 의 기록입니다. 이는 수리 (repair) 중 심볼을 검증하고 타입을 해결하기 위한 기준 (ground truth) 으로 작용합니다.
• 마르코프 타입스테이트 모델 (Markov Typestate Model): 상태가 있는 API 에 대한 유효한 메서드 호출 순서를 포착하는 확률 모델입니다. 소스 코드 증거에서 초기화되며 테스트 결과에 따라 동적으로 업데이트되어 불법 호출 시퀀스를 감지합니다.

2. 반복적 멀티 에이전트 루프

생성 과정에는 Initializer, Planner, Generator, Validator, Fixer라는 다섯 가지 에이전트가 관여합니다.

• 컨텍스트가 풍부한 생성: "모름"을 완화하기 위해 Generator는 CUT 소스 코드에만 의존하지 않습니다. 대신 프로그램 슬라이서가 프로젝트의 프로덕션 코드와 테스트 코드에서 의존성의 실제 인스턴스화 및 사용 패턴을 채굴합니다. 이러한 패턴은 프롬프트에 주입되어 LLM 이 타당한 객체 인스턴스화를 생성하도록 안내합니다.
• 제약 조건이 강제된 수정: "준수하지 않음"을 완화하기 위해 Fixer는 실패한 테스트에 대해 2 단계 수리 메커니즘을 사용합니다:
  • 1 단계 (Fixer I): 실행 피드백 (컴파일/런타임 오류) 을 기반으로 초기 수리를 생성합니다.
  • 2 단계 (Fixer II): 초기 수리가 제약 조건을 위반하는 경우 두 번째 수리가 트리거됩니다. LLM 은 세 가지 수준의 제약 조건을 충족하는 수리를 생성하고, 해당 수리가 실패를 어떻게 해결하며 규칙을 어떻게 준수하는지 설명하는 **구조화된 정당화 (structured justification)**를 제공해야 합니다:
    • 심볼 수준: 모든 클래스, 메서드 및 가져오기가 ClassIndex에 존재하는지 확인합니다.
    • 프로토콜 수준: API 호출 시퀀스가 마르코프 타입스테이트 모델을 준수하는지 확인합니다 (예: 사용 전 상태 초기화).
    • 반복 수준: 알려진 실패를 반복하지 않도록 성공적인 수리 패턴 ("골드 테스트"), 수리 레시피, 그리고 안티패턴을 저장하는 **경험 메모리 (Experience Memory)**를 활용합니다.

주요 기여

1. 컨텍스트가 풍부한 프롬프팅: 저자들은 의존성 사용 패턴을 중요한 컨텍스트로 식별합니다. 그들은 대상 프로젝트에서 채굴된 실제 의존성 인스턴스화 예시로 LLM 을 보강하는 전략을 제안하여, 지식 부족으로 인한 환각을 크게 줄입니다.
2. 제약 조건이 강제된 수정 메커니즘: 심볼, 프로토콜, 반복 수준 제약 조건을 강제하는 새로운 2 단계 수리 과정입니다. 특히 2 단계에서는 모델이 수정에 대한 구조화된 정당화를 생성하도록 요구하여 "준수하지 않음" 환각을 직접적으로 타격합니다.
3. 자바를 위한 최초의 모킹 없는 LLM 접근법: MocklessTester 는 외부 의존성을 명시적으로 대상으로 하는 자바를 위한 최초의 LLM 기반 접근법으로 제시되어, 모킹된 단위 테스트에서 현실적인 실행으로 자동화된 테스트를 발전시킵니다.
4. 종합적인 경험적 평가: 이 연구는 테스트 대상 클래스 (CUT) 를 넘어 실제 프로젝트 코드가 실행된 정도를 측정하는 새로운 지표인 **의존성 라인 커버리지 (Dependency Line Coverage, DepLC)**를 도입했습니다.

실험 결과

이 접근법은 Defects4J(14 개 프로젝트, 130 개 클래스) 와 새로운 벤치마크인 Deps4J(5 개 최신 멀티모듈 프로젝트, 30 개 클래스) 에서 최첨단 베이스라인인 PANTA와 비교하여 평가되었습니다.

• 효과성:

  • Defects4J에서 MocklessTester 는 평균 라인 커버리지를 19.99% (68.83% → 88.82%) 향상시키고 브랜치 커버리지를 24.90% (58.84% → 83.74%) 향상시켰습니다. 변이 점수는 13.67% 증가했습니다.
  • Deps4J에서는 라인 커버리지를 22.69% 향상시키고 브랜치 커버리지를 15.78% 향상시켰으며, 변이 점수는 유사하게 유지되었습니다.
  • 의존성 커버리지: MocklessTester 는 베이스라인에 비해 훨씬 더 많은 실제 의존성 코드를 커버하여, Defects4J 에서 프로젝트 DepLC 를 378 라인, Deps4J 에서 55 라인 증가시켰습니다.
  • 테스트 효율성: 프로젝트당 평균 생성된 테스트 수는 적었음에도 불구하고 MocklessTester 는 더 높은 커버리지를 달성하여 테스트당 더 높은 품질을 나타냈습니다.

• 효율성:

  • MocklessTester 는 더 높은 커버리지를 달성하기 위해 더 많은 반복을 수행함에 따라 총 토큰 및 시간 비용이 더 높았습니다.
  • 그러나 비용은 실용적인 수준으로 유지되었습니다: Defects4J 에서 메서드당 평균 108.97 초 및 26.59k 토큰이 소요되었습니다.
  • 특히 MocklessTester 는 베이스라인보다 반복당 훨씬 더 빨랐습니다(약 58% 적은 시간). 이는 반복 횟수가 더 많더라도 반복이 시간 효율적임을 시사합니다.

• 절대 연구 (Ablation Study):

  • **사용 패턴 검색 (Usage Retrieval)**을 제거하면 성능이 가장 크게 저하되어 컨텍스트의 중요성을 확인시켰습니다.
  • 프로토콜 수준 제약 조건을 제거한 것이 두 번째로 큰 영향을 미쳐, 명시적 강제 없이 상태가 있는 객체를 관리하는 것이 어렵다는 점을 강조했습니다.
  • 심볼 수준 및 반복 수준 제약 조건 또한 약간 작지만 상당한 개선을 제공했습니다.

중요성 및 주장

이 논문은 MocklessTester가 실제 프로젝트 의존성을 실행하는 테스트 생성을 가능하게 함으로써 모킹 기반 테스트의 한계를 성공적으로 해결한다고 주장합니다. 컨텍스트 풍부화를 통해 "모름"을 체계적으로 해결하고 제약 조건 강제를 통해 "준수하지 않음"을 해결함으로써, 이 접근법은 기존 및 새로운 벤치마크 모두에서 라인 커버리지, 브랜치 커버리지, 변이 점수에서 최첨단 결과를 달성했습니다.

저자들은 이 접근법이 베이스라인 방법보다 더 높은 컴퓨팅 자원을 필요로 하지만, 그 교환으로 인해 커버리지 측면에서 더 포괄적일 뿐만 아니라 의존성 진화에 대해 더 견고한 테스트가 산출된다고 강조합니다. DepLC의 도입은 테스트 스위트 평가에 새로운 차원을 제공하여 CUT 를 넘어 더 넓은 시스템의 실제 실행을 측정합니다. 이 연구는 향후 개선 사항으로 파서 중심 구성 요소에 대한 richer memory 메커니즘과 문법 인식 입력 생성을 포함할 수 있음을 시사합니다.