Hallucination to Consensus: Multi-Agent LLMs for End-to-End JUnit Test Generation

1. 연구 배경 및 문제 정의 (Problem)

• 수동 테스트의 한계: 자바 (Java) 와 같은 강력하게 타입이 지정된 언어에서 단위 테스트를 수동으로 작성하는 것은 노동 집약적이며, 개발자들이 테스트를 생략하는 주요 원인입니다.
• 기존 자동화 기법의 부족:
  • 전통적 방법 (EvoSuite 등): 코드 커버리지를 극대화하는 데 초점을 맞추지만, 의미 있는 테스트 프론트 (test prefix) 를 생성하는 데 한계가 있으며, 주로 현재 코드 동작을 기반으로 한 '회귀 오라클 (Regression Oracle)'을 생성합니다. 이는 의도된 기능과 다른 버그를 발견하는 데 비효율적입니다.
  • 기존 LLM 기반 방법: 자연어 설명을 통해 오라클을 생성할 수 있지만, 대부분 LLM 미세 조정 (Fine-tuning) 이나 EvoSuite 와 같은 외부 도구에 의존합니다. 미세 조정은 비용이 많이 들고 특정 환경에 종속적이며, 외부 도구는 유지보수가 중단되거나 새로운 언어 기능과 호환되지 않는 문제가 있습니다.
  • 할루시네이션 (Hallucination): LLM 은 테스트 오라클 생성 시 사실과 다른 내용을 생성하는 '할루시네이션' 현상이 빈번하며, 특히 복잡한 논리적 추론이 필요한 경우 정확도가 떨어집니다.

2. 제안된 방법론: CANDOR (Methodology)

저자들은 CANDOR라는 새로운 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안합니다. 이는 LLM 미세 조정이나 외부 도구 없이, 오프 - 더 - 쉘 (off-the-shelf) LLM 만을 사용하여 자바 JUnit 테스트를 생성하는 다중 에이전트 (Multi-Agent) 시스템입니다.

CANDOR 은 크게 세 가지 단계로 구성되며, 각 단계는 전문화된 LLM 에이전트들이 협력합니다.

단계 1: 초기화 (Initialization)

• 목적: 소스 코드와 자연어 설명을 기반으로 구문 오류가 없는 초기 테스트 파일 ($v_0 \to v_1$) 을 생성합니다.
• 에이전트:
  • Initializer: 초기 테스트 스캐폴드를 생성합니다.
  • Validation: 생성된 코드를 컴파일 및 실행하여 오류를 확인하고, 에러 메시지를 Initializer 에 피드백하여 구문 오류를 수정합니다.

단계 2: 테스트 프론트 생성 (Test Prefix Generation)

• 목적: 코드 커버리지를 높이기 위해 추가적인 테스트 케이스를 생성합니다.
• 에이전트:
  • Planner: 커버리지 보고서를 분석하여 누락된 코드 라인을 식별하고 새로운 테스트 계획을 수립합니다.
  • Tester: Planner 의 계획을 바탕으로 실행 가능한 테스트 코드를 생성합니다.
  • Inspector: 생성된 테스트 코드의 실행 결과를 분석하여 컴파일 오류 등을 감지하고 Tester 에 피드백합니다.
• 특징: 이 단계에서는 소스 코드를 기반으로 '잠정적 오라클 (Tentative Oracle)'을 생성하므로, 소스 코드에 버그가 있다면 오라클도 잘못될 수 있습니다.

단계 3: 오라클 수정 (Oracle Fixing) - 핵심 혁신

• 목적: 소스 코드의 버그와 상관없이 자연어 설명 (요구사항) 에 기반한 정확한 명세 기반 오라클 (Specification-based Oracle) 을 생성합니다.
• 전략: LLM 의 할루시네이션을 줄이고 정확도를 높이기 위해 '패널 토론 (Panel Discussion)' 방식을 도입했습니다.
  • Requirement Engineer: 자연어 설명에서 요구사항과 명세 (Predicate Logic) 를 추출합니다.
  • Dual-LLM Pipeline (Panelist + Interpreter):
    • Panelist (추론 LLM): 요구사항과 테스트 코드를 분석하여 오라클의 정확성을 판단하고 긴 추론 과정을 수행합니다.
    • Interpreter (기본 LLM): Panelist 의 장황한 추론 ('Overthinking') 에서 핵심 결론과 수정된 오라클을 추출하여 구조화된 형태로 정리합니다.
  • Curator: 여러 패널 (Panelist) 들의 의견을 종합하고, 논리적 일관성을 검토하여 최종 오라클을 합의 (Consensus) 를 통해 결정합니다. 단순 다수결이 아닌, 논리적 근거에 기반한 조정을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 엔드 - 투 - 엔드 다중 에이전트 프레임워크: 자바 단위 테스트 생성에 있어 LLM 미세 조정이나 EvoSuite 와 같은 외부 도구 없이, 오프 - 더 - 쉘 LLM 만으로 프론트와 오라클을 모두 생성하는 최초의 다중 에이전트 시스템입니다.
2. 할루시네이션 해소를 위한 합의 기반 전략: 여러 추론 LLM 에이전트를 활용한 '패널 토론' 방식을 도입하여, 개별 LLM 의 오류나 할루시네이션을 상호 검증하고 합의된 정답을 도출함으로써 오라클 정확도를 획기적으로 개선했습니다.
3. 과도한 추론 (Overthinking) 문제 해결: 추론 LLM 의 장황한 출력과 불필요한 자기 회의 ('Overthinking') 를 줄이기 위해, 추론 LLM 과 기본 LLM 을 결합한 '듀얼 LLM 파이프라인'을 설계하여 효율적이고 구조화된 오라클 평가를 가능하게 했습니다.
4. 성능 입증: 인간 평가 (HumanEvalJava) 와 LeetCodeJava 데이터셋에서 기존 최첨단 기법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

실험은 HumanEvalJava와 LeetCodeJava(Medium, Hard) 데이터셋에서 수행되었으며, EvoSuite, LLM-Empirical, TOGLL(미세 조정 기반 SOTA) 과 비교되었습니다.

• 테스트 프론트 품질 (RQ1):
  • 코드 커버리지: CANDOR 은 EvoSuite 와 유사하거나 약간 더 높은 라인/브랜치 커버리지를 달성했습니다.
  • 변이 점수 (Mutation Score): CANDOR 은 EvoSuite 보다 모든 데이터셋에서 약 0.049 이상 높은 변이 점수를 기록했습니다. 이는 CANDOR 이 생성한 테스트가 버그를 더 효과적으로 발견함을 의미합니다.
• 오라클 정확도 (RQ2):
  • 정확한 코드 기준: CANDOR 은 TOGLL 보다 최소 21.1% 포인트 높은 오라클 정확도를 달성했습니다. (TOGLL 은 추가 데이터로 미세 조정되었음에도 불구하고 CANDOR 이 더 우수함).
  • 결함 있는 코드 기준: 버그가 주입된 코드에서도 CANDOR 은 TOGLL 및 LLM-Empirical 보다 월등히 높은 정확도를 보였으며, 자연어 설명을 기반으로 한 오라클 생성의 강점을 입증했습니다.
• 개념 제거 실험 (Ablation Study, RQ3):
  • Planner 제거: 코드 커버리지와 변이 점수가 크게 감소하여 테스트 계획의 중요성을 입증했습니다.
  • Panel Discussion 제거: 오라클 정확도가 크게 하락하여, 다중 에이전트 합의 전략이 할루시네이션 방지에 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용성: CANDOR 은 LLM 미세 조정이라는 비용이 많이 드는 과정 없이도, 최신 LLM 을 활용하여 산업계에서 즉시 적용 가능한 고품질 테스트를 생성할 수 있음을 보여줍니다.
• 유연성: 특정 버전의 자바나 빌드 도구에 종속되지 않아, 새로운 프로젝트나 환경 변화에 유연하게 대응할 수 있습니다.
• 신뢰성: '할루시네이션에서 합의 (Hallucination to Consensus)'로 이어지는 다중 에이전트 협업 메커니즘은 LLM 기반 소프트웨어 공학 분야에서 신뢰할 수 있는 결과물을 도출하기 위한 새로운 패러다임을 제시합니다.

결론적으로, CANDOR 은 기존 자동화 테스트 도구의 한계를 극복하고, LLM 의 추론 능력을 최대한 활용하면서도 그 오류를 통제하는 혁신적인 프레임워크로서, 소프트웨어 테스트 자동화 분야에서 중요한 이정표가 될 것으로 기대됩니다.