LSPRAG: LSP-Guided RAG for Language-Agnostic Real-Time Unit Test Generation

1. 문제 정의 (Problem Statement)

현대 소프트웨어 개발에서 단위 테스트 자동화는 필수적이지만, 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• 정확한 문맥 (Context) 부재: 대규모 언어 모델 (LLM) 이 높은 커버리지를 가진 테스트를 생성하려면, 대상 메서드 (Focal Method) 와 관련된 정확한 의존성 (정의, 참조 등) 을 파악해야 합니다. 그러나 기존 RAG(Retrieval-Augmented Generation) 기법들은 텍스트 유사도나 단순 AST 기반 분할에 의존하여, 불필요한 노이즈가 포함된 문맥을 제공하거나 중요한 의존성을 놓치는 경우가 많습니다.
• 실시간성 및 언어 독립성 부족: 정적 분석을 기반으로 한 기존 도구들은 특정 언어에 종속적이며, 복잡한 파이프라인 구축에 많은 노력이 필요합니다. 또한, 코드 컴파일이나 실행 없이 실시간으로 테스트를 생성하는 것은 어렵습니다.
• 생성된 코드의 유효성 문제: LLM 이 생성한 테스트 코드는 문법 오류를 포함할 가능성이 높으며, 이를 수정하기 위해 컴파일과 실행을 반복하는 과정은 실시간 개발 환경 (예: IDE 내 작성 중) 에 비현실적입니다.

2. 방법론 (Methodology)

저자들은 LSPRAG라는 새로운 프레임워크를 제안합니다. 이는 언어 서버 프로토콜 (LSP) 을 활용하여 LLM 에게 정밀하고 간결한 문맥을 제공하는 RAG 기반 시스템입니다.

핵심 아키텍처 및 모듈

LSPRAG 는 크게 세 가지 핵심 모듈로 구성됩니다 (그림 4 참조):

1. 키 토큰 추출 (Key Token Extraction):

   • 문제: 대상 메서드에 포함된 모든 심볼을 포함하면 문맥이 과도해집니다.
   • 해결: LSP 의 토큰 정보와 AST(추상 구문 트리) 기반의 CFG(제어 흐름 그래프) 분석을 결합합니다.
   • 전략: 분기 조건을 결정하거나 외부 의존성을 가지는 '핵심 토큰'만 선별하여 불필요한 노이즈를 제거합니다.

2. 정밀 문맥 검색 (RAG Module):

   • LSP 활용: 선별된 키 토큰에 대해 LSP 서버의 Go to Definition(정의 찾기) 및 Find References(참조 찾기) 기능을 실시간으로 호출합니다.
   • 장점: 기존 RAG 와 달리 텍스트 유사도가 아닌 의미론적 의존성을 기반으로 정확한 정의와 사용 예시를 추출합니다. 이는 표준 라이브러리 등 불필요한 코드를 필터링하고 프로젝트 내 정확한 문맥만 제공합니다.

3. 단위 테스트 정제 (Unit Test Refinement):

   • 컴파일 없는 자가 수정: 생성된 테스트 코드의 문법 오류를 찾기 위해 LSP 의 Diagnostic(실시간 진단) 기능을 활용합니다.
   • 반복적 수정: LSP 가 제공하는 에러 메시지를 바탕으로 LLM 에게 필요한 문맥을 다시 제공하고 코드를 수정하도록 요청합니다. 이 과정은 컴파일 없이 실시간으로 수행되어 빠른 피드백 루프를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 산업계와 학계의 간극 해소: 개발자가 실시간으로 다양한 언어의 고품질 테스트가 필요하지만, 기존에는 컴파일/실행 없이 간결한 문맥을 얻기 어렵다는 문제를 해결했습니다.
2. LSP 기반 프레임워크 설계: LSPRAG 를 설계 및 구현하여, 별도의 언어별 정적 분석 파이프라인 구축 없이도 언어에 구애받지 않는 (Language-Agnostic) 실시간 단위 테스트 생성이 가능하게 했습니다.
3. 종합적인 평가: Java, Python, Golang 의 실제 오픈소스 프로젝트에서 LSPRAG 의 성능을 검증했습니다.

4. 실험 결과 (Results)

저자들은 6 개의 오픈소스 프로젝트 (Black, Tornado, Commons-CLI, Commons-CSV, Cobra, Logrus) 와 GPT-4o, DeepSeek-V3 등 다양한 LLM 을 사용하여 실험했습니다.

• 라인 커버리지 (Line Coverage) 향상:
  • 기존 최선 기법 (Baseline) 대비 라인 커버리지가 크게 향상되었습니다.
  • Golang: 최대 174.55% 증가
  • Java: 최대 213.31% 증가
  • Python: 최대 31.57% 증가
• 유효한 테스트 생성률 (Valid Rate) 향상:
  • 문법 오류가 없는 실행 가능한 테스트 생성 비율이 크게 개선되었습니다.
  • Golang: 최대 242.86% 증가
  • Java: 최대 251.91% 증가
• 성능 및 비용:
  • 평균적으로 하나의 메서드당 약 28 초 (LLM 호출 시간 포함) 와 4,500 토큰 정도를 사용하여 테스트를 생성 및 수정합니다.
  • 더 많은 토큰을 사용하더라도 커버리지와 유효성 면에서 기존 RAG 기법 (CodeQA, DraCo 등) 보다 월등히 우수한 성능을 보였습니다.
• 결함 탐지 능력: 변이 테스트 (Mutation Testing) 결과, LSPRAG 가 생성한 테스트가 기존 기법보다 결함을 더 잘 찾아내는 것으로 확인되었습니다.

5. 의의 및 의의 (Significance)

• 실시간 개발 워크플로우 통합: LSPRAG 는 VS Code 확장 프로그램으로 구현되어, 개발자가 코드를 작성하는 동안 실시간으로 고품질 테스트를 생성할 수 있게 합니다.
• 언어 독립성: LSP 는 거의 모든 주요 프로그래밍 언어를 지원하므로, 새로운 언어에 대한 추가적인 정적 분석기 개발 없이도 시스템 확장이 가능합니다.
• 효율적인 문맥 활용: "더 많은 문맥"이 아니라 "정확한 문맥"이 LLM 성능에 중요함을 입증했습니다. LSP 를 통해 얻은 정밀한 심볼 정보는 LLM 이 분기 조건을 이해하고 정확한 입력값을 생성하는 데 결정적인 역할을 합니다.
• 실용성: 컴파일이나 실행 없이 LSP 진단 기능을 활용한 자가 수정 메커니즘은 실시간 환경에서 테스트 생성의 장벽을 낮추는 혁신적인 접근입니다.

결론적으로, LSPRAG 는 기존 RAG 의 한계를 극복하고, LSP 의 정적 분석 능력을 LLM 에 효과적으로 결합하여 다중 언어, 실시간, 고커버리지 단위 테스트 생성을 가능하게 한 획기적인 프레임워크입니다.