SPARC: 자동화된 C 단위 테스트 생성을 위한 시나리오 계획 및 추론 기술 요약

이 논문은 SPARC(Scenario Planning And Reasoning for Automated C Unit Test Generation) 를 소개합니다. 이는 C 언어의 단위 테스트를 자동 생성하기 위한 신경 - 기호적 (neuro-symbolic) 시나리오 기반 프레임워크입니다. C 코드의 복잡한 메모리 관리와 포인터 연산으로 인해 발생하는 기존 LLM 기반 테스트 생성의 한계를 극복하기 위해 고안되었습니다.

1. 문제 정의 (Problem)

C 언어의 자동화된 단위 테스트 생성은 다음과 같은 근본적인 어려움으로 인해 여전히 난제입니다:

• 의미론적 격차 (Semantic Gap): 고수준의 프로그램 의도와 포인터 산술, 수동 메모리 관리라는 엄격한 문법적 제약 사이의 간극이 큽니다.
• LLM 의 '코드 점프' 실패 (Leap-to-code Failure): 기존 LLM 기반 접근법 (Vanilla Prompting) 은 프로그램 구조와 제약 조건을 충분히 이해하지 못한 채 코드를 즉시 생성하는 경향이 있습니다. 이로 인해 다음과 같은 문제가 발생합니다:
  • 컴파일 불가: 존재하지 않는 함수나 잘못된 시그니처를 참조하여 생성된 코드가 컴파일되지 않음.
  • 불충분한 커버리지: '행복한 경로 (Happy-path)' 위주의 테스트만 생성하고, 엣지 케이스나 복잡한 분기 (Branch) 를 놓침.
  • 할루시네이션: 프로젝트에 존재하지 않는 유틸리티 함수를 임의로 생성하거나 참조함.
  • 추적성 부족: 테스트가 어떤 실행 경로를 커버하는지 명확하지 않아 디버깅 및 문서화 도구로서의 가치가 떨어짐.

2. 방법론 (Methodology)

SPARC 는 테스트 생성을 단일 단계가 아닌 4 단계의 신경 - 기호적 파이프라인으로 분해하여 해결합니다.

1 단계: 전처리 및 제어 흐름 그래프 (CFG) 분석

• 소스 코드를 구조화된 메타데이터로 변환합니다.
• ATLAS 도구를 사용하여 함수별 **문장 수준 (Statement-level) 의 제어 흐름 그래프 **(CFG)를 구축하고, 모든 가능한 실행 경로 (Execution Paths) 를 추출합니다.
• 추출된 경로는 JSON 형식으로 선형화되어 LLM 에게 명확한 실행 시나리오를 제공합니다.

2 단계: 작업 맵 (Operation Map) 구성 및 헬퍼 합성

• RAG(Retrieval-Augmented Generation) 를 활용하여 프로젝트 내 검증된 헬퍼 함수 풀 (Helper Pool) 에서 관련 함수를 검색합니다.
• LLM 은 소스 코드와 검색된 헬퍼들을 기반으로 **작업 맵 **(Operation Map)을 생성합니다. 이는 해당 테스트가 사용할 수 있는 유효한 함수들 (재사용 가능한 기존 함수 + LLM 이 생성한 새로운 헬퍼) 의 목록을 정의합니다.
• 이 단계에서 LLM 이 임의의 함수를 생성하는 것을 방지하고, 검증된 도메인 지식에 기반하도록 제한합니다.

3 단계: 경로 목표형 테스트 합성 (Path-targeted Test Synthesis)

• 각 추출된 실행 경로 (Path) 마다 별도의 LLM 호출을 수행합니다.
• LLM 은 해당 경로를 트리거하는 입력 데이터와, 작업 맵에 정의된 함수들만 사용하여 Unity 매크로를 활용한 테스트 코드를 생성합니다.
• 이 방식은 특정 경로를 의도적으로 커버하도록 테스트를 설계하여, 행복 경로 위주의 생성을 방지합니다.

4 단계: 반복적 검증 및 수정 루프 (Iterative Validation Loop)

• 생성된 각 테스트는 컴파일 및 실행 (AddressSanitizer 등) 을 통해 검증됩니다.
• 오류가 발생하면 LLM 에게 에러 메시지를 제공하여 **반복적으로 수정 **(Repair)을 수행합니다.
• 수정이 안정화될 때까지 (최대 3 회) 반복하며, 실패하는 테스트는 최종 스위트에서 제외됩니다.
• 검증된 모든 테스트는 중복을 제거하고 통합하여 최종 단위 테스트 스위트로 결합됩니다.

3. 주요 기여 (Key Contributions)

1. 최초의 C 테스트 생성 시나리오 기반 프레임워크: 함수와 테스트 코드 간의 의미론적 격차를 해소하기 위해 정적 분석을 통한 '시나리오 (경로)' 분해 개념을 도입했습니다.
2. 성능 향상: 59 개의 실제 및 알고리즘 C 프로젝트를 대상으로 한 실험에서, 기존 LLM 프롬프트 기반 방식 (Vanilla Prompting) 대비 **라인 커버리지는 31.36%, 브랜치 커버리지는 26.01%, 뮤테이션 스코어는 20.78%**만큼 향상되었습니다.
3. KLEE 와의 경쟁력: 복잡한 주제 (Subject) 에서는 심볼릭 실행 도구인 KLEE 와 동등하거나 더 나은 성능을 보였습니다.
4. 높은 테스트 유지율: 반복적 수정 과정을 통해 생성된 테스트의 **94.3%**를 최종 스위트에 성공적으로 통합했습니다.
5. 개발자 선호도: 개발자 평가 (n=10) 에서 가독성, 정확성, 완전성, 유지보수성 측면에서 기존 방식보다 유의미하게 높은 점수를 받았습니다.

4. 실험 결과 및 분석 (Results)

• 커버리지: SPARC 는 프로젝트의 복잡도 (제어 흐름 경로의 수) 가 증가할수록 기존 LLM 방식보다 커버리지 격차가 더 벌어지는 경향을 보였습니다. 특히 30 개 이상의 경로를 가진 복잡한 프로젝트에서 SPARC 는 높은 커버리지를 유지한 반면, 기존 방식은 성능이 급격히 떨어졌습니다.
• 오류 원인 분석: 실패한 테스트의 주요 원인은 '헬퍼 API 할루시네이션'(약 2/3) 이었으며, 이는 작업 맵을 통해 방지되었습니다. 메모리 관련 오류는 수정이 어려웠으나, 컴파일 오류나 어설션 오류는 높은 수정 성공률을 보였습니다.
• 비용 및 확장성: 토큰 비용은 경로 수에 따라 이차함수적으로 증가하지만, 경로 수 자체보다는 경로별 구조적 복잡도가 비용에 더 큰 영향을 미칩니다.
• 모델 의존성: Frontier 모델 (DeepSeek V3.2) 과 비용 효율적인 모델 (Gemini 3 Flash, GPT-5-Mini) 간 성능 차이가 미미했습니다. 이는 **파이프라인 아키텍처 **(구조화된 접근법)가 테스트 품질의 주된 결정 요인임을 시사합니다.

5. 의의 및 결론 (Significance)

SPARC 는 레거시 C 코드베이스에 대한 산업 수준의 자동화된 단위 테스트 생성을 위한 확장 가능한 솔루션을 제시합니다.

• 구조적 접근의 중요성: 단순한 LLM 프롬프팅이 아닌, 정적 분석 (CFG) 과 RAG 기반 제약 조건을 결합한 신경 - 기호적 접근법이 C 와 같은 저수준 언어의 테스트 생성에 필수적임을 증명했습니다.
• 실용성: 비용 효율적인 모델로도 고품질 테스트를 생성할 수 있어, 리소스가 제한된 환경에서도 적용 가능합니다.
• 유지보수성: 생성된 테스트가 가독성이 높고 명확한 추적성을 가지므로, 실제 개발 프로세스에서 리팩토링 및 유지보수 도구로서 즉시 활용 가능합니다.

결론적으로 SPARC 는 C 언어 테스트 자동화의 난제를 해결하기 위해 LLM 의 생성 능력과 프로그램 구조 분석을 효과적으로 결합한 획기적인 프레임워크입니다.