기술 요약: GapForge

문제 정의

GCC 및 LLVM과 같은 현대 컴파일러 코드베이스는 엄청난 규모와 복잡성을 특징으로 하며, 이로 인해 포괄적인 코드 커버리지를 달리는 데 어려움이 있다. 문법 보조 방식, 변이 기반 방식, 그리고 최근의 대규모 언어 모델(LLM) 접근 방식에 이르는 기존의 테스트 생성 기술들은 주로 "프로그램 주도(program-driven)" 방식으로 작동한다. 이들은 다양한 입력을 생성하거나 버그를 유발하는 데 집중할 뿐, 어떤 특정 컴파일러 영역을 실행하는지에 대해 명시적으로 모델링하지 않는다. 결과적으로, 이러한 방법들은 자주 트리거되는 "핫스팟(hotspot)" 경로를 반복적으로 실행하는 경향이 있으며, 테스트가 부족한 파일이나 도달하기 어려운 에지(edge) 영역의 상당한 "롱테일(long-tail)" 커버리지 격차를 남겨둔다. WhiteFox와 같은 화이트박스 기법들이 최적화 코드를 요약하여 이를 해결하려고 시도했으나, 이들은 대개 파일 수준의 거친 요약에 의존하므로, 특히 특정 컴파일 옵션이나 프로그램 구조를 필요로 하는 미실행 영역에 도달하는 데 필요한 세밀한 가이드를 제공하지 못한다.

방법론: GapForge

GapForge는 커버리지 격차를 추론함으로써 소스 코드 커버리지를 체계적으로 개선하도록 설계된 타겟형 LLM 기반 컴파일러 테스트 생성 기술이다. 일반적인 퍼저(fuzzer)와 달리, GapForge는 미실행 코드 영역을 명시적인 목표로 취급하며, 이러한 특정 격차를 실행하는 테스트 프로그램을 생성하기 위해 3단계 프로세스를 반복한다.

1. 커버리지 기반 타겟 선택

수천 개의 소스 파일에 걸친 불균등한 커버리지 잠재력을 해결하기 위해, GapForge는 무작위 샘플링 대신 확률적 선택 메커니즘을 채택한다.

• 탐색 점수(Exploration Score): 각 파일 $f$에는 $S_f = L_f \times (1 - C_f)^2$ 점수가 할당된다. 여기서 $L_f$는 라인 수이고 $C_f$는 현재 커버리지 비율이다. 이차항은 커버리지가 낮은 파일의 우선순위를 증폭시킨다.
• 선택 확률: 높은 점수를 가진 파일이 선택 과정을 무한히 독점하는 것을 방지하기 위해, 점수는 정규화되어 선택 확률 $P_f = 1 - (1 - W_f)^k$로 변환된다. 이 비선형 변환은 높은 잠재력을 가진 파일들을 선호하면서도, 낮은 잠재력을 가진 파일들도 선택될 기회를 얻도록 하여 탐색(exploration)과 활용(exploitation)의 균형을 맞춘다.

2. 타겟형 요약 (Targeted Summarization)

전체 파일을 요약하는 대신, GapForge는 특정 미실행 라인 구간에 대해 세밀한 분석을 수행한다.

• 컨텍스트 페어링 (Context Pairing): 각 미실행 영역에 대해, 시스템은 이를 즉시 둘러싼 "커버된 컨텍스트(covered context, 격차를 둘러싼 코드)"와 쌍을 이룬다.
• 경로 차이 분석 (Path-Difference Analysis): LLM은 커버된 컨텍스트와 미실행 타겟 사이의 대비를 분석한다. 이를 통해 다음을 추론한다:
  • 기능적 역할: 컴파일러 파이프라인 내에서 해당 파일의 고차원적 목적.
  • 트리거 요구사항: 실행을 미실행 블록으로 유도하는 데 필요한 특정 프로그램 구조(예: 데이터 타입, 제어 흐름 패턴).
  • 컴파일 옵션: 해당 코드 경로를 활성화하는 데 필요한 특정 플래그(예: -fsanitize, -fdump-ada-spec).
• 출력: 이 과정은 다음 생성 단계의 정밀한 지침 역할을 하는 구조화된 "타겟 요구사항(Target Requirements)"을 산출한다.

3. 실패 반영을 포함한 프롬프트 합성 (Prompt Synthesis with Failure Reflection)

GapForge는 다음 세 가지 구성 요소를 통합하여 테스트 생성 LLM을 위한 구조화된 프롬프트를 합성한다:

• 일반 제약 조건: 생성된 프로그램이 유효하고, 결정론적이며, 심층적인 컴파일 경로를 트리거할 만큼 충분히 구조적으로 복잡하도록 보장하는 규칙.
• 타겟 요구사항: 타겟형 요약 단계에서 도출된 특정 목표 및 제약 조건.
• 실패 반영 (Failure Reflection): 컴파일 에러를 발생시켰거나 새로운 영역을 커버하지 못한 이전의 실패한 프롬프트들에 대한 파일별 로그. 시스템은 최근의 실패 사례를 검색하여 LLM에게 구조적으로 유사한 프로그램을 피하도록 지시함으로써, 생산적이지 않은 전략으로부터 생성을 유도하는 반복적 정제 루프를 생성한다.

주요 기여

1. GapForge 프레임워크: 커버리지 기반 파일 선택, 세밀한 영역 분석(미실행 코드와 커버된 컨텍스트의 결합), 실패 인지형 프롬프트 합성을 통한 3단계 워크플로우를 통해 커버리지 격차를 명시적으로 타겟팅하는 LLM 기반 기술.
2. 세밀한 추론: 파일을 전체적으로 요약하는 기존의 화이트박스 접근 방식과 달리, GapForge는 개별 미실행 기본 블록(basic block)에 대한 특정 트리거 요구사항(프로그램 구조 및 컴파일 옵션)을 추론한다.
3. 실증적 검증: GCC 14.3.0 및 LLVM 19.1.0에 대한 광범위한 실험을 통해 최신 기술(state-of-the-art baselines) 대비 유의미한 개선을 입증했다.
4. 재현성: 기술의 소스 코드와 데이터를 포함한 공개 패키지 제공.

실험 결과

저자들은 72시간 동안 GCC 및 LLVM에 대해 8가지 최신 기술(Csmith, WhiteFox, LegoFuzz, Fuzz4All 포함)을 대상으로 GapForge를 평가하였다.

• 커버리지 개선: GapForge는 핵심 GCC 모듈에서 68.13%, 핵심 LLM 모듈에서 **69.11%**의 커버리지를 달려냈다. 이는 이전의 최신 화이트박스 기술인 WhiteFox보다 GCC에서 24,736라인, LLVM에서 19,798라인을 더 많이 커버하여 앞질렀다.
• 점진적 이득: GapForge는 공식 테스트 스위트에 3,452개의 새로운 커버된 라인을 추가하여 GCC의 공식 테스트 스위트를 개선한 반면, 여러 베이스라인은 공식 스위트에 새로운 라인을 전혀 추가하지 못했다(LLVM의 경우 531 라인 추가).
• 효율성: GapForge는 WhiteFox(2.30M 토큰) 및 LegoFuzz(3.63M 토큰)에 비해 훨씬 적은 토큰 소비량(GCC 기준 976K 토큰)으로 이러한 결과를 달성했다.
• 버그 발견: 이 기술은 8개의 크래시(crash)와 4개의 오컴파일(miscompilation)을 포함하여 12개의 실제 컴파일러 결함(GCC 5개, LLVM 7개)을 발견했다.
• 어블레이션 연구 (Ablation Studies): 세 가지 핵심 구성 요소(타겟 선택, 타겟형 요약, 또는 실패 반영) 중 하나라도 제거하면 성능 저하가 측정되었으며, 이는 각 모듈의 필요성을 확인시켜 주었다. 특히, 타겟형 요약이나 컴파일 옵션 추천이 없을 때 커버리지 하락이 가장 크게 나타났다.

의의

본 논문은 GapForge가 현재 컴파일러 테스트의 핵심적 한계인 "롱테일" 커버리지 격차에 체계적으로 도달하지 못하는 문제를 해결한다고 주장한다. 프로그램 주도 방식에서 커버리지 격차 주도 방식으로 전환함으로써, GapForge는 특정 미실행 코드 영역에 도달하는 방법을 명시적으로 추론하는 메커니즘을 제공한다. 결과는 커버리지 피드백과 세밀한 LLM 추론을 결합하는 것이 컴파일러와 같은 대규모 복잡 소프트웨어 시스템을 더욱 효율적이고 효과적으로 테스트할 수 있게 하며, 궁극적으로 전통적인 퍼징 방법으로는 숨겨져 있던 미묘한 결함을 발견할 수 있게 함을 시사한다.