ClozeMaster: Fuzzing Rust Compiler by Harnessing LLMs for Infilling Masked Real Programs

다음은 "ClozeMaster: Fuzzing Rust Compiler by Harnessing LLMs for Infilling Masked Real Programs" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

Rust 프로그래밍 언어는 메모리 및 스레드 안전성 보장으로 인해 중요한 시스템에 점점 더 널리 채택되고 있습니다. 그러나 Rust 컴파일러 자체는 복잡하며, 그 내부의 버그는 프로덕션 시스템에서 정의되지 않은 동작이나 충돌을 초래할 수 있습니다.

• 과제 1: 문법적 복잡성. Rust 는 학습 곡선이 가파르고 소유권 (ownership), 빌림 (borrowing), 수명 (lifetimes) 과 같은 엄격한 문법 규칙을 가지고 있어, 전통적인 무작위 생성이나 변형 기반 퍼징을 사용하여 유효한 테스트 프로그램을 생성하기 어렵습니다.
• 과제 2: LLM 의 한계. 대규모 언어 모델 (LLM) 이 소프트웨어 테스트에서 가능성을 보이고 있지만, Rust 테스트 케이스를 생성하도록 직접 프롬프트를 입력하면 종종 유효하지 않은 코드나 컴파일러 버그를 유발하지 못하는 코드가 생성됩니다. 이는 "롱테일" 문제 때문입니다: Rust 는 LLM 학습 데이터의 작은 일부일 뿐이며, 기존 모델은 Rust 컴파일러의 특정하고 진화하는 엣지 케이스를 처리하는 데 어려움을 겪습니다.
• 과제 3: 문맥 부재. 기존 LLM 기반 퍼저는 종종 역사적 버그 유발 코드의 특정 구조적 특성을 활용하지 않은 채 제로샷 생성이나 파인튜닝에 의존합니다.

2. 방법론: ClozeMaster

저자들은 역사적 버그 데이터와 LLM 기능을 새로운 ClozeMask 전략으로 결합한 퍼징 프레임워크인 ClozeMaster를 제안합니다. 워크플로우는 네 가지 주요 단계로 구성됩니다:

A. 데이터셋 구축 및 증강

• 소스: 시스템은 역사적 Rust 컴파일러 버그 리포트 (특히 "C-bug" 및 "T-compiler"로 레이블된 rustc 이슈), 공식 Rust 테스트 스위트, 그리고 내부 컴파일러 오류 (ICE) 유발자를 포함하는 Glacier 저장소에서 코드 스니펫을 수집합니다.
• 증강: 파인튜닝을 위한 데이터셋 크기를 늘리기 위해 저자들은 데이터 증강 기법을 적용합니다:
  • 무작위 삭제 (RD): 코드 토큰을 무작위로 제거 (확률 $p=0.2$).
  • 무작위 교환 (RS): 프로그램 내 두 문장의 위치를 교환.
  • 이를 통해 데이터셋이 약 25k 개에서 100k 개의 스니펫으로 확장되었습니다.

B. LLM 파인튜닝

• 모델: 코드 인필링 작업을 처리할 수 있는 오픈소스 Incoder 모델이 선택되었습니다.
• 학습: 모델은 역사적 버그 유발 코드로 구성된 큐레이션된 데이터셋으로 파인튜닝됩니다. 이를 통해 LLM 은 Rust 컴파일러 취약점과 관련된 특정 문법 및 의미론적 패턴을 학습합니다.

C. ClozeMask 전략 (핵심 혁신)

ClozeMaster 는 처음부터 코드를 생성하는 대신 "빈칸 채우기" 방식을 사용합니다:

1. 마스킹: 데이터셋에서 코드 스니펫을 선택합니다. 깊이 우선 탐색 (DFS) 이 괄호 구조 ((), {}, [], <>) 를 식별합니다. 이러한 괄호 내부의 내용은 [mask] 토큰으로 대체됩니다.
   • 근거: 괄호는 Rust 의 문법과 의미론을 정의합니다. 외부 구조를 보존하면 생성된 코드가 문법적으로 유효하게 유지되는 반면, 마스킹된 내부 콘텐츠는 LLM 이 엣지 케이스를 탐색할 수 있게 합니다.
2. 인필링: 파인튜닝된 LLM 에게 마스킹된 부분을 채우도록 프롬프트를 입력합니다.
   • 불안정한 것으로 알려진 실험적 기능의 생성을 장려하기 위해 "feature" 블록 (예: #![feature(...)]) 에는 특수 처리가 적용됩니다.
   • 인필링된 코드가 원본과 동일한 경우 새로움을 보장하기 위해 폐기됩니다.

D. 오라클 및 필터링

• 오라클: 시스템은 생성된 코드를 rustc 및 mrustc 를 사용하여 컴파일합니다.
  • ICE (내부 컴파일러 오류): 충돌 또는 "내부 컴파일러 오류" 메시지를 통해 감지됩니다.
  • 정지 (Hang): 컴파일이 180 초 타임아웃을 초과할 경우 감지됩니다.
• 중복 제거: 스택 트레이스와 시간 통과 (time-passes) 정보가 저장되어 중복 버그를 필터링합니다.

3. 주요 기여

1. ClozeMask 전략: 역사적 버그 리포트에서 괄호로 둘러싸인 코드 세그먼트를 마스킹하고 LLM 을 사용하여 이를 채우는 새로운 접근 방식입니다. 이는 Rust 에 필요한 구조적 무결성을 유지하면서 LLM 을 활용하여 새로운 잠재적 버그 변형을 생성합니다.
2. CLOZEMASTER 프레임워크: 역사적 버그 데이터, 데이터 증강, LLM 파인튜닝을 통합한 Rust 컴파일러 전용 최초의 퍼징 도구입니다.
3. 실증적 검증: 기존 베이스라인보다 우수한 성능을 보여주는 두 가지 컴파일러 (rustc 및 mrustc) 에 대한 광범위한 평가.

4. 실험 결과

저자들은 ClozeMaster 를 세 가지 베이스라인 (RustSmith(생성형), Rustlantis(생성형), SPE(변형 기반) 에 대해 평가했습니다.

• 버그 탐지:
  • 총 보고된 버그: 37 개.
  • 확인된 버그: 27 개 (개발자가 10 개 수정).
  • 비교: ClozeMaster 는 rustc v1.73 에서 11 개의 고유한 버그를 발견한 반면, 베이스라인은 0~1 개를 발견했습니다.
  • 신규성: 많은 버그는 v1.56(2 년 이상 된) 과 같은 오래된 버전에서도 잠재되어 있었으며, 다른 도구들에 의해 탐지되지 않았습니다.
• 코드 커버리지:
  • ClozeMaster 는 **64.34%**의 코드 커버리지를 달성했습니다.
  • 이는 RustSmith(32.84%) 대비 **95.92%**의 상대적 증가, Rustlantis(29.55%) 대비 **117.73%**의 증가를 의미합니다.
  • SPE(62.02%) 보다도 우수했습니다.
• 컴포넌트 커버리지: 파서, 매크로, 트레이트, 수명, 상수 제네릭스를 포함한 다양한 컴파일러 컴포넌트에서 버그가 발견되었습니다. 특히 "제네릭 상수 표현식 (generic const exprs)" 기능은 ICE 의 주요 원인이었습니다.

5. 중요성 및 논의

• 역사적 데이터의 효과성: 이 연구는 역사적으로 버그를 유발한 코드 스니펫이 가치 있는 도메인 특화 지식을 포함하고 있음을 확인했습니다. 이를 마스킹/채우기의 기반으로 사용하는 것은 무작위 생성이나 순수 LLM 생성보다 더 효과적입니다.
• 문맥의 중요성: 제거 실험 (ablation studies) 은 역사적 버그 데이터를 제거하거나 파인튜닝되지 않은 모델을 사용할 경우 성능이 크게 저하됨을 보여주었습니다. 또한, "cloze" 문맥 없이 (처음부터 생성하여) LLM 을 사용하는 경우 대부분 문법 오류가 발생했습니다.
• 모델 선택: 이 논문은 GPT-4o 와 같은 범용 LLM 이나 일반 코드로 학습된 모델 (StarCoder) 이 문법 오류로 인해 Rust 인필링에서 성능이 낮음을 강조합니다. 무작위 마스킹 전략으로 학습된 Incoder가 이 특정 작업에서 더 우수함이 입증되었습니다.
• 영향: ClozeMaster 는 역사적 버그 패턴과 LLM 인필링을 결합하는 것이 Rust 와 같은 복잡하고 안전이 중요한 컴파일러를 테스트하는 데 실현 가능하고 강력한 전략임을 보여주며, 전통적인 퍼저가 놓치는 깊은 엣지 케이스를 발견합니다.

아티팩트 가용성: 구현 및 버그 목록은 https://github.com/clozeMasterPro/clozeMaster에서 공개적으로 이용 가능합니다.