Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

기술 요약: 대규모 언어 모델을 통한 변형 퍼징 오라클 강화 연구

문제 정의
그레이박스 퍼징(Greybox fuzzing)은 테스트 공간을 정의하고 대상 인터페이스를 캡슐화하기 위해 퍼즈 드라이버(fuzz drivers)에 크게 의존합니다. 그러나 OSS-Fuzz의 드라이버 1,068개를 체계적으로 분석한 결과, 결정적인 한계가 드러났습니다. 기존 드라이버의 81.1%가 기능적 오라클(functional oracles)이 결여되어 있었습니다. 대신, 이들은 오직 "암묵적 오라클"(프로그램 크래시)이나 "의사 오라클"(입력 유효성 검사)에만 의존하고 있습니다. 이러한 관행은 테스트 대상 라이브러리의 기능적 의미론(semantics)을 간과하며, 버그 탐지 능력을 크래시를 유발하는 결함으로만 제한합니다. 변형 테스트(Metamorphic testing)는 입력과 출력 사이의 관계인 변형 관계(Metamorphic Relations, MRs)를 정의함으로써 기능적 버그를 탐지하는 해결책을 제시하지만, 기존 드라이버에 이러한 오라클을 수동으로 구축하고 통합하는 작업은 노동 집약적이며 깊은 도메인 지식을 요구하여 자동화의 장벽이 됩니다.

방법론: MetaFOE
저자들은 대규모 언어 모델(LLM)을 활용하여 **변형 기반 퍼즈 오라클 강화(Metamorphic-based Fuzz Oracle Enhancement, MFOE)**를 자동화하는 새로운 프레임워크인 MetaFOE를 제代안합니다. 파이프라인은 두 가지 주요 단계로 구성됩니다:

1. 변형 관계 생성 (MRG): LLM이 대상 라이브러리의 소스 코드와 문서를 분석하여 후보 MR을 생성합니다. 이러한 관계는 기대되는 동작을 설명합니다 (예: "공백을 추가해도 파싱 결과가 변경되지 않아야 함").
2. 퍼즈 오라클 구현 (FOI): LLM이 원본 퍼즈 드라이버와 유효한 MR을 전달받아 "메타 드라이버(meta driver)"를 합성합니다. 여기에는 실행 중 MR을 검증하기 위해 드라이버에 명시적 오라클(일반적으로 assert 문)을 주입하는 과정이 포함됩니다.

품질 보장을 위해 본 프레임워크는 엄격한 검증 프로세스를 채택합니다:

• MR 검증: 생성된 MR은 중복을 제거하고 전문가에 의해 적용 가능성을 수동으로 검증됩니다.
• 드라이버 검증: 생성된 메타 드라이버는 3단계 체크를 거칩니다:
  • 컴파일 수준: 컴파일 에러를 수정하기 위한 반복적인 재프롬프팅(reprompting).
  • 런타임 수준: 불안정한 드라이버(과도한 크래시 발생) 또는 효과가 낮은 드라이버(낮은 커버리지)를 폐기하기 위한 단기 퍼징.
  • 퍼징 능력: 엣지 커버리지(edge coverage)와 크래시 탐지 능력을 측정하기 위한 장기(3시간) 캠페인.

본 연구는 세 가지 최첨단 LLM(GLM-4-Plus, DeepSeek-V3.2, GPT-4.1)과 다섯 가지 프롬프트 전략(Zero-shot, Few-shot, Critique, Expert, Chain-of-Thought)을 사용하여 MetaFOE를 평가합니다.

주요 기여

• 새로운 파이프라인: 이는 드라이버 생성이 아닌 '드라이버 오라클 강화'에 초점을 맞추어, 기존 퍼즈 드라이버를 변형 오라클로 강화하는 자동화된 파이프라인을 제안하고 구현한 최초의 연구입니다.
• 체계적 실증 연구: 저자들은 OSS-Fuzz의 현재 퍼즈 오라클 상태에 대한 포괄적인 분석을 제공하며, 2억 1,300만 개의 토큰과 2 CPU 년 이상의 퍼징 시간을 소비하는 광범an한 실험을 수행했습니다.
• 아티팩트 공개: 본 연구는 6,228개의 유효한 메타 드라이버와 함께 연구에 사용된 데이터셋 및 스크립트를 공개합니다.

실험 결과
평가는 OSS-Fuzz의 10개 대표 프로젝트를 대상으로 진행되었습니다:

• MR 생성: MetaFOE는 3,475개의 MR을 생성했으며, 그 중 **77.3%(2,685개)**가 적용 가능한 것으로 간주되었습니다. 적용 가능성은 프로젝트 규모(LoC)와 약한 음의 상관관계를 보였습니다.
• 드라이버 유효성: 적용 가능한 MR로부터 12,351개의 메타 드라이버 후보를 구현했습니다. 검증 후, **6,228개(50.4%)**가 유효했습니다.
• 퍼징 성능: 원본 드라이버와 비교했을 때, 유효한 메타 드라이버는 다음과 같은 성과를 달erm했습니다:
  • 평균 18.7%의 엣지 커버리지 향상.
  • 10개 프로젝트 전반에서 1,528개의 고유한 크래시 발견. 주목할 점은, 원본 드라이버는 10개 프로젝트 중 2개에서만 크래시를 유발했으나, 메타 드라이버는 10개 프로젝트 모두에서 크래시를 찾아냈다는 것입니다.
  • 크래시는 메모리 오염(Memory Corruptions, MC)과 어설션 실패(Assertion Failures, AF)를 모두 포함하였으며, 주입된 오라클의 특성상 AF가 현저히 더 많이 발견되었습니다.
• LLM 및 프롬프트 민감도:
  • LLMs: DeepSeek-V3.2가 적용 가능한 MR 생성에서 가장 우수한 성능(82.9% 적용 가능성)을 보였고, GPT-4.1은 생성된 드라이버의 유효율(55.4%)에서 가장 높은 수치를 기록했습니다.
  • 프롬프트: 시스템은 프롬프트 전략에 덜 민감했습니다. Chain-of-Thought(COT)는 가장 많은 유효 드라이버를 생성했고, Expert(EXP) 프롬프트는 최고의 퍼징 능력(커버리지 및 크래시 탐지)을 가진 드라이버를 생성했습니다.

의의 및 주장
본 논문은 변형 오라클이 크래시 기반 오라클이 놓치는 기능적 버그를 발견하는 데 필수적이라고 주장합니다. 본 연구는 LLM이 변형 관계를 추출하고 이를 퍼즈 드라이버에 통합하는 복잡한 작업을 자동화하는 데 적합하고 효과적임을 입증했습니다.

저자들은 LLM이 퍼징 능력을 크게 향상시킬 수 있지만 완벽하지는 않다는 점을 강조합니다 (예: Libyaml 사례 연구에서 MR 가정이 모든 엣지 케이스에 적용되지 않는 False Positive 관찰). 따라서 본 논문은 LLM이 초기 오라클을 생성하게 하고, 이후 인간 또는 반복적인 LLM 지원 정제 과정을 통해 False Positive를 완화하는 하이브리드 접근 방식을 권장합니다. 이 연구는 퍼-박스 퍼징의 버그 탐지 효율성을 높이기 위해 크래시 전용 오라클을 넘어 자동화된 변형 강화를 통해 나아가야 한다는 귀중한 통찰을 퍼징 커뮤니티에 제공합니다.