FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework

기술 요약: FunFuzz

문제 제기
컴파일러를 포함한 언어 처리 시스템에 대한 현대적인 퍼징은 입력 공간이 매우 구조화되어 있고 의미적으로 풍부하다는 특성으로 인해 상당한 도전에 직면해 있습니다. 전통적인 접근 방식은 종종 지속적인 의미적 다양성을 유지하는 데 어려움을 겪으며, 깊은 컴파일 파이프라인이나 희귀한 기능 상호작용을 테스트하지 못하는 얕은 패턴에 수렴하는 경향이 있습니다. 대규모 언어 모델 (LLM) 은 구문적으로 유효하고 의미적으로 다양한 프로그램을 합성하기 위한 유망한 대안을 제공하지만, LLM 기반 퍼징은 특정 실패 모드에 취약합니다: 프롬프트 초기화에 대한 민감도, 샘플링 변동으로 인한 반복적인 프로그램 스타일, 그리고 다양성을 유지하기 위한 명시적 메커니즘이 없을 경우 탐색 궤적이 일찍 붕괴되는 경향입니다. 기존 LLM 지원 퍼저는 종종 단일 공유 프롬프트나 암시적 피드백에 의존하는데, 이는 탐색에 편향을 초래하고 새로운 컴파일러 동작에 대한 탐색을 제한할 수 있습니다. 또한, 새로운 컴파일러나 언어 변형에 퍼저를 적응시키는 것은 일반적으로 광범위한 수동 엔지니어링을 필요로 하여 이식성을 저하시킵니다.

방법론
FunFuzz 는 LLM 기반 프로그램 합성을 통합하고 확률성을 완화하며 다양성을 유지하는 견고한 탐색 절차를 설계한 다중 섬 진화 퍼징 프레임워크입니다. 이 프레임워크는 두 가지 주요 단계로 운영됩니다:

1. 프롬프트 증류 및 초기화:

   • 시스템은 증류 LLM 을 사용하여 사용자가 제공한 아티팩트 (문서, 명세서, 코드 예제) 를 처리하여 기본 프롬프트를 생성합니다.
   • 모든 탐색 궤적이 입력 공간의 동일한 영역에서 시작하는 것을 방지하기 위해 FunFuzz 는 섬별 시드 지시문을 파생합니다. 이는 문서에서 추출된 다양한 주제 (예: 할당 패턴, 제어 흐름) 를 강조하는 짧은 지시문들입니다.
   • 시스템은 기본 프롬프트와 결합된 이러한 지시문 배치 (서로 다른 온도에서 샘플링됨) 를 평가하여 가장 높은 컴파일 유효성을 제공하는 배치를 선택합니다. 그 결과 각 섬마다 고유한 초기 프롬프트가 생성되어 여러 개의 의미적으로 다른 시작점이 마련됩니다.

2. 진화 퍼징 루프 (다중 섬):

   • 섬 운영: 각 섬은 후보 프로그램의 독립적인 개체군을 유지합니다. 프로그램은 섬의 현재 프롬프트를 기반으로 LLM 에 의해 생성되고, 포맷팅 아티팩트를 제거하기 위해 정규화된 후 계측된 컴파일러에 대해 컴파일됩니다.
   • 적합도 점수화: 후보들은 주변 컴파일러 커버리지(연습된 새로운 컴파일러 소스 줄 수) 와 실패 신호 (예: 내부 컴파일러 오류) 를 기반으로 순위가 매겨집니다. 적합도 함수는 독립적인 탐색을 장려하기 위해 섬별로 로컬하게 계산됩니다.
   • 선택 및 진화: 부모 프로그램은 적합도 점수에 대한 온도 제어 소프트맥스 분포를 사용하여 선택됩니다. 선택된 부모는 생성을 조종하기 위해 다음 프롬프트에 통합되며, 특정 프로그램에 과도하게 적합되는 것을 방지하기 위한 메커니즘이 포함됩니다.
   • 섬 간 이동: 축적된 탐색 컨텍스트를 폐기하지 않고 정체성을 완화하기 위해 FunFuzz 는 "소프트 이동" 정책을 사용합니다. 3 시간마다 커버리지 기준으로 상위 51% 의 섬은 "강한" 섬으로, 하위 49% 는 "약한" 섬으로 지정됩니다. 강한 섬은 엘리트 개체군의 10% 를 약한 섬과 공유하여 약한 섬 개체군의 하위 30% 를 대체합니다. 약한 섬을 초기화하는 이전 "FunSearch" 접근 방식과 달리, 이 방법은 나머지 탐색 컨텍스트를 보존합니다.

주요 기여

• 다중 섬 LLM 지원 진화 퍼징: 로컬 피드백을 통해 독립적인 개체군을 유지하고 주기적 이동을 통해 탐색과 활용을 균형 있게 조절하여 조기 수렴을 방지하는 퍼징 루프의 도입.
• 섬별 의미 초기화를 통한 프롬프트 증류: 각 섬에 대한 고유한 시드 지시문을 생성하여 구문적 유효성을 유지하면서도 의미적으로 다양한 시작점을 보장하는 오토프롬프팅 기술의 확장.
• 현대 컴파일러에 대한 포괄적 평가: C 및 C++ 에 대한 GCC 와 Clang 에서 24 시간 동안 엄격하게 평가하여 강력한 베이스라인 (Fuzz4All 및 Kitten) 과 비교하고, 핵심 설계 선택의 영향을 분리하기 위한 통제된 절단 연구를 포함함.

실험 결과
FunFuzz 는 반복된 24 시간 캠페인을 통해 GCC 와 Clang 에서 평가되었습니다. 결과는 다음과 같습니다:

• 커버리지 향상: FunFuzz 는 베이스라인보다 일관되게 높은 컴파일러 소스 줄 커버리지를 달성했습니다. GCC 의 경우 C 에서 표준 Fuzz4All 보다 최대 +27.1% 더 높은 커버리지를, C++ 에서는 +31.0% 더 높은 커버리지를 기록했습니다. Clang 의 경우 C 에서 +9.3%, C++ 에서 +4.4% 의 개선이 있었습니다.
• 버그 발견: 이 프레임워크는 119 개의 고유한 컴파일러 버그를 발견했으며, 이 중 80 개는 개발자에 의해 확인되었습니다. FunFuzz 는 템플릿과 의미의 복잡성이 더 높은 C++ 에서 특히 Fuzz4All 및 Kitten 보다 훨씬 더 많은 고유한 실패 유발 입력을 발견했습니다.
• 절단 연구 통찰:
  • 점수화: 커버리지 기반 점수화가 성능의 주요 동인이었습니다.
  • 초기화: 공유 시드와 비교하여 고유한 섬별 시드가 초기 탐색을 크게 개선했습니다.
  • 이동: 컨텍스트를 보존하는 "소프트 이동"이 약한 섬의 전체 초기화보다 더 우수한 성과를 보였습니다.
  • 병렬화: 5 개의 섬을 구성하는 것이 탐색 다양성과 진화 깊이 사이의 최적 균형을 제공했습니다; 10 개 또는 20 개로 증가시키면 고정된 시간 예산 하에서 탐색이 분열되어 성능이 저하되었습니다.
  • 웜-스타트: 큐레이션된 코퍼스 (웜-스타트) 로 초기화될 때 FunFuzz 는 더 높은 커버리지를 달성하여 LLM 이 주도하는 진화가 전통적인 시드 기반 접근 방식을 보완함을 시사했습니다.

의의
이 논문은 FunFuzz 를 더 견고하고 이식 가능한 컴파일러 퍼징을 향한 한 걸음으로 위치시킵니다. LLM 주도 합성과 다중 섬 진화 전략을 결합함으로써 FunFuzz 는 단일 프롬프트 LLM 퍼징에 내재된 프롬프트 민감도와 탐색 붕괴의 한계를 해결합니다. 이 프레임워크는 광범위한 수동 엔지니어링이나 대상별 휴리스틱에 의존하지 않고도 의미적으로 풍부한 프로그램을 향한 장기적인 탐색 압력을 유지할 수 있음을 보여줍니다. 결과는 여러 개의 고유한 탐색 궤적을 유지하고 컨텍스트를 초기화하지 않고 고가치 후보를 공유하는 것이 복잡하고 진화하는 컴파일러 시스템의 깊은 결함을 발견하기 위한 효과적인 전략임을 시사합니다. 저자들은 현재 평가가 C/C++ 컴파일러로 제한되어 있지만, 설계는 테스트 대상 시스템에 무관하도록 의도되었으며, 향후 다른 구조화된 입력 도메인에 대한 작업이 계획되어 있다고 지적합니다.