SDLLMFuzz: Dynamic-static LLM-assisted greybox fuzzing for structured input programs

1. 문제 정의 (Problem)

기존의 퍼징 (Fuzzing) 기술은 소프트웨어 취약점 발견에 널리 사용되지만, 구조화된 입력 (Structured Inputs) 을 처리하는 프로그램 (예: XML 파서, 이미지 라이브러리, 오디오 파일 처리기 등) 에 적용할 때는 다음과 같은 한계를 보입니다.

• 구문 제약과 의미 인식 부족: 구조화된 입력은 엄격한 구문 (Syntax) 과 의미 (Semantic) 제약을 가집니다. 기존 퍼저 (Mutation 기반) 는 무작위 변형을 수행하여 유효하지 않은 입력을 생성하는 경우가 많아, 파싱 단계에서 조기에 거부당하고 프로그램의 깊은 로직을 탐색하지 못합니다.
• 동적 피드백의 미활용: 기존 LLM 기반 접근법은 주로 시드 (Seed) 생성에 집중할 뿐, 런타임 중 발생하는 충돌 (Crash) 정보나 실행 트레이스 (Execution Trace) 와 같은 풍부한 런타임 피드백을 입력 생성 과정에 효과적으로 반영하지 못합니다.
• 국소 최적화 (Local Optima) 문제: 단순한 커버리지 피드백만으로는 복잡한 프로그램 논리를 탐색하기 어려워, 퍼저가 특정 경로에 갇히게 되는 문제가 발생합니다.

2. 제안 방법론: SDLLMFuzz (Methodology)

저자들은 SDLLMFuzz를 제안했습니다. 이는 구조화된 입력 프로그램용 동적 - 정적 (Dynamic-Static) LLM 지원 그레이박스 퍼징 프레임워크입니다. 핵심 아이디어는 LLM 기반의 의미론적 시드 생성과 충돌 분석을 통한 정적 피드백을 통합한 폐쇄 루프 (Closed-loop) 시스템입니다.

주요 구성 요소 및 프로세스:

1. LLM 기반 구조 인식 시드 생성 (LLM-Guided Seed Generation):

   • LLM 에게 입력 포맷 문서, 초기 시드 코퍼스, 그리고 실행 피드백을 프롬프트로 제공합니다.
   • LLM 은 구문 제약 조건을 만족하면서도 의미적으로 다양한 유효한 입력을 생성합니다. 이는 무작위 변형보다 유효한 테스트 케이스의 비율을 높여 깊은 프로그램 탐색을 가능하게 합니다.

2. 그레이박스 퍼징 실행 (Greybox Fuzzing Execution):

   • 생성된 시드를 AFL++ 와 같은 그레이박스 퍼저에 입력하여 실행합니다.
   • 커버리지 피드백, 실행 트레이스, 충돌 발생 입력을 수집합니다.

3. 정적 충돌 분석 (Static Crash Analysis):

   • 충돌이 발생하면 코어 덤프 (Core Dump) 와 GDB 와 같은 디버깅 도구를 사용하여 정적 분석을 수행합니다.
   • 충돌 위치, 호출 스택, 예외 유형, 메모리 접근 패턴 등 충돌의 근본 원인 (Root Cause) 에 대한 의미 정보를 추출합니다.

4. 동적 - 정적 피드백 루프 (Dynamic-Static Feedback Loop):

   • 추출된 충돌 정보를 구조화된 피드백 (Crash Feedback Encoding) 으로 변환하여 다시 LLM 프롬프트에 포함시킵니다.
   • LLM 은 이전 충돌의 원인을 학습하여 다음 시드 생성 시 해당 경로를 더 깊이 탐색하거나 새로운 변형을 시도하도록 유도합니다.
   • 이 과정은 생성 (Generation) → 실행 (Execution) → 분석 (Analysis) → 피드백 (Feedback) 의 반복 루프로 이어져 테스트 입력을 점진적으로 정제합니다.

3. 주요 기여 (Key Contributions)

• 통합 프레임워크 제안: 구조화된 입력 프로그램에 특화된 동적 - 정적 LLM 지원 퍼징 프레임워크 (SDLLMFuzz) 를 최초로 제안했습니다.
• 충돌 피드백 메커니즘 설계: 정적 충돌 분석 결과를 시드 정제를 위한 의미론적 가이드 (Semantic Guidance) 로 변환하는 메커니즘을 설계했습니다. 이는 기존 퍼징이 충돌을 단순히 '실패 신호'로만 보는 것과 차별화됩니다.
• 성능 검증: Magma 벤치마크 (libxml2, libpng, libsndfile 등) 를 통해 제안된 방법이 기존 그레이박스 퍼저 및 LLM 지원 베이스라인보다 더 많은 버그를 발견하고 버그 발견 시간 (Time-to-Bug) 을 단축함을 입증했습니다.

4. 실험 결과 (Results)

• 평가 환경: Magma 벤치마크를 사용하며, libxml2, libpng, libsndfile 등 다양한 구조화된 입력 프로그램을 대상으로 실험했습니다.
• 버그 발견 성능: 24 시간 및 48 시간 실행 결과, SDLLMFuzz 는 전통적인 퍼저 (AFL++) 와 피드백 루프가 없는 LLM 기반 퍼저보다 발견한 버그 수 (Bug Coverage) 에서 압도적으로 우위를 보였습니다.
• 시간 효율성 (Time-to-Bug): SDLLMFuzz 는 대부분의 취약점을 다른 방법들보다 빠르게 발견했습니다. 특히 구조화된 입력 프로그램에서 수렴 속도가 빨랐습니다.
• Ablation Study (성분 분석):
  • LLM 기반 시드 생성을 제거할 때 성능이 가장 크게 저하됨 (유효한 구조화된 입력 생성의 중요성 입증).
  • 정적 충돌 피드백을 제거할 경우에도 성능이 감소하여, 피드백 기반 정제가 탐색 효율성에 기여함을 확인했습니다.

5. 의의 및 의의 (Significance)

• 구조화된 입력 퍼징의 패러다임 전환: 단순한 무작위 변형이나 구문 기반 생성에 의존하던 기존 방식을 넘어, LLM 의 의미론적 이해 능력과 런타임 피드백의 정밀한 분석을 결합함으로써 구조화된 입력 퍼징의 한계를 극복했습니다.
• 실용적 가치: 실제 산업계에서 널리 사용되는 라이브러리 (XML, PNG 등) 의 취약점 발견에 효과적이며, 자동화된 취약점 발견의 정확도와 효율성을 크게 향상시킵니다.
• 확장성: 이 프레임워크는 특정 LLM 아키텍처나 퍼저 엔진에 종속되지 않으며, 구성 파일, 스크립트 언어, 프로토콜 메시지 등 다른 제약이 많은 입력을 처리하는 프로그램에도 적용 가능한 일반적인 설계 원리를 제공합니다.

결론적으로, SDLLMFuzz 는 LLM 의 생성 능력과 동적/정적 분석의 피드백을 통합하여, 기존 퍼징 기술이 해결하지 못했던 구조화된 입력 프로그램의 심층 취약점 발견 문제를 해결하는 유망한 방향을 제시합니다.