1. 문제 정의

바이너리 전용 퍼징은 소스 코드를 사용할 수 없는 폐쇄형 소프트웨어에서 버그를 발견하는 데 필수적입니다. 이러한 맥락에서 퍼저는 코드 커버리지를 추적하기 위해 정적 바이너리 계측(Static Binary Instrumentation, SBI) 또는 동적 바이너리 계측(Dynamic Binary Instrumentation, DBI)에 의존합니다. DBI(예: Intel Pin, QEMU)는 구현의 용이성과 건전성 덕분에 널리 사용되지만, 상당한 런타임 오버헤드(종종 10~100배 느림)를 발생시켜 퍼저의 처리량(throughput)을 심각하게 제한합니다.

반대로, SBI는 실행 전 바이너리를 재작성함으로써 낮은 런타임 비용을 제공합니다. 그러나 기존의 SBI 프레임워크는 역사적으로 정확성과 일반화 능력 측면에서 어려움을 겪어 왔습니다. 많은 도구가 복잡한 실제 타겟을 계측하는 데 실패하며, 결정적으로 컴파일러 기반 또는 DBI 기반 퍼저에서 발견되는 현대적인 성능 향상 기술을 지원하지 못합니다. 구체적으로, 지연 초기화(deferred initialization), 지속 모드(persistent mode), **공유 메모리 퍼징(shared-memory fuzzing)**과 같은 기능들은 대부분의 SBI 프레임워크에서 여전히 지원되지 않습니다. 이러한 격차는 최근의 정적 바이너리 재작성 기술의 발전을 활용하여 견고하고 고성능이며 확장 가능한 바이너리 전용 퍼저를 구축할 수 있는지에 대한 의문을 제기합니다.

2. 방법론

저자들은 최신 정적 바이너리 재작성 기술을 사용하여 현대적인 퍼징 계측을 주입하는 확장 가능한 바이너리 전용 퍼징 프레임워크인 PeAR를 개발했습니다.

핵심 아키텍처

PeAR은 **GrammaTech Intermediate Representation for Binaries (GTIRB)**와 Ddisasm 디스어셈블러를 기반으로 구축되었습니다. 워크플로우는 다음과 같습니다:

1. 정적 분석: 타겟 바이너리는 Ddisasm(Datalog로 구현됨)을 사용하여 디스어셈블되어 명령어를 디코딩하고 사실(facts)의 상위 집합을 생성합니다. 이 사실들은 심볼화 및 제어 흐름을 위해 분석된 후 GTIRB 중간 표현으로 변환됩니다.
2. 계측: gtirb-rewriting 프레임워크를 사용하여, PeAR은 네이티브 코드로 다시 낮추기(lowering) 전의 GTIRB에 직접 계측을 주입합니다.

주요 계측 기능

기본적인 커버리지 트레이싱에 주로 집중하는 이전의 SBI 도구들과 달리, PeAR은 다음과 같은 일련의 고급 기능을 구현합니다:

• 커버리지 트레이싱: PeAR은 에지 커버리지를 추적하기 위해 기본 블록(basic block)의 시작 부분에 트램펄린(trampoline)을 삽ла 삽입하여, AFL++에서 사용되는 __afl_maybe_log 로직을 모방합니다. 이는 블록이 호출(call) 명령어로 종료될 수 있는 인터프로시저 제어 흐름 그래프(CFG)를 처리합니다.
• 지연 초기화: 프레임워크는 사용자가 퍼저의 포크서버(forkserver)가 초기화될 함수 또는 주소를 지정할 수 있도록 허용합니다. 이를 통해 매 테스트 케이스마다 복잡한 타겟 특유의 초기화 루틴을 건너뛰어 오버헤드를 줄입니다.
• 지속 모드: 매번 새로운 프로세스를 생성하는 대신, PeAR은 타겟 함수를 루프(loop)로 감쌉니다. 계측 과정에서 레지스터 상태와 리턴 주소를 저장하고 복원함으로써, 단일 프로세스가 여러 입력을 실행할 수 있도록 합니다.
• 공유 메모리 퍼징: 파일 시스템 I/O 페널티를 피하기 위해, PeAR은 타겟의 입력 버퍼 포인터를 테스트 케이스가 포함된 공유 메모리 영역으로 직접 리다이렉트하는 훅(hook)을 구현합니다. 이는 훅 함수를 통해 관련 레지스터(예: 버퍼 포인터인 rdi)를 수정하고 실행 전 상태를 복원함으로써 달성됩니다.

3. 주요 기여

본 논문은 다음을 기여합니다:

1. PeAR 프레임워크: 현대적인 퍼징 계측(지연 초기화, 지속 모드, 공유 메모리)을 광범위한 타겟에 걸쳐 주입할 수 있는 SBI 기반 퍼징 프레임워크.
2. 포괄적인 평가: FuzzBench 벤치마크 제품군에서 PeAR과 4개의 다른 최첨단 SBI 프레임워크(ZAFL, StochFuzz, afl-dyninst, E9AFL)를 대상으로 수행한 엄격한 평가. 이 평가는 **4.25 CPU-년(CPU-years)**의 퍼징 시간을 포함합니다.
3. SBI 생존 가능성 입증: 본 연구는 SBI가 본질적으로 부정확하거나 고급 기능을 지원할 수 없다는 지배적인 가설에 도전하며, 현대적인 재작성 프레임워크를 통해 높은 세밀도(granularity)를 달성하면서도 성능 저하를 최소화할 수 있음을 보여줍니다.

4. 실험 결과

평가는 25개의 FuzzBench 타겟(커버리지/성능 분석에는 20개 사용)을 대상으로 진행되었습니다.

견고성 (Robustness)

• 계측 성공률: PeAR은 **25개 중 22개(88%)**의 타겟을 성공적으로 계측하였으며, 이는 최고의 SBI 기반 퍼저들(ZAFL 23/25, StochFuzz 22/25)과 대등한 수준입니다.
• 실패 모드: 실패는 주로 빌드/재작성 문제 또는 무해한 입력에 대한 잘못된 계측으로 인한 크래시 때문이었습니다. PeAR은 Ddisasm이 데이터 테이블이나 상수를 잘못 식별한 두 가지 타겟(curl, libjpeg-turbo)에 대해 수동 힌트가 필요했습니다.

코드 커버리지

• PeAR은 모든 SBI 기반 퍼저 중 **가장 높은 평균 정규화 커버리지 점수(87.91%)**를 기록했습니다.
• 이 성능은 DBI 베이스라인인 AFL++ QEMU 모드(87.84%)와 유사하며, 다른 SBI 도구들(E9AFL 6.62%, afl-dyninst 57.79%)을 크게 상회합니다.
• 지속 모드와 공유 메모리를 활성화했을 때, PeAR의 커버리지는 **89.95%**로 약간 향상되었으며, 이는 더 높은 처리량이 더 나은 상태 공간 탐색을 가능하게 함을 입증합니다.

처리량 및 성능

• 처리량 이득: 절제 연구(ablation study) 결과, 지속 모드를 활성화하면 PeAR의 처리량이 중앙값 기준 2.56배 향상되었습니다. 공유 메모리 퍼징을 추가하면 기본 구성 대비 중앙값 기준 4.07배까지 처리량이 증가했습니다.
• 벤치마크 편차: 비용이 많이 드는 초기화 과정을 가진 타겟(예: curl)은 (공유 메모리와 함께 사용 시) 최대 31.23배까지 엄청난 이득을 보았으며, 가벼운 타겟은 더 작은 개선을 보였습니다.
• 비교: 고급 기능을 갖춘 PeAR은 바이너리 전용 퍼저 중 지속적으로 가장 높은 처리량 비율을 달면서, 차순위로 빠른 SBI 퍼저보다 중앙값 기준 3.56배 더 높은 성능을 보였습니다.

5. 의의 및 주장

저자들은 PeAR이 바이너리 전용 퍼징을 위한 실용적이고 효과적인 기술임을 입증한다고 주장합니다. 본 논문은 GTIRB와 같은 현대적인 기성(off-the-shelf) 재작성 프레임워크를 활용할 경우, SBI의 정확성과 건전성에 대한 역사적인 우려가 부당함을 논증합니다.

구체적으로, 본 논문은 다음과 같이 주장합니다:

• 확장성: 현대적인 바이너리 재작성 프레임워크는 높은 세밀도로 복잡한 계측(지속 루프 및 공유 메모리 훅 등)을 적용할 수 있습니다.
• 성능 동등성: SBI는 컴파일러 기반 계측 및 DBI 기반 솔루션(QEMU 모드)과 대등한 코드 커버리지를 달면서도, DBI보다 훨씬 더 나은 처리량을 제공할 수 있습니다.
• 기능 동등성: SBI 환경에서도 고급 퍼징 기술(지연 초기화, 지속 모드, 공유 메모리)을 구현하는 것이 가능하며, 이는 기존 SBI 생태계에서 결여되었던 역량입니다.

결론적으로, 본 논문은 일부 과제(지원되지 않는 명령어 또는 복잡한 데이터 테이블 처리 등)가 남아있지만, 강력한 정적 분석과 현대적인 재작성 도구의 결합이 SBI를 폐쇄형 소프트웨어의 고성능 퍼징을 위한 유효한 대안으로 만든다고 결론짓습니다. 향후 연구에는 Windows PE 바이너리 및 추가 아키텍처에 대한 지원 확대가 포함됩니다.