FirmReBugger: A Benchmark Framework for Monolithic Firmware Fuzzers

기술 요약: FirmReBugger

1. 문제 정의

모놀리식 펌웨어 퍼저(fuzzer)의 평가는 현재 코드 커버리지 및 고유 크래시(unique crash) 수와 같은 경험적 지표에 의존하고 있으나, 저자들은 이것이 펌웨어 도메인에서 근본적으로 결함이 있다고 주장한다.

• 코드 커버리지의 한계: 모놀리식 펌웨어에서는 버그가 퍼저가 프로그램 카운터(PC)를 조작할 수 있게 하여(예: 리턴 주소를 오염시키는 버퍼 오버플로를 통해), 원래는 도달 불가능했을 코드에 도달하게 만들 수 있다. 이러한 "버그 악용(bug exploitation)"은 커버리지 지표를 인위적으로 부풀려 성능에 대한 잘못된 인상을 심어준다.
• 고유 크래시의 한계: 인터럽트 기반의 펌웨어 특성상 크래시를 중복 제거(deduplication)하는 것은 매우 어렵다. 인터럽트 타이밍의 변화는 동일한 근본 원인 버그에 대해서도 호출 스택이나 실행 경로를 변경할 수 있어, 표준 휴리스틱(스택 해시 또는 커버리지 프로파일 등)이 동일한 크래시를 서로 다른 것으로 오분류하게 만든다. 반대로, 서로 다른 버그가 동일한 메모리 위치를 오염시켜 동일한 크래시 시그니처를 생성함으로써 서로 다른 버그가 하나로 잘못 병합될 수도 있다.
• 수동 분석의 병목 현상: 신뢰할 수 있는 자동화된 지표의 부재로 인해 연구자들은 수천 개의 크래시를 수동으로 분류(triage)해야 한다. 이 과정은 시간이 많이 소요되고 오류가 발생하기 쉬우며, 단일 버그로 인한 "크래시 폭발(crash explosion)" 때문에 취약점을 놓치는 결과를 초래한다.
• 기존 벤치마크의 부재: 일반 소프트웨어를 위한 버그 기반 벤치마크(예: Magma, FuzzBench)는 존재하지만, 이들은 종종 소스 코드를 필요로 하거나(펌웨어 바이너리는 소스 코드가 없음) 퍼징 프로세스에 오라클 로직을 통합하여, 벤치마크가 퍼징 과정에 영향을 미치는 "리키 오라클(leaky oracle)" 문제를 야기한다.

2. 방법론: FirmReBugger 프레임워크

저자들은 타겟 바이너리를 수정하지 않고도 모놀리식 펌웨어 퍼저를 공정하게 평가하기 위해 설계된 포괄적인 버그 기반 벤치마크 프레임워크인 FirmReBugger를 제안한다.

핵심 구성 요소

1. 버그 오라클 (Ravens):

   • 바이너리를 수정하는 대신, 이 프레임워크는 버그의 발현 조건을 설명하는 C 구문 표현식인 "Ravens"를 사용한다.
   • Reflection (반사): 상태 검사가 수행되어야 하는 특정 프로그램 카운터(PC) 주소를 정의한다.
   • Introspection (내성): 해당 반사 지점에서 CPU 레지스터와 메모리를 검사하여 버그 조건이 충족되었는지 판단하는 함수를 정의한다.
   • States (상태): Ravens는 버그 상태를 네 가지 범주로 분류한다: Not Reached (도달하지 않음), Reached (코드는 실행되었으나 조건 미충족), Triggered (조건 충족), Detected (조건 충족 및 크래시 발생).

2. Bug Interpreter (버그 인터프리터):

   • 이 컴포넌트는 퍼저와 별개로 작동한다. 이는 에뮬레이터에서 퍼징 시드(크래시 발생 및 비발생 시드 모두)를 재현(replay)한다.
   • Ravens를 동적으로 로드하고 반사 지점에서 에뮬레이터를 후킹(hook)한다.
   • 가상 CPU 상태를 버그 상태로 변환하여, 퍼저의 로직이나 타겟 바이너리를 변경하지 않고도 "버그 데이터(Bug Data)"(상태 및 ID)를 생성한다.

3. Analysis Bench (분석 벤치):

   • 버그 데이터와 퍼징 로그를 집계하여 도달 시간(time-to-reach), 트리거 시간(time-to-trigger), 트리거된 고유 버그 수와 같은 지표를 계산한다.
   • Ravens에 의해 정의된 그라운드 트루스(ground-truth) 버그 ID를 기준으로 중복 제거를 처리하여, 휴리스틱 기반의 크래시 분류 필요성을 우회한다.

벤치마크 타겟: FirmBench

펌웨어의 독특한 과제들을 해결하기 위해, 저자들은 313개의 소프트웨어 버그 오라클을 포함하는 61개의 다양한 바이너리 타겟 세트인 FirmBench를 큐레이션했다. 타겟은 세 가지 서브셋으로 나뉜다:

• FIRMBENCH: 표준화된 비교를 위해 까다로운 장애물(예: 매직 값, 복잡한 주변 장치 상호작용)이 패치된 31개의 바이너리 베이스라인 세트.
• FIRMBENCHDMA: CPU 개입 없이 데이터 주입을 처리하는 능력을 평가하기 위해 DMA(Direct Memory Access) 상호작용을 유지한 8개의 바이너리 세트.
• FIRMBENCHX: 현실 세계의 복잡성을 반영하고 퍼저의 견고함을 테스트하기 위해 장애물(매직 값, 복잡한 주변 장치, DMA, 실행 지연)을 패치하지 않은 22개의 "챌린지" 세트.

3. 주요 기여

• 모놀리식 펌웨어를 위한 최초의 버그 기반 벤치마크: FirmReBugger는 "리키 오라클" 문제를 해결하기 위해 분류 과정을 퍼징 로직으로부터 격리함으로써, 모놀리식 펌웨어 퍼저에 대한 그라운드 트루스 기반의 버그 지표를 제공하는 최초의 프레임워크이다.
• 자동화된 버그 상태 분석: 프레임워크는 시드 재현 중에 에뮬레이터 내성(introspection)과 C 구문 버그 기술자(Ravens)를 활용하여 버그 상태(Reached, Triggered, Detected)를 자동으로 결정함으로써 수동 크래시 분석의 필요성을 제거한다.
• 포괄적인 벤치마크 스위트: 저자들은 DMA, 매직 값, 복잡한 주변 장치 상호작용과 같은 다양한 장애물을 포함하여 61개의 실제 바이너리와 313개의 버그 오라클로 구성된 FirmBench를 큐레이션했다.
• 대규모 재현성 연구: 이 프레임워크는 61개의 바이너리에 대해 9개의 최신 모놀리식 펌웨어 퍼저(FUZZWARE, MULTIFUZZ, HOEDUR, DICE 등 포함)를 평가하는 데 사용되었다. 이 평가는 바이너리당 10회의 반복적인 24시간 실행을 포함하며, 총 10 CPU-년(CPU-years)의 연산량을 기록했다.

4. 실험 결과

9개의 퍼저를 벤치마크 세트에 대해 평가한 결과 다음과 같은 결과가 도출되었다:

• 전반적인 성능: 세 가지 세트(총 295개 버그) 전체에서 퍼저들은 181개의 버그를 트리거했다. HOEDUR와 MULTIFUZZ가 각각 150개와 144개의 버그를 트리거하며 가장 우수한 성능을 보였다. 단일 스트림 방식의 퍼저는 일반적으로 성능이 낮았다.
• 장애물의 영향:
  • 매직 값(Magic Values): 입력-상태 피드백 메커니즘(SPLITS, MULTIFUZZ)을 가진 퍼저나 딕셔너리 기반 멀티 스트림 접근 방식(HOEDUR)을 사용하는 퍼저만이 일관되게 매직 값 체크를 극복했다.
  • 복잡한 주변 장치(Complex Peripherals): 퍼저들은 패치되지 않은 FIRMBENCHX 세트에서 복잡한 주변 장치 상호작용(예: SPI, USB)에 대해 크게 고전했다. HOEDUR만이 10회의 시도 중 1회에서 특정 SPI 관련 버그를 트리거했다.
  • DMA: FIRMBENCHDMA 세트에서 GDMA는 DICE보다 더 빠르고 일관되게 버그를 트리거하여, DMA 버퍼에 데이터를 주입하는 것의 어려움을 부각하며 GDMA가 더 우수함을 보여주었다.
  • 지연/비대화(Delays/Bloat): 실행 지연 및 입력 비대화(예: busy-wait 루프)는 처리량을 크게 감소시켰다. 명시적인 길이 확장 전략이 없는 퍼저들은 종종 정체되었다.
• 일관성: HOEDUR는 데이터 스트림을 적응적으로 선택하기 위해 확률 매칭(Thompson Sampling)을 사용하기 때문에 MULTIFUZZ보다 높은 일관성을 보였다.
• 역량의 격차: 패치된 벤치마크(FIRMBENCH)에서 패치되지 않은 현실적인 벤치마크(FIRMBENCHX)로 이동할 때 성능이 크게 하락하며, 버그 트리거율이 73%에서 43%로 감소했다.

5. 의의 및 주장

이 논문은 FirmReBugger가 과장된 코드 커버리지와 같은 오해의 소지가 있는 지표에서 벗어나, 펌웨어 퍼저를 평가하는 신뢰할 수 있고, 재현 가능하며, 공정한 방법을 제공한다고 주장한다.

• 공정성: 버그 오라클과 시드 재현을 사용함으로써, 프레임워크는 벤치마크가 퍼징 프로세스에 영향을 미치지 않도록 보장하여 과적합(overfitting)과 리키 오라클 문제를 방지한다.
• 현실성: FIRMBENCHX와 FIRMBENCHDMA의 포함은 학술적 벤치마크와 실제 펌웨어의 복잡성 사이의 간극을 메우며, 현재의 최첨단 도구들이 실패하는 특정 영역(예: DMA 처리, 매직 값)을 강조한다.
• 확장성: 프레임워크는 커뮤니티 주도로 설계되었다. 새로운 버그를 Ravens를 통해 추가할 수 있어, 소스 코드 접근 없이도 벤치마크가 발전하고 새로운 기술을 지속적으로 테스트할 수 있도록 한다.
• 효율성: 자동화된 분류 프로세스는 수동 크래시 분석의 필요성을 제거하여, 퍼징 기술의 발전을 평가하는 데 드는 시간과 노력을 크게 줄인다.

저자들은 FirmReBugger를 최종적인 해결책이 아니라, 더 강력한 펌웨어 퍼징 기술의 개발을 가속화하기 위해 표준화된 버그 기반의 척도를 제공하는 기초적인 도구로 포지셔닝하고 있다.