PickleFuzzer: A Case Study in Fuzzing for Discrepancies Between Python Pickle Implementations

기술 요약: PICKLEFUZZER

문제 제기
Python 의 pickle 직렬화 프로토콜은 본질적으로 신뢰할 수 없는 데이터에 대해 보안상 취약함에도 불구하고, 특히 머신러닝 모델과 웹 애플리케이션에서 널리 사용됩니다. 핵심 보안 문제는 공식적인 pickle 명세가 부재한다는 데서 비롯됩니다. 대신 프로토콜은 CPython 릴리스 내의 세 가지 사실상의 구현체, 즉 pickle(Python), _pickle(C), 그리고 디스어셈블러인 pickletools에 의해 정의됩니다.

Hugging Face 와 같은 플랫폼에 배포된 보안 스캐너와 같은 보안 스캐너들은 직렬화 전에 악성 행위를 위해 pickle 객체를 구문 분석하고 분석하기 위해 pickletools에 크게 의존합니다. 그러나 이러한 세 모듈이 연산 코드 (opcodes) 와 내부 상태를 해석하는 방식의 불일치는 보안 격차를 초래할 수 있습니다. 공격자는 스캐너 (예: pickletools) 에서는 안전하다고 해석되지만 다른 구현체 (예: _pickle) 에서 직렬화될 때 악성 코드를 실행하는 악성 pickle 객체를 제작할 수 있습니다. 기존 완화 조치인 가져오기 제한이나 정적 분석은 오류가 발생하기 쉬우며, 공식 명세 없이 유지하기 어려운 Pickle 가상 머신 (PVM) 연산 코드의 정확한 해석에 의존합니다.

방법론
명세 부재와 대규모 불일치 식별 필요성을 해결하기 위해 저자들은 차등 테스트 (differential testing) 를 활용하는 커스텀 생성 기반 퍼저인 PICKLEFUZZER를 설계했습니다.

1. 문법 기반 생성: 공식 명세가 부재하므로, 저자들은 세 가지 CPython 구현체를 수동으로 분석하여 연산 코드를 분류하고 문법을 구성했습니다. 이 문법은 무작위적이지만 구문적으로 올바른 연산 코드와 인수를 가진 유효한 pickle 프로그램을 생성합니다. 생성 과정은 다음을 고려합니다:

   • 인수 없음, 고정 길이 인수, 가변 길이 인수, 그리고 문자 구분 인수를 갖는 연산 코드.
   • 구문 분석 동작에 영향을 미치는 구성 가능한 메타데이터, 특히 encoding(예: UTF-8, Latin-1) 과 buffers(아웃 - 오브 - 밴드 버퍼).

2. 차등 실행: PICKLEFUZZER 는 표준화된 Docker 환경 내에서 모든 대상 구현체 (pickle, _pickle, pickletools) 에 대해 pickle 페이로드를 반복적으로 생성하고 실행합니다. 일관성을 보장하기 위해 이 도구는 외부 상태 영향을 방지하면서도 가져오기 기능을 테스트하기 위해 find_class 메서드를 패치하여 가져오기 연산 코드를 훅합니다.

3. 불일치 감지: 이 도구는 두 가지 유형의 불일치를 식별하기 위해 실행 동작을 비교합니다:

   • 오류 불일치: 하나 이상의 구현체가 언픽링 (unpickling) 중 예외를 발생시키지만 다른 구현체는 발생시키지 않을 때 발생합니다. 도구는 CPython 의 일관되지 않은 예외 표준화로 인한 오탐지를 피하기 위해 예외의 특정 유형이 아닌 존재 여부만 추적합니다.
   • 저장소 불일치: 동일한 입력을 처리한 후 PVM 의 내부 상태 (특히 스택, 메타스택, 그리고 메모) 가 구현체 간에 다를 때 발생합니다. 디스어셈블러는 프로그램을 실행하지 않으므로 이는 역직렬화기에 대해서만 확인됩니다.

주요 기여

• 문법 구성: 저자들은 기존 구현체를 역공학하여 문법을 작성함으로써, 공식 pickle 명세 부재 시 생성적 테스트를 위한 재사용 가능한 기반을 제공했습니다.
• PICKLEFUZZER 도구: 차등 테스트를 사용하여 pickle 모듈의 구현 오류를 식별하는 최초의 자동화 도구를 구현했습니다.
• 불일치 발견: 이 도구는 세 가지 CPython 구현체 간에 14 가지 고유한 불일치를 성공적으로 식별했습니다.
• 보안 검증: 발견된 불일치 중 네 가지가 기존 보안 스캐너를 우회할 수 있는 보안상 치명적인 것으로 확인되었습니다. 이는 Python 소프트웨어 재단과 huntr.com 버그 바운티 플랫폼에 공개되어 $750 의 보상을 받았습니다.

결과
168 시간 동안의 퍼징 캠페인 (및 완화된 제한으로 수행된 2 차 12 시간 실행) 에서 PICKLEFUZZER 는 14 가지 불일치를 발견했습니다:

• 13 가지 오류 불일치: 예외 처리의 차이.
• 1 가지 저장소 불일치: 내부 메모리 상태의 차이.
• 효율성: 모든 14 가지 불일치는 실행 시작 후 첫 10 분 이내에 발견되었습니다.
• 보안 영향: 네 가지 불일치 (특히 #1, #2, #3, #5) 가 공격자가 스캐너를 우회할 수 있게 했습니다. 예를 들어, 불일치 #1 은 pickletools가 숫자 인수를 10 진수로 해석하는 반면 pickle과 _pickle은 0 진수로 해석하는 것과 관련이 있습니다. 이를 통해 공격자는 스캐너에서 예외를 발생시켜 (파일 거부 또는 잘못된 플래그 설정) 직렬화기에서는 성공적으로 실행되는 페이로드를 제작할 수 있습니다.
• 수동 분석과의 비교: 보안 연구원이 동일한 모듈을 60 시간 동안 수동으로 분석하여 14 가지 불일치를 발견했습니다. 총계는 동일했지만, 수동 프로세스는 PICKLEFUZZER 의 10 분과 비교해 60 시간이 소요되었습니다. 그러나 도구는 인간이 발견한 네 가지 불일치 (대형 정수 인수 및 정확한 프레임 조건 관련) 를 놓쳤고, 인간은 도구가 발견한 네 가지를 놓쳤습니다.

의의 및 주장
이 논문은 공식 명세가 부재하는 중요한 구현체에서 보안 관련 불일치를 식별하는 데 차등 테스트가 실현 가능하고 효율적인 접근법이라고 주장합니다. 실행 동작의 비교를 자동화함으로써 PICKLEFUZZER 는 실제 환경에서 사용되는 표준 pickle 구현체 간에 상당한 보안 격차가 존재함을 보여줍니다.

저자들은 그들의 작업이 결함 부재를 증명하는 것이 아니라 기존 결함을 효율적으로 식별한다는 점을 강조합니다. 그들은 문법 기반 접근 방식이 "얕은" 결함을 빠르게 찾는 데 효과적이지만, 특정 대형 입력이나 정확한 상태 조건이 필요한 더 깊은 문제를 놓칠 수 있다고 지적합니다. 논문은 그들의 발견이 구현체 불일치의 실제 세계 보안 영향을 강조하며, PICKLEFUZZER 와 같은 도구가 이러한 구현체를 정렬하고 향후 스캐너 우회를 방지하는 데 필수적이라고 결론지었습니다.