PickleFuzzer: A Case Study in Fuzzing for Discrepancies Between Python Pickle Implementations

技術概要：PICKLEFUZZER

問題定義
Python の pickle シリアライゼーションプロトコルは、本質的に信頼できないデータに対しては安全ではないにもかかわらず、機械学習モデルや Web アプリケーションにおいて広く使用されています。核心的なセキュリティ上の課題は、公式な pickle 仕様が存在しないことに起因します。代わりに、このプロトコルは CPython リリース内の 3 つの事実上の実装によって定義されています。すなわち、pickle（Python）、_pickle（C）、およびディセマッブラである pickletools です。

Hugging Face などのプラットフォームに展開されているセキュリティスキャナは、pickle オブジェクトを非シリアル化前に悪意のある動作のために解析・分析する際、pickletools に大きく依存しています。しかし、これら 3 つのモジュールがオペコードと内部状態を解釈する方法に相違がある場合、セキュリティの隙間が生じます。攻撃者は、スキャナ（例：pickletools）では安全と解析されるが、異なる実装（例：_pickle）で非シリアル化された際に悪意のあるコードを実行する悪意のある pickle オブジェクトを構築できます。インポート制限や静的解析などの既存の緩和策はエラーを起こしやすく、公式仕様が欠如しているため維持が困難な Pickle 仮想マシン（PVM）のオペコードの正確な解釈に依存しています。

手法
仕様の欠如と大規模な相違の特定というニーズに対処するため、著者は差分テストを採用したカスタム生成ベースのファズツール PICKLEFUZZER を設計しました。

1. 文法ベースの生成: 公式仕様が存在しないため、著者は 3 つの CPython 実装を手動で分析し、オペコードを分類して文法を構築しました。この文法は、ランダムだが構文上正しいオペコードと引数を持つ有効な pickle プログラムを生成します。生成プロセスは以下の点を考慮します：

   • 引数なし、固定長引数、可変長引数、および文字区切り引数を持つオペコード。
   • 解析動作に影響を与える encoding（例：UTF-8、Latin-1）や buffers（帯域外バッファ）といった設定可能なメタデータ。

2. 差分実行: PICKLEFUZZER は、pickle ペイロードを反復的に生成し、標準化された Docker 環境内ですべての対象実装（pickle、_pickle、pickletools）に対して実行します。一貫性を確保するため、このツールは find_class メソッドをパッチしてインポートオペコードをフックし、外部状態の影響を防ぎつつインポート機能をテストします。

3. 相違の検出: このツールは、実行動作を比較して 2 種類の相違を特定します：

   • エラー相違: 1 つ以上の実装が非シリアル化中に例外を送出し、他の実装が送出しない場合に発生します。このツールは、CPython における例外の標準化の不一致による誤検出を避けるため、例外の存在は追跡しますが、特定のタイプは追跡しません。
   • ストレージ相違: 同じ入力を処理した後の PVM の内部状態（具体的にはスタック、メタスタック、メモ）が実装間で異なる場合に発生します。これはディセマッブラではチェックされません。なぜなら、ディセマッブラはプログラムを実行しないためです。

主要な貢献

• 文法構築: 著者は既存の実装をリバースエンジニアリングすることで文法を作成し、公式 pickle 仕様の欠如下において生成テストのための再利用可能な基盤を提供しました。
• PICKLEFUZZER ツール: 差分テストを使用して pickle モジュールの実装エラーを特定する、最初の自動化ツールの実装を行いました。
• 相違の発見: このツールは、3 つの CPython 実装間で 14 の固有の相違を正常に特定しました。
• セキュリティ検証: 発見された 14 の相違のうち 4 つは、既存のセキュリティスキャナを回避できるセキュリティ上重要なものとして特定されました。これらは Python ソフトウェア財団と huntr.com のバグ報奨金プラットフォームに開示され、750 ドルの報奨金が発生しました。

結果
168 時間にわたるファズングキャンペーン（および緩和された制限を用いた 12 時間の二次実行）において、PICKLEFUZZER は 14 の相違を発見しました：

• 13 のエラー相違: 例外処理の違い。
• 1 のストレージ相違: 内部メモリ状態の違い。
• 効率性: 14 の相違すべてが実行開始から最初の 10 分以内に発見されました。
• セキュリティへの影響: 4 つの相違（具体的には #1、#2、#3、#5）は、攻撃者がスキャナを回避することを可能にしました。例えば、相違 #1 は、pickletools が数値引数を 10 進数として解釈するのに対し、pickle と _pickle が 0 進数として解釈する点に関与しています。これにより、攻撃者はスキャナで例外を発生させ（ファイルの拒否や誤ったフラグ付けを引き起こす）が、非シリアル化器では正常に実行されるペイロードを構築できます。
• 手動分析との比較: セキュリティ研究者が 60 時間を費やして同じモジュールを手動で分析した結果、14 の相違が発見されました。総数は同一でしたが、手動プロセスは 60 時間を要したのに対し、PICKLEFUZZER は 10 分で完了しました。ただし、ツールは人間が発見した 4 つの相違（大きな整数引数と正確なフレーム条件に関連するもの）を見逃し、人間はツールが発見した 4 つの相違を見逃しました。

意義と主張
この論文は、正式な仕様が欠如している重要な実装において、セキュリティに関連する相違を特定するための差分テストが実用的かつ効率的なアプローチであると主張しています。実行動作の比較を自動化することにより、PICKLEFUZZER は、実世界で使用されている標準的な pickle 実装間に重大なセキュリティの隙間が存在することを示しました。

著者は、彼らの仕事がバグの不存在を証明するものではなく、既存のものを効率的に特定するものであることを強調しています。彼らは、文法ベースのアプローチが「浅い」バグを迅速に見つけるのに効果的である一方で、特定の大きな入力や正確な状態条件を必要とするより深い問題を見逃す可能性があることに言及しています。論文は、彼らの発見が実装の不一致が現実世界のセキュリティに与える影響を浮き彫りにしており、PICKLEFUZZER のようなツールがこれらの実装を整合させ、将来のスキャナ回避を防ぐために不可欠であると結論付けています。