PickleFuzzer: A Case Study in Fuzzing for Discrepancies Between Python Pickle Implementations

Resumen Técnico: PICKLEFUZZER

Enunciado del Problema
El protocolo de serialización pickle de Python es ampliamente utilizado, especialmente para modelos de aprendizaje automático y aplicaciones web, a pesar de ser inherentemente inseguro para datos no confiables. El desafío central de seguridad surge de la falta de una especificación oficial de pickle. En su lugar, el protocolo está definido por tres implementaciones de facto dentro de la versión de CPython: pickle (Python), _pickle (C) y pickletools (un desensamblador).

Los escáneres de seguridad, como los desplegados en plataformas como Hugging Face, dependen en gran medida de pickletools para analizar y examinar objetos pickle en busca de comportamientos maliciosos antes de la deserialización. Sin embargo, las discrepancias en cómo estos tres módulos interpretan los opcodes y los estados internos pueden crear brechas de seguridad. Un atacante puede crear un objeto pickle malicioso que sea analizado como benigno por un escáner (por ejemplo, pickletools) pero que ejecute código malicioso al ser deserializado por una implementación diferente (por ejemplo, _pickle). Las mitigaciones existentes, como las restricciones de importación o el análisis estático, son propensas a errores y dependen de interpretaciones precisas de los opcodes de la Máquina Virtual de Pickle (PVM), las cuales son difíciles de mantener sin una especificación formal.

Metodología
Para abordar la falta de una especificación y la necesidad de identificar discrepancias a gran escala, los autores diseñaron PICKLEFUZZER, un fuzzer basado en generación personalizado que emplea pruebas diferenciales.

1. Generación Basada en Gramática: Dado que no existe una especificación oficial, los autores analizaron manualmente las tres implementaciones de CPython para categorizar los opcodes y construir una gramática. Esta gramática genera programas pickle válidos con opcodes y argumentos aleatorios pero sintácticamente correctos. El proceso de generación tiene en cuenta:

   • Opcodes sin argumentos, con argumentos de longitud fija, con argumentos de longitud variable y con argumentos delimitados por caracteres.
   • Metadatos configurables, específicamente encoding (por ejemplo, UTF-8, Latin-1) y buffers (buffers fuera de banda), que influyen en el comportamiento de análisis.

2. Ejecución Diferencial: PICKLEFUZZER genera iterativamente cargas útiles de pickle y las ejecuta en todas las implementaciones objetivo (pickle, _pickle y pickletools) dentro de un entorno Docker estandarizado. Para garantizar la consistencia, la herramienta parchea el método find_class para conectar los opcodes de importación, evitando efectos de estado externos mientras sigue probando la funcionalidad de importación.

3. Detección de Discrepancias: La herramienta compara los comportamientos de ejecución para identificar dos tipos de discrepancias:

   • Discrepancias de Error: Ocurren cuando una o más implementaciones lanzan una excepción durante la deserialización mientras que otras no. La herramienta rastrea la presencia de excepciones pero no sus tipos específicos para evitar falsos positivos causados por la estandarización inconsistente de excepciones en CPython.
   • Discrepancias de Almacenamiento: Ocurren cuando el estado interno de la PVM (específicamente la pila, la metapila y el memo) difiere entre implementaciones después de procesar la misma entrada. Esto solo se verifica para deserializadores, ya que los desensambladores no ejecutan el programa.

Contribuciones Clave

• Construcción de Gramática: Los autores crearon una gramática mediante la ingeniería inversa de implementaciones existentes, proporcionando una base reutilizable para pruebas generativas en ausencia de una especificación formal de pickle.
• Herramienta PICKLEFUZZER: Implementaron la primera herramienta automatizada para identificar errores de implementación en módulos pickle utilizando pruebas diferenciales.
• Descubrimiento de Discrepancias: La herramienta identificó con éxito 14 discrepancias únicas entre las tres implementaciones de CPython.
• Validación de Seguridad: Cuatro de las discrepancias descubiertas se identificaron como críticas para la seguridad, capaces de eludir los escáneres de seguridad existentes. Estas fueron divulgadas a la Fundación de Software de Python y a la plataforma de recompensas por errores huntr.com, resultando en una recompensa de 750 dólares.

Resultados
En una campaña de fuzzing que duró 168 horas (más una ejecución secundaria de 12 horas con límites relajados), PICKLEFUZZER descubrió 14 discrepancias:

• 13 Discrepancias de Error: Diferencias en el manejo de excepciones.
• 1 Discrepancia de Almacenamiento: Diferencias en el estado de memoria interno.
• Eficiencia: Las 14 discrepancias se encontraron dentro de los primeros 10 minutos de ejecución.
• Impacto en Seguridad: Cuatro discrepancias (específicamente la #1, #2, #3 y #5) permitieron a un atacante eludir escáneres. Por ejemplo, la Discrepancia #1 implica que pickletools interpreta los argumentos numéricos como base 10, mientras que pickle y _pickle los interpretan como base 0. Esto permite a un atacante crear una carga útil que desencadene una excepción en el escáner (haciendo que rechace el archivo o lo marque incorrectamente) pero que se ejecute con éxito en el deserializador.
• Comparación con Análisis Manual: Un investigador de seguridad pasó 60 horas analizando manualmente los mismos módulos y descubrió 14 discrepancias. Aunque el conteo total fue idéntico, el proceso manual tomó 60 horas en comparación con los 10 minutos de PICKLEFUZZER. Sin embargo, la herramienta pasó por alto cuatro discrepancias encontradas por el humano (relacionadas con argumentos de enteros grandes y condiciones de marco precisas), y el humano pasó por alto cuatro encontradas por la herramienta.

Significado y Afirmaciones
El artículo afirma que las pruebas diferenciales son un enfoque viable y eficiente para identificar discrepancias relevantes para la seguridad en implementaciones críticas que carecen de especificaciones formales. Al automatizar la comparación de los comportamientos de ejecución, PICKLEFUZZER demuestra que existen brechas de seguridad significativas entre las implementaciones estándar de pickle utilizadas en el mundo real.

Los autores enfatizan que su trabajo no prueba la ausencia de errores, sino que identifica eficientemente los existentes. Señalan que, aunque su enfoque basado en gramática es efectivo para encontrar errores "superficiales" rápidamente, podría pasar por alto problemas más profundos que requieren entradas grandes específicas o condiciones de estado precisas. El artículo concluye que sus hallazgos destacan el impacto real en la seguridad de las inconsistencias de implementación y que herramientas como PICKLEFUZZER son esenciales para alinear estas implementaciones y prevenir futuras elusiones de escáneres.