Resumo Técnico: ShadowPickle

Declaração do Problema

Modelos de Aprendizado de Máquina Pré-treinados (PTM) são predominantemente distribuídos via hubs de hospedagem de modelos (ex: Hugging Face, ModelScope) no formato Pickle. Embora esses hubs empreguem scanners de segurança de última geração (estáticos, dinâmicos e ambientes de carregamento de modelos) para prevenir ataques à cadeia de suprimentos, as defesas existentes permanecem vulneráveis. Ataques atuais, como Stacked Pickles, Library Import e PICKLECLOAK, demonstraram a capacidade de executar código remoto ao explorar o processo de desserialização da Máquina Virtual (VM) do Pickle. No entanto, esses ataques frequentemente dependem de bibliotecas em listas negras ou produzem arquivos Pickle inválidos que são facilmente detectados ou falham ao carregar. Os scanners de última geração baseiam-se primariamente em listas negras não exaustivas ou listas brancas estáticas, que podem ser contornadas se os atacantes utilizarem módulos permitidos ou payloads obscuros. O artigo identifica uma lacuna crítica: a falta de ataques furtivos que utilizem bibliotecas padrão do Python permitidas para executar código arbitrário, mantendo estruturas de arquivos Pickle válidas que evitem tanto a análise estática quanto a dinâmica.

Metodologia

Os autores introduzem o SHADOWPICKLE, uma nova classe de três ataques furtivos de desserialização de Pickle projetados para evadir scanners de última geração e mecanismos de segurança de hubs de modelos. Esses ataques aproveitam o mecanismo de importação sys.modules da VM do Pickle e o opcode GLOBAL para executar payloads maliciosos.

Os três vetores de ataque são:

1. Ataque de Módulo Sobrescrito (Overwritten Module Attack): Este ataque sobrescreve um módulo de biblioteca padrão na lista branca (ex: collections.OrderedDict) com uma versão maliciosa contendo lógica de execução de código. O atacante distribui o módulo malicioso via PyPI ou junto com o modelo. Quando a vítima carrega o modelo, a VM do Pickle importa o módulo "legítimo" da lista branca, que foi comprometido para executar o payload. Isso contorna defesas baseadas em listas brancas (como o WEIGHTS-ONLY UNPICKLER do PyTorch) porque o módulo importado aparece na lista branca.
2. Ataque de Injeção de PyPI (PyPI Injected Attack): O atacante injeta um payload que depende de uma biblioteca de terceiros do PyPI capaz de execução de código. A vítima é instruída a instalar essa biblioteca (ex: via requirements.txt). O ataque requer a desativação do WEIGHTS-ONLY, mas evade scanners ao utilizar bibliotecas não presentes na lista negra do scanner.
3. Ataque de Módulo Externo (External Module Attack): O atacante empacota um módulo Python externo personalizado com o PTM. A VM do Pickle é instruída a importar este arquivo externo durante a desserialização. Isso permite a execução de código arbitrário via funções padrão como exec() ou eval(), desde que o arquivo externo esteja presente no caminho de execução, sem depender de chamadas de sistema em listas negras.

Para avaliar esses ataques, os autores desenvolveram o PICKLEBENCH, um framework de benchmarking automatizado e extensível. O PICKLEBENCH:

• Rastreia PTMs benignos do Hugging Face.
• Gera payloads maliciosos a partir de fontes do mundo real (ex: PayloadsAllTheThings).
• Injeta esses payloads em modelos benignos usando as técnicas SHADOWPICKLE.
• Valida que os modelos resultantes são desserializáveis e funcionam corretamente.
• Escaneia os modelos gerados contra um conjunto de scanners de última geração.

Principais Contribuições

1. Ataques SHADOWPICKLE: O artigo apresenta três metodologias de ataque inovadoras que sintetizam payloads usando bibliotecas integradas ou na lista branca, distinguindo-se de trabalhos anteriores que dependem de gadgets em listas negras ou estruturas de Pickle inválidas. Notavelmente, o ataque de Módulo Sobrescrito é afirmado como o primeiro a contornar o WEIGHTS-ONLY UNPICKLER do PyTorch.
2. PICKLEBENCH: Um benchmark dinâmico capaz de injetar ataques SHADOWPICKLE em quaisquer PTMs benignos. Diferente de benchmarks estáticos (ex: MALHUG, PickleBall), o PICKLEBENCH é extensível e suporta avaliações de ataques de lista negra e de lista branca.
3. Avaliação Abrangente: Os autores avaliam o SHADOWPICKLE contra 10 scanners de última geração (incluindo scanners estáticos, dinâmicos e ambientes de carregamento de modelos) e quatro hubs de modelos (Hugging Face, OpenCSG, ModelScope, GitHub).
4. Recomendações de Defesa: O artigo propõe patches específicos para scanners existentes (ex: melhorando o WEIGHTS-ONLY e o FICKLING ao verificar a integridade do ambiente) e sugere o escaneamento de arquivos auxiliares como requirements.txt em busca de vulnerabilidades.

Resultados

A avaliação demonstra capacidades significativas de evasão para o SHADOWPICKLE:

• Taxas de Evasão: O SHADOWPICKLE (Sobrescrito) alcançou uma taxa de evasão de 63% em todos os scanners testados. Isso é até 50% superior aos ataques existentes (ex: PICKLECLOAK, Stacked Pickles).
• Desempenho dos Scanners:
  • Scanners estáticos como PICKLESCAN e MODELSCAN falharam em detectar o SHADOWPICKLE (0% de recall) devido a listas negras não exaustivas.
  • O WEIGHTS-ONLY UNPICKLER foi evadido 32% das vezes, especificamente pelo ataque de Módulo Sobrescrito, que explora o mecanismo de lista branca.
  • O scanner dinâmico MODELTRACER alcançou a maior taxa de detecção (F1-score: 0.9438), mas ainda perdeu 8,4% dos modelos injetados.
• Hubs de Modelos: Quando modelos maliciosos representativos foram carregados no Hugging Face, OpenCSG, ModelScope e GitHub, o ataque de Módulo Sobrescrito evadiu todos os scanners de código fechado no Hugging Face. Outros hubs careciam de scanners específicos de PTM e não sinalizaram os modelos.
• Dificuldade do Benchmark: O PICKLEBENCH foi considerado 25,6% mais desafiador para scanners do que benchmarks existentes como o PickleBall, principalmente devido ao seu uso de módulos na lista branca e estruturas de Pickle válidas.
• Payloads Avançados: O estudo testou payloads avançados (Anti-VM, Staged, Obfuscated). O payload Anti-VM foi o mais evasivo, reduzindo a Taxa de Verdadeiros Positivos (TPR) para tão baixo quanto 0,1 para o ataque de Módulo Sobrescrito.

Significância e Alegações

O artigo afirma que o SHADOWPICKLE destaca limitações fundamentais no atual modelo de segurança de cadeia de suprimentos de ML, especificamente a dependência de listas negras não exaustivas e listas brancas estáticas que não consideram a sobrescrita de módulos ou a manipulação do ambiente.

• Furtividade e Validez: Ao contrário de ataques anteriores que frequentemente produzem arquivos Pickle inválidos ou dependem de gadgets obscuros, o SHADOWPICKLE produz modelos válidos e desserializáveis que executam código malicioso usando mecanismos padrão e permitidos do Python.
• Primeiro do Gênero: Os autores afirmam que o ataque de Módulo Sobrescrito é o primeiro método conhecido para contornar o WEIGHTS-ONLY UNPICKLER padrão do PyTorch mantendo um arquivo Pickle válido.
• Melhoria da Defesa: Os patches propostos para WEIGHTS-ONLY e FICKLING melhoraram seus F1-scores em 19% e 5%, respectivamente, sugerindo que as vulnerabilidades são endereçáveis, mas exigem uma mudança de filtragem simples baseada em listas para verificações de integridade do ambiente.

O trabalho conclui que a segurança atual dos hubs de modelos é insuficiente contra ataques de cadeia de suprimentos que manipulam o ambiente de execução Python, e que as defesas futuras devem ir além da análise estática de opcodes do Pickle para incluir a verificação dinâmica do ambiente de execução e das dependências de terceiros.