One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

Resumo Técnico: "One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning"

1. O Problema (O Problema)

O aprendizado de máquina (ML) depende fundamentalmente da aleatoriedade em diversas etapas críticas: amostragem de dados, aumento de dados (data augmentation), inicialização de pesos, otimização (como o SGD) e mecanismos de defesa de privacidade (como a Privacidade Diferencial - DP).

A maioria dos frameworks de ML utiliza Geradores de Números Pseudoaleatórios (PRNGs). O problema central identificado pelos autores é que a implementação desses PRNGs varia drasticamente entre frameworks (PyTorch, TensorFlow, JAX), bibliotecas e backends de hardware. Essa inconsistência, somada à falta de validação estatística rigorosa e ao uso de sementes (seeds) inseguras (como o tempo do sistema), cria vetores de ataque ocultos. Um atacante que manipule a fonte de aleatoriedade pode degradar o desempenho do modelo, comprometer garantias de privacidade ou introduzir backdoors de forma quase indetectável.

2. Metodologia (Metodologia)

Os autores adotaram uma abordagem de três pilares:

• Estudo de Ecossistema: Realizaram uma análise abrangente de frameworks populares (PyTorch, TensorFlow, JAX, Keras), bibliotecas de DP (Opacus, TFPrivacy) e plataformas de Aprendizado Federado (FedML-AI, TFFederated). Eles avaliaram algoritmos de PRNG, práticas de sementes e a disponibilidade de geradores criptograficamente seguros (CSPRNGs).
• Taxonomia de Ataques: Desenvolveram uma classificação de ataques baseada em três alvos: a fonte da semente (ex: prever a semente baseada no tempo), as dependências de bibliotecas (ex: ataques na cadeia de suprimentos de bibliotecas como NumPy) e o próprio framework de ML.
• Desenvolvimento do RNGGUARD: Propuseram um sistema de defesa composto por duas fases:
  1. Análise Estática: Utiliza o motor de consulta semântica CodeQL para identificar todas as funções no código-fonte que dependem de funções de aleatoriedade primárias.
  2. Execução em Tempo de Execução (Runtime): O sistema atua em dois modos:
     • Modo Estático: Substitui chamadas de funções inseguras por implementações seguras (ex: injetando CSPRNGs para tarefas de privacidade).
     • Modo Dinâmico: Executa testes estatísticos de qualidade (Teste de Kolmogorov-Smirnov para distribuições contínuas e Teste de Qui-quadrado de Pearson para discretas) para detectar desvios da distribuição esperada.

3. Principais Contribuições (Contribuições Principais)

• Identificação de Vulnerabilidades: Revelaram que muitos frameworks falham em usar CSPRNGs para Privacidade Diferencial e que o uso de sementes baseadas em tempo do sistema é uma vulnerabilidade crítica em sistemas de Aprendizado Federado.
• Taxonomia de Ataques: Uma nova forma de categorizar como a manipulação de aleatoriedade afeta a integridade, privacidade, justiça (fairness) e robustez de modelos de ML.
• RNGGUARD: Um sistema prático que permite a engenheiros de ML proteger seus sistemas com baixo esforço, sem a necessidade de modificar o código-fonte original das bibliotecas.

4. Resultados (Resultados)

• Eficácia na Detecção: O RNGGUARD foi capaz de detectar ataques de substituição de funções (como alterar a inicialização de pesos de Normal para Uniforme) e restaurar a funcionalidade correta.
• Desempenho e Overhead:
  • O Modo Estático introduz um overhead moderado (cerca de 47% em cenários não-DP).
  • O Modo Dinâmico (com testes estatísticos) é muito mais pesado, podendo aumentar o tempo de treinamento em até 650% em configurações de DP.
• Otimizações: Para mitigar o custo do modo dinâmico, os autores introduziram o modo ASN (Assíncrono), que executa os testes em uma thread separada, e o modo RASN (Assíncrono Aleatorizado), que audita apenas uma fração das sequências geradas. O modo RASN reduziu drasticamente o overhead, tornando a auditoria dinâmica muito mais viável para o treinamento de modelos reais.

5. Significância (Significância)

Este trabalho é significativo porque preenche uma lacuna crítica na segurança de ML. Enquanto a maioria das pesquisas foca em ataques de envenenamento de dados ou evasão, este estudo demonstra que a própria "infraestrutura de incerteza" (a aleatoriedade) do modelo pode ser o elo mais fraco. O RNGGUARD oferece uma camada de defesa de "cadeia de suprimentos" que protege o desenvolvedor contra implementações maliciosas ou mal projetadas de bibliotecas de terceiros, garantindo que as propriedades estatísticas necessárias para a segurança e robustez do modelo sejam mantidas.