Resumo Técnico: InferNet – Explorando Perfis Agregados de GPU para Inferência de Arquitetura de DNN

1. Declaração do Problema

Redes Neurais Profundas (DNNs) são ativos de propriedade intelectual (IP) críticos, mas enfrentam ameações significativas de segurança, particularmente Ataques de Extração de Modelo (MEAs). Os MEAs tradicionais frequentemente dependem de análises complexas e detalhadas de séries temporais de recursos de sistema de baixo nível (ex: tráfego PCIe, tempo de cache ou monitoramento do barramento de memória) para realizar a engenharia reversa de arquiteturas de modelos. No entanto, essas abordagens são frequentemente impraticáveis em ambientes reais de nuvem e Machine-Learning-as-a-Service (MLaaS), pois exigem acesso privilegiado (root/administrador) ou proximidade física, o que raramente está disponível para usuários co-localizados.

Além disso, a mudança da indústria em direção aos modelos de fundação (grandes modelos pré-treinados ajustados para tarefas específicas) alterou o objetivo do adversário. Em vez de extrair pesos, os atacantes agora buscam identificar a arquitetura da DNN subjacente (ex: distinguir entre variantes de ResNet, BERT ou Inception) para facilitar o roubo ou a replicação direcionada do modelo. Os métodos existentes que dependem de dados temporais detalhados são frágeis, suscetíveis ao ruído do sistema e facilmente derrotados por contramedidas como o escalonamento de kernel randomizado.

Existe uma necessidade de um vetor de ataque não intrusivo, robusto e prático que possa inferir arquiteturas de DNN usando apenas métricas agregadas de sistema de granularidade grossa, disponíveis para usuários padrão em ambientes de nuvem.

2. Metodologia: InferNet

O artigo apresenta o InferNet, um método de ataque que utiliza perfis agregados de GPU como um canal lateral para identificar e inferir arquiteturas de DNN. Diferente de trabalhos anteriores que analisam a sequência temporal de operações, o InferNet utiliza resumos estatísticos da execução da GPU.

2.1 Insight Central

Os autores identificam dois insights principais que impulsionam o ataque:

1. Mapeamento Kernel-para-Camada: Cada combinação única de tipo de camada de DNN e tamanho mapeia para chamadas de kernel CUDA específicas.
2. Impressões Digitais Únicas: O tipo de chamadas de kernel, seus tempos de execução e padrões de utilização de recursos formam uma impressão digital única para arquiteturas de DNN específicas e suas variantes.

2.2 Fluxo de Trabalho do Ataque

O ataque consiste em uma fase de pré-processamento offline e uma fase de ataque online:

• Coleta de Dados (Offline): O adversário coleta perfis agregados de GPU para um conjunto de arquiteturas de DNN candidatas (o "conjunto de treinamento"). Usando ferramentas como nvprof em modo agregado, eles capturam métricas incluindo:
  • Métricas de Kernel de GPU: Tempo total, número de chamadas e tempo médio/mínimo/máximo de execução para kernels específicos (ex: cudnn_infer, volta_sgemm).
  • Chamadas de API: Frequência e tempo de invocações da API CUDA.
  • Métricas de Nível de Sistema: Velocidade do clock do SM, clock de memória, temperatura e consumo de energia.
• Engenharia de Atributos (Feature Engineering): Os perfis brutos são limpos para lidar com a esparsidade (adicionando indicadores binários para presença de kernel) e normalizados. A Eliminação de Atributos Recursiva (RFE) é usada para identificar os atributos mais preditivos, reduzindo o ruído e o sobreajuste (overfitting).
• Treinamento do Modelo: Um classificador de aprendizado de máquina (ex: Random Forest, Naive Bayes, KNN) é treinado para mapear os atributos do perfil agregado para o rótulo da arquitetura de DNN específica.
• Ataque Online: O adversário executa o modelo vítima em um sistema habilitado para GPU, coleta um único perfil agregado e o alimenta no classificador treinado para prever a arquitetura.

2.3 Por que Perfis Agregados?

O artigo argumenta que perfis agregados são superiores aos traços de séries temporais para este modelo de ameaça específico porque:

• Eles suprimem o ruído do escalonamento não determinístico da GPU e da contenção de recursos internos.
• São menos sensíveis a variações de versões de profilers ou estrangulamento térmico (thermal throttling).
• Fornecem impressões digitais estatísticas estáveis que são resilientes a contramedidas temporais (ex: ordenação de kernel randomizada).

3. Principais Contribuições

O artigo traz as seguintes contribuições específicas:

• Identificação de Novo Canal Lateral: Identifica os perfis agregados de GPU (chamadas de kernel e métricas de sistema) como um canal lateral viável para inferência de arquitetura de DNN, desafiando a suposição de que traços finos de granularidade são necessários.
• Framework InferNet: Desenvolvimento de um framework de ataque baseado em aprendizado de máquina capaz de extrair uma ampla gama de arquiteturas, incluindo modelos de Visão (CNNs, Vision Transformers) e Grandes Modelos de Linguagem (LLMs).
• Robustez à Otimização: Demonstração de que o ataque permanece eficaz mesmo quando os modelos são comprimidos, podados (pruned) ou ajustados (fine-tuned) com diferentes classes de saída.
• Eficiência de Atributos: Evidência empírica mostrando que um subconjunto pequeno de atributos (ex: os principais 3 métricas de kernel) é suficiente para uma precisão próxima da perfeição, reduzindo os requisitos de dados para o ataque.
• Avaliação Cross-Ambiente: Caracterização da transferibilidade do ataque através de diferentes hardwares (NVIDIA Tesla T4 vs. Quadro RTX 8000) e frameworks (PyTorch vs. TensorFlow).

4. Resultados Experimentais

Os autores avaliaram o InferNet em 90 diversas arquiteturas de DNN (21 famílias) através de PyTorch e TensorFlow, utilizando duas plataformas de hardware.

• Precisão:
  • 100% de precisão usando o perfil agregado completo da GPU.
  • ~100% de precisão usando apenas os 3 principais atributos de kernel (especificamente métricas de volta_sgemm e splitKreduce).
  • 100% de precisão em arquiteturas modificadas (ex: modelos ajustados com diferentes classes de saída).
  • 75% de precisão em cenários cross-GPU (treinando em uma GPU, testando em outra), com a previsão de nível de família permanecendo alta (>90% para alguns modelos).
• Eficiência de Dados: O ataque requer o mínimo de dados de treinamento; um perfil por arquitetura foi suficiente para a maioria dos modelos atingir a mesma precisão que o treinamento com 20 perfis.
• Generalização de Framework: Embora a previsão cross-framework (PyTorch para TensorFlow) tenha mostrado inicialmente uma precisão menor devido a conjuntos de kernels disjuntos, o treinamento em um dataset heterogêneo (combinando ambos os frameworks) restaurou a precisão para 100% para Random Forest e Naive Bayes.
• Comparação: O InferNet alcança 100% de precisão em um conjunto de candidatos 4x maior do que o próximo melhor trabalho relacionado (que tipicamente visa 15–20 modelos).

5. Significância e Alegações

O artigo afirma que o InferNet representa uma mudança de paradigma nos ataques de extração de modelo ao demonstrar que a robustez estatística pode ser alcançada sem precisão temporal.

• Praticidade: O ataque é altamente prático para ambientes de nuvem onde atacantes carecem de acesso root, mas podem executar executáveis e acessar ferramentas de profiling padrão (que não são uniformemente restritas em todos os provedores de nuvem ou versões legadas do CUDA).
• Sigilo: Ao depender de dados agregados em vez de monitoramento de hardware intrusivo, o ataque é não intrusivo e difícil de detectar via detecção de anomalias padrão em logs de sistema.
• Impacto Estratégico: A capacidade de identificar com precisão a família da arquitetura (ex: "Este é um variante do BERT") reduz significativamente o espaço de busca para adversários, permitindo o roubo de modelos direcionado e minando a segurança dos modelos de fundação.
• Limitações Reconhecidas: Os autores notam modestamente que, embora o ataque seja robusto dentro de uma geração arquitetural (ex: NVIDIA Turing), a transferibilidade cross-geração pode exigir ajustes adicionais. Eles também reconhecem que novas ferramentas NVIDIA restringiram o acesso ao profiler, embora ambientes legados e configurações específicas de nuvem ainda exponham esta superfície de ataque.

O artigo conclui que o profiling agregado de GPU expõe uma vulnerabilidade significativa na cadeia de suprimentos de IA, necessitando de novas contramedidas, como computações dummy, escalonamento de kernel randomizado e acesso restrito a ferramentas de profiling.