NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Título: NeuroTrace: Detecção de Exemplos Adversariais Baseada em Proveniência de Inferência

1. O Problema

As Redes Neurais Profundas (DNNs) são amplamente utilizadas em sistemas críticos, mas permanecem "caixas-pretas" durante a fase de inferência. Isso limita a capacidade de detectar e diagnosticar manipulações maliciosas de entrada, como exemplos adversariais (pequenas perturbações imperceptíveis que enganam o modelo).

As abordagens de detecção existentes apresentam duas limitações principais:

• Dependência de Sinais Locais: A maioria dos métodos baseia-se em sinais locais de uma única camada (e.g., logits, gradientes, mapas de saliência), tratando os componentes do modelo de forma isolada.
• Falta de Visão Global: Elas falham em capturar como a informação flui e se propaga através de múltiplas camadas durante a execução do modelo, ignorando a estrutura de execução global e as dependências cruzadas.

2. Metodologia: O Framework NeuroTrace

O artigo introduz o NeuroTrace, um framework unificado e um conjunto de dados (dataset) projetados para analisar a Proveniência de Inferência através de Grafos de Proveniência de Inferência (IPGs - Inference Provenance Graphs).

Conceito Central: IPGs
Os IPGs são grafos heterogêneos que capturam o comportamento de ativação e o fluxo de dados induzido por parâmetros durante a passagem direta (forward pass) de um modelo.

• Nós: Representam estados de ativação intermediários (neurônios individuais em camadas totalmente conectadas ou canais em camadas convolucionais). Cada nó possui atributos baseados no tensor de ativação (média, norma L2, esparsidade).
• Arestas: Codificam as dependências computacionais entre as ativações de diferentes camadas. Para camadas paramétricas, as arestas carregam pesos aprendidos; para operações não paramétricas, codificam a conectividade estrutural.
• Extração: O grafo é construído dinamicamente para cada entrada, filtrando nós com ativações abaixo de um limiar ($\tau$), resultando em um subgrafo induzido pela ativação que representa o caminho computacional real executado.

Pipeline do NeuroTrace:

1. Extração (Instrumentação): Utiliza hooks de passagem direta no PyTorch para interceptar ativações e dependências em tempo de execução, construindo o IPG.
2. Representação: O IPG é armazenado como um grafo heterogêneo (usando PyTorch Geometric HeteroData), preservando a distinção entre tipos de camadas e relações computacionais.
3. Detecção: Um Classificador baseado em Grafos (GNN), especificamente um modelo GraphSAGE de 3 camadas, é treinado para classificar o IPG como "benigno" ou "adversarial".

3. Principais Contribuições

1. Proveniência como Sinal de Detecção: Formaliza a proveniência de inferência como uma representação baseada em grafos, demonstrando que ela captura dependências cruzadas entre camadas inacessíveis a métodos locais.
2. Framework de Extração Reproduzível: Desenvolveu um pipeline em PyTorch que instrumenta a execução do modelo sem exigir adaptações específicas para cada arquitetura, operando no nível de operações de tensores.
3. Dataset e Benchmark NeuroTrace-IPG: Lançamento de um dataset multi-domínio contendo IPGs de:
   • Visão Computacional: Classificador ResNet-20 no CIFAR-10.
   • Malware: Detectores Cuckoo-DNN e EMBER-DNN.
   • Inclui exemplos benignos e ataques adversariais (White-box e Black-box).
4. Transferibilidade de Detecção: Evidência empírica de que detectores treinados em um subconjunto de ataques generalizam para tipos de ataques não vistos, sugerindo que as perturbações adversariais induzem desvios estruturais consistentes no comportamento de inferência.

4. Resultados Experimentais

Os autores avaliaram o NeuroTrace em três cenários principais:

• Desempenho Intra-Ataque: Quando treinado e testado no mesmo tipo de ataque, o NeuroTrace alcançou desempenho excepcional.

  • No CIFAR-10, alcançou precisão e F1-score consistentemente acima de 96% para todos os ataques (FGSM, PGD, APGD, Square, SPSA, SIA).
  • Nos modelos de Malware, alcançou 100% de separação perfeita.
  • O AUC-ROC aproximou-se de 1.0 em quase todos os casos.

• Treinamento Multi-Ataque: Um único detector treinado com uma mistura de todas as famílias de ataques conseguiu generalizar para cada ataque individualmente com desempenho saturado (acima de 99% de precisão), indicando que a proveniência captura sinais estruturais compartilhados entre diferentes ataques.

• Transferência Cross-Threat (White-box vs. Black-box):

  • Treinar em ataques White-box e testar em Black-box (e vice-versa) resultou em alta precisão (geralmente >96% e AUC ~1.0).
  • Isso prova que a proveniência captura anomalias estruturais que transcendem o mecanismo específico de geração do ataque.

• Comparação com Estado da Arte: O NeuroTrace superou consistentemente a linha de base mais próxima, CIGA (Critical Inference Graphs), especialmente em ataques fortes como PGD e APGD.

Custos de Runtime e Armazenamento:

• A extração do IPG tem um custo linear em relação ao tamanho do grafo.
• Em modelos de visão (ResNet-20), a extração leva ~15-25ms por amostra (em lote) e gera grafos de ~0.5-2 MB.
• O custo é considerado viável para auditoria offline, forense e ambientes de alta garantia, mas ainda desafiador para implantação em tempo real de baixa latência em arquiteturas muito grandes.

5. Significado e Conclusão

O trabalho estabelece a proveniência de inferência como um sinal robusto e transferível para a detecção de exemplos adversariais.

• Insight Fundamental: Perturbações adversariais não alteram apenas a saída final ou ativações locais; elas causam "contaminação sistêmica" no fluxo de informação e na estrutura de execução do modelo. O NeuroTrace consegue expor essas anomalias globais.
• Aplicabilidade Prática: O framework fornece uma base para sistemas de aprendizado de máquina mais transparentes e auditáveis. Os IPGs servem não apenas para detecção binária, mas como artefatos persistentes para análise forense e depuração pós-incidente.
• Limitações e Futuro: O estudo atual foca em modelos de tamanho médio e não avalia ataques adaptativos que otimizam especificamente para enganar o detector de proveniência. Trabalhos futuros devem focar em compressão de grafos para modelos maiores (como ViTs e LLMs) e na avaliação contra adversários adaptativos.

Em resumo, o NeuroTrace move o foco da detecção de anomalias de "o que o modelo ativou" para "como a informação fluía através do modelo", oferecendo uma nova perspectiva poderosa para a segurança de DNNs.