Sumário Técnico: PARDEF – Uma Defesa Generalizada Contra Ataques de Parâmetros

1. Declaração do Problema

Redes neurais profundas (DNNs) estão sendo cada vez mais implantadas em ambientes heterogêneos e parcialmente não confiáveis, incluindo armazenamento em nuvem, pipelines de CI/CD, serviços conteinerizados e dispositivos de borda (edge). Essa expansão expõe os parâmetros do modelo a ataques de parâmetros, onde adversários manipulam diretamente os pesos internos armazenados de um modelo antes da inferência. Diferente dos ataques adversários no espaço de entrada, os ataques de parâmetros são furtivos, persistem em todas as inferências subsequentes e podem causar quedas catastróficas de precisão, classificações errôneas direcionadas ou comportamentos de backdoor persistentes.

As defesas existentes sofrem de limitações significativas:

• Requisitos de Retreinamento: Muitas abordagens (ex: quantização agressiva como BIN ou RA-BNN) exigem o retreinamento completo do modelo, o que é impraticável para modelos de larga escala ou legados.
• Degradação de Precisão: Métodos que restringem os parâmetros a valores binários ou quantizados frequentemente incorrem em uma perda substancial de precisão em dados limpos (clean accuracy).
• Escopo Estrito: Defesas especializadas (ex: Aegis) são eficazes contra classes específicas de ataques (como inversões de bits/bit-flips), mas falham em fornecer robustez contra ruído contínuo ou manipulações estruturadas.
• Imprevisibilidade: Cenários de implantação no mundo real envolvem diversos vetores de ataque (esparsos, contínuos e estruturados) que são frequentemente imprevisíveis, necessitando de um mecanismo de defesa generalizado.

2. Metodologia: PARDEF

Os autores propõem o PARDEF, um framework de defesa generalizado que protege DNNs contra ataques de parâmetros esparsos ($L_0$), contínuos ($L_2/L_\infty$) e estruturados sem a necessidade de retreinamento. O PARDEF integra três mecanismos sinérgicos que abrangem a preparação do modelo e a inferência em tempo de execução:

A. Reparametrização de Canais com Chave (Keyed Channel Reparameterization - KCR)

• Mecanismo: O KCR reindexa e reescala os canais das camadas convolucionais e lineares usando chaves secretas geradas e armazenadas dentro de um Ambiente de Execução Confiável (TEE). Ele aplica transformações invertíveis (permutações $\Pi$ e escalonamentos diagonais positivos $D$) aos tensores de pesos e vieses (biases).
• Função: Este processo ofusca as direções "sensíveis" no espaço de parâmetros. Como o adversário conhece o mecanismo de defesa, mas não as chaves secretas, ele não consegue visar facilmente neurônios ou canais específicos.
• Equivalência: A transformação é projetada para manter a equivalência funcional estrita com o modelo original. Ao propagar as permutações através do grafo computacional e ajustar as camadas de normalização adjacentes, o comportamento de entrada-saída da rede permanece idêntico ao original, preservando a precisão limpa.

B. Quantização Codificada por Verificação de Paridade de Baixa Densidade Quase-Cíclica (QC-LDPC Coded Quantization)

• Mecanismo: Os pesos do modelo são quantizados uniformemente para precisão de 8 bits. Esses índices quantizados são então agrupados em blocos de tamanho fixo e codificados usando um código QC-LDPC.
• Função: Isso incorpora redundância de correção de erros no armazenamento dos parâmetros.
  • Correção: Erros de nível de bit (ataques esparsos) que caem dentro do raio de correção do código são automaticamente reparados durante o carregamento do modelo.
  • Detecção: Desvios maiores ou erros incorrigíveis são detectados no momento do carregamento, acionando um mecanismo de falha segura (abortando o carregamento) para evitar a implantação de modelos corrompidos.
  • Eficiência: A codificação e decodificação ocorrem apenas uma vez no carregamento, não acarretando sobrecarga de inferência por consulta (per-query).

C. Inferência Robusta Adaptativa (Adaptive Robust Inference - ARI)

• Mecanismo: O ARI opera em tempo de execução para estabilizar as predições contra perturbações residuais que escapam do KCR e do QC-LDPC. Ele utiliza suavização estocástica (injeção de pequeno ruído Gaussiano nos parâmetros durante as passagens para frente) e escalonamento baseado em confiança.
• Função:
  • Suavização Estocástica: Ao realizar a média das predições sobre múltiplas passagens estocásticas para frente, o ARI suaviza as fronteiras de decisão, reduzindo a sensibilidade tanto a distorções de parâmetros esparsos quanto contínuos.
  • Escalonamento Adaptativo: O sistema calcula uma margem de confiança ($\Delta(x)$) para cada entrada. Se a margem for baixa (indicando alta incerteza ou potencial deriva), o sistema escala para um "caminho lento" com um maior número de passagens estocásticas e votação. Entradas benignas são processadas via um "caminho rápido" com menos passagens, minimizando a sobrecarga.

3. Principais Contribuições

1. Framework de Defesa Generalizado: O PARDEF é o primeiro a abordar simultaneamente ataques de parâmetros esparsos, contínuos e estruturados sem exigir retreinamento.
2. Preservação de Utilidade: Ao utilizar reparametrização em vez de quantização restritiva ou mudanças arquiteturais, o PARDEF mantém alta precisão limpa, superando baselines como BIN e RA-BNN que sofrem quedas significativas de precisão.
3. Baixa Sobrecarga: O framework alcança uma redução de ~70% no tamanho do modelo (devido à quantização de 8 bits) e introduz apenas uma sobrecarga moderada de latência (aumento de P50 de 0–7%) sob cargas de trabalho típicas.
4. Robustez Adaptativa: O sistema permanece eficaz mesmo contra adversários que conhecem a defesa e utilizam otimização baseada em gradiente e Expectation-over-Transformation (EOT) para adaptar seus ataques.

4. Resultados Experimentais

Os autores avaliaram o PARDEF no CIFAR-10, CIFAR-100 e Tiny-ImageNet usando modelos ResNet e VGG, com validação adicional no DeiT (Vision Transformers) no ImageNet-1K.

• Precisão Limpa (Clean Accuracy): O PARDEF incorreu na menor degradação de precisão ($\Delta$ACC) em todos os datasets, tipicamente menos de 2%, comparado a quedas de 7–17% em outras defesas.
• Taxa de Sucesso de Ataque (ASR):
  • Ataques Esparsos (ProFlip): O PARDEF reduziu significativamente o ASR em comparação com modelos não protegidos e baselines de quantização.
  • Ataques Estruturados (P3A): O PARDEF alcançou o menor ASR entre todas as defesas, interrompendo efetivamente manipulações de canais correlacionados.
  • Ataques Contínuos (APA): O PARDEF manteve um baixo ASR, superando defesas de bit-flip especializadas como o Aegis em cenários de ruído contínuo.
• Ataques Adaptativos: Mesmo quando os adversários estavam cientes da defesa e otimizaram seus ataques (ex: usando EOT para contornar a suavização estocástica), o PARDEF reduziu o ASR em 40–70% em relação ao baseline, demonstrando que a robustez não depende de ofuscação de gradiente.
• Compatibilidade com Transformers: Experimentos no DeiT-Tiny e DeiT-Small confirmaram que o PARDEF se estende a arquiteturas Transformer, mantendo a utilidade e reduzindo o ASR enquanto alcança reduções de armazenamento semelhantes (~70%).

5. Significância e Alegações

O artigo afirma que o PARDEF representa uma defesa prática e generalizada para proteger os parâmetros de modelos "em repouso" em implantações de DNN. Sua significância reside em:

• Viabilidade de Implantação: Diferente das defesas baseadas em retreinamento, o PARDEF pode ser aplicado a modelos já treinados, tornando-o adequado para pipelines de produção existentes.
• Cobertura Abrangente: Ele aborda todo o espectro de manipulação de parâmetros (esparsos, contínuos, estruturados) em vez de focar em um único vetor de ataque.
• Equilíbrio de Trocas (Trade-offs): Alcança um equilíbrio favorável entre robustez, utilidade do modelo e sobrecarga de implantação (armazenamento e latência).

Os autores enfatizam que, embora o PARDEF forneça garantias fortes quando as chaves são protegidas em um TEE (Nível 1), ele permanece parcialmente eficaz (via QC-LDPC e ARI) mesmo em níveis de confiança menores (HSM, TPM ou sem armazenamento seguro), embora a componente de ofuscação (KCR) seja enfraquecida sem o isolamento da chave. O trabalho conclui que o PARDEF oferece um mecanismo viável para garantir a integridade do modelo diante de ameaças evolutivas no espaço de parâmetros, sem comprometer a eficiência ou a precisão das implantações de deep learning.