Improving Adversarial Robustness via Activation Amplification and Attenuation

Resumo Técnico: Melhorando a Robustez Adversária via Amplificação e Atenuação de Ativação

Definição do Problema
Redes Neurais Profundas (DNNs) são vulneráveis a exemplos adversários — entradas com perturbações imperceptíveis projetadas para enganar as previsões do modelo. Esta vulnerabilidade é frequentemente atribuída à presença de "características não robustas" dentro das representações internas da rede. Embora estratégias de defesa anteriores tenham tentado mitigar isso via poda (pruning), mascaramento ou recalibração de características, essas abordagens frequentemente enfrentam compensações (trade-offs). Alguns métodos descartam completamente as características não robustas, potencialmente perdendo informações úteis, enquanto outros introduzem módulos plug-in complexos com sobrecarga significativa de parâmetros e reduzida interpretabilidade. Além disso, técnicas de escalonamento de ativação existentes projetadas para detecção de Out-of-Distribution (OOD) frequentemente dependem de operações não diferenciáveis (ex: seleção top-k) ou formulações exponenciais que podem causar saturação de gradiente, tornando-as inadequadas para o treinamento adversário de ponta a ponta.

Metodologia: Amplificação e Atenuação de Ativação (A3)
Os autores propõem o A3, um módulo plug-in leve projetado para aumentar a robustez adversária através de um mecanismo de redimensionamento controlado. O A3 é integrado à rede principal (ex: após blocos específicos de ResNet) e opera sobre ativações intermediárias ($z$).

1. Mascaramento e Escalonamento Aprendíveis:
   Em vez de poda rígida, o A3 calcula uma máscara binária por canal ($m$) usando uma projeção aprendível e um truque Gumbel-Softmax para garantir a diferenciabilidade. Esta máscara identifica canais com base na distribuição das magnitudes originais das ativações.
   O módulo calcula duas estatísticas das ativações: a magnitude total ($s_1$) e a magnitude do subconjunto mascarado ($s_2$). Usando estas, deriva dois fatores de escalonamento ($f_m$ e $f_{1m}$) via uma formulação logarítmica:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Esta abordagem logarítmica é escolhida em vez de formulações exponenciais para garantir gradientes estáveis e evitar instabilidade numérica durante o treinamento adversário.

2. Modos Duplos (Amplificação e Atenuação):
   O A3 utiliza os mesmos parâmetros aprendíveis para produzir duas saídas distintas invertendo o sinal da operação de escalonamento:

   • Atenuação ($z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. Este modo suprime a influência de características não robustas.
   • Amplificação ($z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. Este modo exagera os padrões de ativação, servindo efetivamente como uma "referência negativa".

3. Novas Funções de Objetivo:
   O processo de treinamento utiliza ambos os modos para definir novas funções de perda:

   • Perda de Ranking de Cross-Entropy ($L_{rank}$): Uma perda hinge que impõe que as ativações atenuadas gerem uma perda de cross-entropy menor do que as ativações amplificadas. Isso cria um processo de otimização competitiva onde o modelo aprende a degradar as previsões no modo de amplificação enquanto melhora as previsões no modo de atenuação.
   • Perda de Logit Contrastivo ($L_{cl}$): Uma perda do tipo triplet que minimiza a distância entre os logits limpos e adversários no modo de atenuação, enquanto maximiza a distância entre os logits atenuados e amplificados.

O objetivo final combina o treinamento adversário padrão (ex: AT, TRADES, MART) com estes componentes propostos. Durante a inferência, apenas o modo de atenuação ($z_{att}$) é utilizado.

Principais Contribuições

• Módulo A3: Um módulo plug-in leve que melhora a robustez com sobrecarga mínima de computação e memória, baseando-se em um simples mecanismo de escalonamento em vez de capacidade de rede adicional.
• Mecanismo de Modo Duplo: Uma abordagem novel que aprende conjuntamente a amplificar e atenuar sinais usando os mesmos parâmetros. O artigo demonstra que aprender a degradar as previsões no modo de amplificação melhora simultaneamente a robustez no modo de atenuação.
• Escalonamento Diferenciável: A substituição de operações top-k não diferenciáveis (comuns em detecção de OOD) por uma máscara aprendível e diferenciável e escalonamento logarítmico para evitar a ofuscação de gradiente e garantir estabilidade.
• Novas Funções de Perda: A introdução de perdas contrastivas e de ranking que utilizam ativações amplificadas como referências negativas para guiar o processo de aprendizado de robustez.

Resultados Experimentais
Experimentos extensivos foram conduzidos em CIFAR-10, CIFAR-100 e Tiny ImageNet utilizando backbones ResNet-18 e WideResNet-34-10, integrados com estratégias de treinamento AT, TRADES e MART.

• Desempenho: O A3 superou consistentemente as defesas plug-in existentes (ex: CAS, CIFS, FSR, FPCM, EMFF) em vários tipos de ataques (FGSM, PGD-20/100, C&W, AutoAttack). Por exemplo, no ResNet-18 com AT no CIFAR-10, o A3 alcançou uma melhoria de 4,99% na acurácia de ensemble sobre o backbone vanilla.
• Eficiência: O A3 introduz um overhead negligenciável. Comparado ao baseline, adiciona apenas ~0,27M de parâmetros e ~0,0021G FLOPs para ResNet-18, significativamente menos que outros métodos de mascaramento como o FTA2C.
• Estudos de Ablação:
  • Análise de Modo: O modo de atenuação supera significativamente o modo de amplificação e as estratégias de supressão rígida, confirmando que a atenuação seletiva é superior ao descarte completo de características.
  • Componentes de Perda: Tanto a perda de ranking quanto a perda contrastiva são essenciais; remover ou substituir a formulação hinge por cross-entropy padrão leva à degradação do desempenho.
  • Formulação de Escalonamento: O fator de escalonamento logarítmico proposto ($f_m$) superou as alternativas lineares, quadráticas e exponenciais.
  • Mudança de Distribuição: A análise das distribuições de ativação mostra que o A3 induz uma separação clara entre exemplos limpos e adversários no modo de atenuação, enquanto o modo de amplificação faz com que as distribuições se sobreponham, validando o papel da amplificação como uma referência negativa.

Significância
O artigo afirma que o A3 oferece uma direção promissora para construir modelos robustos e interpretáveis ao focar em defesa baseada em características com poucos parâmetros treináveis. Ao demonstrar que aprender a degradar previsões em um modo melhora a robustez em outro, o trabalho desafia a noção de que defesas devem focar exclusivamente na supressão. O método atinge o estado da arte em robustez entre módulos plug-in enquanto mantém alta acurácia de dados limpos e introduz custo computacional negligenciável, tornando-o uma solução prática e eficiente para proteger DNNs contra ataques adversários.