NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

1. Problema

As Redes Neurais Artificiais (ANNs), especialmente as Redes Neurais Convolucionais (CNNs), são vulneráveis a exemplos adversariais: entradas com perturbações imperceptíveis ao olho humano que causam classificações erradas. Embora métodos de treinamento adversarial (como o proposto por Madry et al.) sejam a defesa padrão, eles são computacionalmente caros e muitas vezes mascaram a contribuição intrínseca da arquitetura para a robustez.

A Neuroevolução (NE) automatiza o design de arquiteturas, mas historicamente priorizou o desempenho preditivo em dados limpos, ignorando a fragilidade adversarial. Trabalhos anteriores em busca de arquiteturas robustas (NAS/NE) frequentemente:

• Utilizam espaços de busca restritos (baseados em células fixas), limitando a emergência de topologias inovadoras.
• Integram o treinamento adversarial durante o loop evolutivo, o que impede distinguir se a robustez vem da arquitetura ou apenas do processo de treino.
• Comprometem a robustez intrínseca para gerenciar custos computacionais.

2. Metodologia: NERO-Net

O artigo propõe o NERO-Net (NeuroEvolution of adversarially RObust artificial neural Networks), uma extensão do algoritmo Fast-DENSER. A abordagem foca em descobrir arquiteturas que sejam intrinsecamente robustas, mesmo quando treinadas apenas com métodos padrão (não adversariais).

Componentes Principais:

• Função de Aptidão (Fitness) Co-otimizada:

  • Diferente do DENSER original, o NERO-Net utiliza uma função de aptidão $F_\beta$ que combina a acurácia em dados limpos ($C$) e a acurácia adversarial ($A$).
  • Fórmula: $F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$.
  • O parâmetro $\beta$ controla o peso da robustez.
  • Estratégia de Avaliação: Os candidatos são treinados apenas com métodos padrão. A robustez é estimada usando o ataque FGSM (Fast Gradient Sign Method) durante a busca evolutiva para manter a eficiência computacional, evitando que o treinamento adversarial completo durante a evolução "esconda" a qualidade da arquitetura.
  • Período de Aquecimento (Warm-up): Inicialmente, a busca foca apenas na acurácia limpa. Após atingir um limiar de desempenho, a função de aptidão muda para a métrica composta $F_\beta$.
  • Detecção de Indivíduos Mal-Ajustados: Filtra soluções degeneradas (instabilidade numérica ou modelos que preveem apenas uma classe para todos os dados).

• Representação Genotípica Flexível:

  • Blocos de Camadas: Em vez de codificar camadas isoladas, o sistema codifica blocos compostos (ex: Conv + BN + Ativação) diretamente na gramática, permitindo variações na ordem das operações.
  • Conectividade Avançada: Remove a restrição de que uma camada deve conectar-se obrigatoriamente à camada imediatamente anterior. Isso permite conexões de salto (skip connections) mais livres e topologias complexas.
  • Parâmetros Reais: Introduz novos tipos para parâmetros reais (ex: potências de 2 e 10) para reduzir o espaço de busca de hiperparâmetros.

• Espaço de Busca:

  • Baseado em uma estrutura similar ao NSGA-Net (com blocos macro e transição), mas com restrições menos rígidas, permitindo que parâmetros como número de filtros e funções de ativação (ReLU vs. Swish) evoluam.
  • O espaço de busca é mais complexo e amplo do que o de abordagens NAS baseadas em células fixas.

3. Contribuições Chave

1. Framework NERO-Net: Um sistema de neuroevolução que co-otimiza acurácia e robustez adversarial sem usar treinamento adversarial durante a fase de busca, isolando assim a contribuição da arquitetura.
2. Representação Genotípica Expandida: Uma nova codificação que suporta blocos de camadas e padrões de conectividade topológica mais amplos, superando as limitações de espaços de busca baseados em células.
3. Evidência de Robustez Intrínseca: Demonstração de que a evolução pode descobrir arquiteturas que resistem a ataques adversariais mesmo sem defesas especializadas no treino, mantendo alta acurácia em dados limpos.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados CIFAR-10, focando na robustez sob a norma $L_\infty$ (com $\epsilon = 8/255$).

• Desempenho Pós-Evolução (Treino Padrão):

  • O indivíduo mais apto encontrado atingiu 33,25% de acurácia adversarial (contra FGSM) e 87,49% de acurácia limpa após o treino padrão limitado (30 min).
  • Após um treino padrão estendido, essas métricas melhoraram para 47,88% (adversarial) e 93,47% (limpa), sugerindo forte robustez intrínseca.
  • O modelo também demonstrou robustez transferível para perturbações $L_2$ (não vistas durante a evolução), atingindo ~58% de acurácia contra ataques FGM.

• Desempenho com Treino Adversarial (Refinamento):

  • Ao aplicar treino adversarial (PGD) no melhor indivíduo, a acurácia contra o ataque AutoAttack (AA) subiu para 40,40%.
  • Houve uma queda na acurácia limpa (de 93,47% para 84,08%), o que é comum em modelos robustos.
  • Comparação: Embora o NERO-Net tenha uma acurácia adversarial final ligeiramente inferior ao modelo NSGA-Net (40% vs 47% no AA) quando ambos usam treino adversarial, o NERO-Net superou o NSGA-Net significativamente quando ambos foram treinados apenas com métodos padrão (47,88% vs 39,73% no FGSM).

• Observação sobre Tamanho: O modelo NERO-Net é consideravelmente maior (26,7M de parâmetros) que o NSGA-Net (3,3M), o que pode exigir mais recursos para convergência ideal no treino adversarial.

5. Significado e Conclusão

O trabalho demonstra que a Neuroevolução é uma ferramenta viável para projetar arquiteturas de CNNs com robustez intrínseca, superando a dependência exclusiva de técnicas de treinamento adversarial.

• Inovação: Ao evitar o treinamento adversarial durante a busca, o NERO-Net prova que certas topologias são naturalmente mais resistentes a perturbações.
• Flexibilidade: A representação genotípica expandida permite a descoberta de padrões arquiteturais que métodos NAS tradicionais (baseados em células) não conseguiriam encontrar.
• Desafios Futuros: O custo computacional da NE continua alto. O artigo sugere o uso de "proxies de custo zero" adaptados para robustez e a otimização personalizada de configurações de treino adversarial para arquiteturas evolutivas específicas como direções futuras.

Em suma, o NERO-Net oferece uma nova perspectiva no design de redes neurais seguras, mostrando que a estrutura da rede é um fator crítico e subexplorado na defesa contra ataques adversariais.