CEAR: Certified Ensemble Adversarial Robustness in DNNs

Resumo Técnico: CEAR: Robustez Adversária de Ensemble Certificada em DNNs

Definição do Problema
Redes Neurais Profundas (DNNs) alcançam alta precisão em conjuntos de teste padrão, mas permanecem altamente vulneráveis a perturbações adversárias — modificações de entrada imperceptíveis que alteram drasticamente as previsões. Essa vulnerabilidade dificulta a implementação em aplicações críticas de segurança. Os mecanismos de defesa existentes dividem-se em duas categorias:

1. Defesas Empíricas: Métodos como treinamento adversário e destilação defensiva melhoram a robustez durante o treinamento, mas carecem de garantias formais e frequentemente falham contra ataques white-box adaptativos fortes (ex: C&W, AutoAttack).
2. Defesas Certificadas: Métodos como suavização aleatória (randomized smoothing) fornecem garantias prováveis de que as previsões permanecerão invariantes dentro de um limite de perturbação específico. No entanto, classificadores individuais costem ter dificuldade em manter uma alta acurácia certificada em raios de perturbação maiores.
   Embora métodos de ensemble tenham mostrado promessa na melhoria da robustez através da agregação, as abordagens existentes frequentemente sofrem com alta transferibilidade adversária (onde ataques em uma rede têm sucesso em outras) e declínios acentuados na acurácia certificada conforme os orçamentos de perturbação aumentam.

Metodologia
Os autores propõem o CEAR (Certified Ensemble Adversarial Robustness), um framework que unifica mecanismos de defesa empírica e certificada dentro de um pipeline de treinamento de ensemble. O método opera em duas fases:

1. Treinamento Robusto:

   • Aumentação Gaussiana Variável (VGA): Diferente dos ensembles padrão que compartilham ruído uniforme, o CEAR treina cada rede no ensemble com um nível de ruído distinto. Um desvio padrão base ($\sigma_{tr}$) é perturbado por uma variável aleatória $\beta$ amostrada de uma distribuição uniforme, resultando em distribuições de ruído únicas ($\sigma_{tr} + \beta$) para cada rede estudante. Essa diversidade reduz a transferibilidade adversária.
   • Destilação com Escalonamento de Temperatura (DTS): Uma rede professora é treinada para gerar rótulos suaves (distribuições de probabilidade suavizadas por um parâmetro de temperatura $t$). Redes estudantes são então treinadas em entradas aumentadas por Gauss com esses rótulos suaves. Este processo suaviza as fronteiras de decisão e captura similaridades interclasses, melhorando a generalização contra ataques imprevistos.

2. Inferência Robusta:

   • Logits Ruidosos: Para evitar que atacantes recuperem os logits originais (uma vulnerabilidade na destilação padrão), ruído Gaussiano é injetado nos dados de entrada no momento da inferência. Isso cria logits inerentemente estocásticos sem modificar os parâmetros do modelo, obscurecendo gradientes contra ataques iterativos como o C&W.
   • Mecanismos de Agregação: O CEAR emprega duas estratégias de votação dependendo do regime de confiança:
     • Mediana Geométrica (GM): Agrega probabilidades softmax usando a mediana geométrica. É robusto a outliers e eficaz em regiões de alta confiança e baixa perturbação.
     • Ensemble Ponderado Robusto (RW): Atribui pesos a cada rede estudante com base em sua acurácia certificada individual em um conjunto de validação mantido fora do treinamento (held-out). Redes com maior acurácia certificada contribuem mais para a previsão final. Este mecanismo é projetado para lidar com orçamentos de perturbação maiores e regimes de baixa confiança.

3. Verificação Certificada:
   O artigo estende a verificação de suavização aleatória para verificar classificadores baseados em ensemble. Ele define um classificador de ensemble suavizado $G$ e utiliza amostragem de Monte Carlo para calcular um limite inferior de confiança na probabilidade da classe prevista. Se este limite exceder 0.5, o modelo é certificado como robusto dentro de um raio calculado $R$.

Principais Contribuições

1. Framework CEAR: Um framework de defesa unificado que combina DTS e VGA em um pipeline de ensemble para promover a suavidade da fronteira de decisão e a diversidade. Ele utiliza logits ruidosos na inferência para dificultar ataques baseados em gradiente e utiliza votação GM e RW para recuperar a acurácia limpa enquanto melhora a robustez.
2. Verificação Estendida: Os autores estendem o método de verificação de suavização aleatória para verificar formalmente a robustez de classificadores baseados em ensemble, derivando um corolário para o raio de robustez de um ensemble.
3. Validação Empírica: Experimentos extensos em MNIST, CIFAR10 e TinyImageNet demonstram que o CEAR alcança uma acurácia certificada média superior em raios maiores e exibe maior resiliência contra ataques white-box baseados em gradiente comparado a baselines de estado da arte (RandSmooth e SWEEN).

Resultados Experimentais

• Acurácia Certificada: Em MNIST e CIFAR10, variantes do CEAR superam os baselines. Especificamente, o CEAR(GM) alcança acurácia certificada superior em regiões de alta confiança (raios pequenos), enquanto o CEAR(RW) mantém uma acurácia mais alta conforme os raios de perturbação aumentam e a confiança do modelo degrada. Por exemplo, no CIFAR10 com $\sigma_v=1.0$, o CEAR(RW) alcança 20% de acurácia certificada em $R=1.0$, superando os baselines.
• Raio de Robustez: O CEAR(RW) alcança consistentemente raios de robustez certificada maiores que os baselines, particularmente em regiões de baixa confiança sob altas perturbações.
• Transferibilidade: O CEAR reduz significativamente as taxas de sucesso de atacantes contra ataques transferíveis. No CIFAR10 sob a norma $\ell_\infty$, o CEvar(RW) reduziu a taxa de sucesso do atacante para 46,00%, comparado a 96,56% para o RandSmooth e 60,10% para o SWEEN.
• Sobrecarga Computacional: Como um método de ensemble, o CEAR incorre em crescimento computacional linear com o número de redes ($M$). No entanto, os autores observam que essa sobrecarga é aceitável para aplicações críticas de segurança onde garantias verificáveis são necessárias.

Significância e Alegações
O artigo afirma que o CEAR aborda o desafio fundamental de aumentar a robustez em raios de perturbação maiores ao combinar efetivamente a diversidade de ensemble com mecanismos de defesa certificados. Os autores enfatizam que a escolha da estratégia de agregação é crítica: a agregação otimizada por mediana geométrica é preferível quando as previsões do ensemble são confiantes, enquanto a ponderação robusta fixa é superior em regimes adversários de alta incerteza. O trabalho demonstra que integrar distribuições de ruído variáveis durante o treinamento com mecanismos de votação adaptativos ou robustos pode gerar garantias prováveis que superam as defesas de rede única e de ensemble uniforme existentes. Os autores concluem observando que trabalhos futuros investigarão a influência sistemática do escalonamento de temperatura no DTS sobre a diversidade e calibração do ensemble.