Improving Certified Robustness via Adversarial Distillation

Resumo Técnico: Melhorando a Robustez Certificada via Destilação Adversária

Declaração do Problema
Redes neurais são vulneráveis a exemplos adversários, onde pequenas perturbações nos inputs causam classificações incorretas. Embora o treinamento adversário (AT) melhore a robustez empírica, os modelos resultantes são difíceis de verificar formalmente. Por outro lado, métodos de treinamento certificado, que otimizam limites superiores da perda de pior caso (tipicamente via Propagação de Limites de Intervalo, ou IBP), produzem modelos verificáveis, mas frequentemente sofrem com uma degradação na acurácia padrão. Abordagens de estado da arte recentes tentam equilibrar isso interpolando entre limites inferiores adversários e limites superiores de IBP. No entanto, o compromisso entre a acurácia padrão e a acurácia certificada continua sendo um desafio significativo, particularmente conforme os raios de perturbação aumentam.

Metodologia: AD-CERT
Os autores propõem o AD-CERT (Destilação Adversária para Certificação), um novo objetivo de treinamento que combina destilação de conhecimento adversário com limites de IBP. A hipótese central é que a transferência de conhecimento adversário de um professor empiricamente robusto para um aluno certificado pode servir como um substituto eficaz para o limite inferior adversário, melhorando o compromisso entre acurácia padrão e certificada.

A função de perda AD-CERT é formulada como uma combinação linear de dois termos:
$$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Destilação Adversária}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$$

Onde:

• $f_{\theta_t}$ é uma rede professora congelada treinada via treinamento adversário padrão (PGD).
• $f_{\theta_s}$ é a rede aluna sendo treinada para certificação.
• $x_{adv}$ é um exemplo adversário gerado contra o aluno.
• O termo de Destilação Adversária (AD) minimiza a divergência de Kullback-Leibler (KL) entre a distribuição preditiva do professor em inputs limpos ($P_{\theta_t}(x)$) e a distribuição preditiva do aluno em inputs adversários ($P_{\theta_s}(x_{adv})$).
• O termo IBP calcula o limite superior padrão da perda usando a Propagação de Limites de Intervalo.
• $\alpha \in [0, 1]$ equilibra os objetivos empíricos e certificados.

Insights Teóricos
O artigo fornece uma análise teórica caracterizando o AD-CERT:

1. Substituto de Limite Inferior (Surrogate Lower Bound): Demonstra-se que o termo AD é equivalente ao treinamento adversário com rótulos suaves (soft labels), atuando como um "substituto de limite inferior guiado pelo professor". Diferente do AT padrão, que otimiza um limite inferior rígido, o AD-CERT usa os rótulos suaves do professor para guiar o comportamento do aluno em exemplos adversários.
2. Escalarização: O objetivo é uma escalarização entre um substituto de limite inferior adversário de rótulo suave e um limite superior certificado de IBP.
3. Diferença Geométrica: Ao contrário do AT padrão, que busca margens de classe arbitrariamente grandes, o ramo AD induz um alvo finito no espaço de logits definido pela distribuição preditiva do professor ($\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$). Isso sugere um cenário de otimização mais suave.

Resultados Experimentais
Os autores avaliaram o AD-CERT no MNIST, CIFAR-10 e TinyImageNet utilizando a biblioteca CTBench e o verificador $\alpha,\beta$-CROWN.

• Desempenho de Estado da Arte: O AD-CERT alcança acurácia certificada de estado da arte em todas as arquiteturas baseadas em ReLU avaliadas.
  • No MNIST, proporciona melhorias consistentes e modestas sobre os métodos existentes.
  • No CIFAR-10, melhora a melhor acurácia certificada prévia baseada em ReLU em uma média de 0,37 pontos percentuais, com o maior ganho em $\epsilon = 2/255$.
  • No TinyImageNet, o AD-CERT alcança a maior acurácia certificada entre todos os métodos comparados, melhorando substancialmente a acurácia padrão em relação aos métodos anteriores de treinamento certificado sem destilação.
• Comparação com Métodos de Destilação: Em uma comparação controlada contra o CC-DIST (que realiza destilação de características robustas no espaço de características), o AD-CERT (destilação de nível de logit) alcança maior acurácia certificada, enquanto o CC-DIST retém uma acurácia padrão ligeiramente superior. O AD-CERT melhora a acurácia certificada sobre o CC-DIST em até 5,40 pontos percentuais em configurações específicas.
• Estudos de Ablação:
  • A remoção do componente IBP para testar técnicas puras de destilação revela que o pareamento com um professor apenas em inputs limpos (KL Natural) falha em transferir a robustez adversária.
  • A destilação de nível de logit adversária (AD) preserva a robustez do nível do professor de forma mais eficaz do que a destilação no espaço de características ou outras variantes de destilação adversária (como RSLAD) quando usada como o endpoint empírico.
  • A análise de sensibilidade do coeficiente IBP $\alpha$ confirma que a redução da força do IBP melhora a acurácia padrão, mas eventualmente degrada a acurácia certificada, o que é consistente com as tendências da literatura de perdas expressivas.

Significância e Alegações
O artigo alega que o AD-CERT consegue, com sucesso, unir a lacuna entre a robustez empírica e a verificação formal. Ao desacoplar o endpoint empírico (usando uma destilação de nível de logit guiada pelo professor) do endpoint certificado (usando IBP puro), o método evita as complexidades de perdas expressivas fortemente acopladas encontradas em trabalhos anteriores.

Os autores enfatizam que, embora o AD-CERT alcance um desempenho certificado superior, permanece uma lacuna significativa entre a acurácia padrão/adversária do professor empiricamente robusto e a do aluno certavelmente robusto, particularmente em raios de perturbação maiores (ex: CIFAR-10 em $\epsilon = 8/255$). O artigo conclui que, embora a destilação de nível de logit seja um mecanismo eficaz para transferir robustez, trabalhos futuros são necessários para desenvolver métodos mais fortes para transferir a robustez empírica para a robustez certificável sem sacrificar a acurácia padrão.