Resumo Técnico: TARO – Otimização de Retificação Adversarial Temporal

Declaração do Problema

Redes neurais profundas permanecem vulneráveis a exemplos adversariais, onde perturbações imperceptíveis induzem previsões errôneas. Embora o treinamento adversarial seja uma defesa dominante, ele sofre com altos custos de treinamento, especificidade à família de perturbações utilizada durante o treinamento e um tradeoff entre precisão limpa e robustez. Consequentemente, a purificação adversarial emergiu como uma estratégia de defesa em tempo de inferência, visando mapear entradas potencialmente adversariais de volta para a variedade de imagens naturais antes da classificação.

Métodos padrão de purificação baseados em difusão injetam ruído gaussiano para atenuar estruturas adversariais e reconstruir a imagem por meio de um processo de difusão reverso. No entanto, esses métodos enfrentam uma tensão intrínseca entre robustez e fidelidade:

• Denoising de baixo ruído preserva o conteúdo local da imagem, mas pode reter artefatos adversariais.
• Denoising de alto ruído suprime perturbações fortes, mas arrisca descartar detalhes relevantes para a classe ou desviar para modos semânticos incorretos.

Avaliações recentes indicam que alegações de purificação estocástica são frequentemente exageradas quando os ataques não conseguem diferenciar através do processo de purificação ou não consideram a estocasticidade. Além disso, métodos existentes de otimização em tempo de teste geralmente dependem de um único regime de ruído de difusão em cada atualização, colapsando informações multiescala em uma única estimativa local. Adicionalmente, variantes conscientes do adversário frequentemente requerem modelos de perturbação auxiliares treinados em distribuições de ataque específicas, limitando sua generalizabilidade.

Metodologia: TARO

Os autores propõem a Otimização de Retificação Adversarial Temporal (TARO), um framework de purificação em tempo de teste que trata os passos de tempo da difusão como especialistas em denoising dependentes de escala. Em vez de depender de um único nível de ruído, o TARO agrega múltiplas visões de denoising ao longo da trajetória de difusão para construir um prior de pontuação guiado temporalmente.

Mecanismo Central: Agregação Temporal Afim

O TARO formula um alvo residual de grosso para fino combinando saídas de múltiplos especialistas de ruído:

1. Produto Temporal de Especialistas (PoE): O método define um prior de tempo contínuo onde a log-densidade é uma integral ponderada de distribuições induzidas pela difusão através dos passos de tempo.
2. Extrapolação Afim: Diferentemente do PoE padrão, que requer pesos não negativos (interpolação convexa), o TARO permite agregação afim, onde os pesos podem ser negativos, desde que somem um. Isso permite que o método realize correções de grosso para fino além da interpolação padrão.
3. Construção do Alvo: A imagem alvo $x_{target}$ é construída como:
   $$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$$
   Onde $u_j$ representa a saída denoised de um regime de ruído específico (especialista).
   • Especialistas de alto ruído ($u_K$): Fornecem estruturas globalmente suavizadas com sensibilidade reduzida a componentes adversariais frágeis.
   • Especialistas de baixo ruído ($u_j$): Restauram detalhes específicos da imagem e relevantes para a classe.
   • Força de Guia ($\gamma$): Controla o equilíbrio. Quando $\gamma > 1$, o método realiza uma extrapolação estilo guia, amplificando a direção de correção definida pela discrepância entre especialistas finos e grossos.

Otimização e Regularização

• Otimização: O TARO atualiza a entrada minimizando uma perda de alvo fixo $\|sg(x_{target}) - x_i\|^2_2$, onde $sg(\cdot)$ denota uma operação de stop-gradient para tratar o alvo como fixo durante a atualização.
• Regularização de Consistência de Especialistas: Para estabilizar a correção temporal amplificada (especialmente para ataques $\ell_2$ onde resíduos entre passos de tempo podem ser instáveis), o TARO introduz uma perda de consistência $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$. Isso incentiva especialistas temporais a concordarem sobre a estimativa purificada.
• Variante Híbrida (TARO-AA): O TARO é projetado para ser complementar a modelos de verossimilhança conscientes do adversário (por exemplo, AAOpt). A variante híbrida substitui o prior de difusão de escala única no AAOpt pelo prior de consenso temporal do TARO, combinando retificação temporal interna com modelos de resíduo aprendidos externamente.

Protocolo de Avaliação

O artigo enfatiza a necessidade de avaliação consciente da otimização. Como o TARO envolve um loop interno de otimização, os ataques devem:

• Visar a composição completa purificador–classificador.
• Considerar a estocasticidade via Expectativa sobre Transformação (EOT).
• Preservar gradientes de ordem superior (diferenciação consistente com o grafo) através do loop interno de otimização. Os autores demonstram que falhar em fazer isso leva a estimativas de robustez severamente infladas devido ao mascaramento de gradientes.

Contribuições Principais

1. Framework TARO: Introdução de um purificador em tempo de teste que agrega múltiplos regimes de ruído de difusão em um alvo de denoising afim de grosso para fino, combinando efetivamente estrutura global robusta com preservação semântica em escala fina.
2. Interpretação Teórica: Interpretação do TARO como uma extensão afim da agregação temporal de produto de especialistas, fornecendo interpretações de risco e gaussianas locais que explicam o papel da força de guia $\gamma$.
3. Avaliação Abrangente: Avaliação sob ataques adaptativos fortes, incluindo PGD-EOT, BPDA-EOT, AutoAttack-EOT e DiffBreak. O estudo demonstra que o TARO melhora a robustez $\ell_\infty$ zero-shot e aumenta ainda mais a robustez quando combinado com verossimilhanças conscientes do adversário ou regularização de consistência.
4. Estudo de Protocolo de Avaliação: Uma análise crítica mostrando que a avaliação adaptativa confiável de purificadores baseados em otimização requer a preservação de gradientes de ordem superior, corrigindo superestimativas anteriores de robustez no campo.

Resultados Experimentais

Os experimentos foram conduzidos em CIFAR-10, CIFAR-100, CIFAR-10-C e Imagenette usando classificadores WRN-28-10 e WRN-70-16.

• Robustez $\ell_\infty$: O TARO alcança robustez state-of-the-art entre métodos de purificação. No CIFAR-10 com WRN-28-10 sob PGD-EOT, o TARO-3 alcança 88,57% de precisão robusta, superando o AAOpt (85,12%) e mantendo alta precisão limpa (~93,45%).
• Robustez $\ell_2$: O TARO zero-shot bruto é mais fraco contra ataques $\ell_2$. No entanto, adicionar regularização de consistência ou a verossimilhança consciente do adversário (TARO-AA) recupera significativamente o desempenho. O TARO-2 + Consistência alcança 88,99% de precisão robusta, superando o AAOpt (86,40%).
• Ataques DiffBreak: Sob o ataque de baixa frequência DiffBreak, purificadores de difusão padrão colapsam para 0,0% de precisão robusta. O TARO-2-AA mantém 90,10% de precisão robusta, superando significativamente o AAOpt (85,41%).
• Transferibilidade: O TARO permanece eficaz no conjunto de dados Imagenette e sob configurações de DiffBreak de transferência.
• Ablações:
  • Força de Guia ($\gamma$): O $\gamma$ ótimo varia por tipo de ataque (por exemplo, $\gamma=1,5$ para $\ell_\infty$, $\gamma=2,0$ para $\ell_2$).
  • Fluxo de Gradiente: Remover a operação de stop-gradient reduz a robustez apenas ligeiramente, confirmando que os ganhos derivam da retificação temporal multiescala e não de gradientes quebrados.
  • Independência do Classificador: Os resultados mantêm-se em diferentes backbones de classificador (WRN-28-10 e WRN-70-16).

Significado e Alegações

O artigo alega que o TARO fornece um sinal de retificação zero-shot derivado diretamente do modelo de difusão de imagens limpas pré-treinado, sem exigir re-treinamento ou modelos de ataque auxiliares. Seu significado reside em:

1. Resolver o Tradeoff Robustez-Fidelidade: Ao aproveitar uma visão temporal de produto de especialistas, o TARO evita comprometer-se com um único ponto no espectro robustez-fidelidade, equilibrando dinamicamente a correção global com detalhes semânticos.
2. Superioridade sob Ataques Adaptativos: O TARO demonstra resiliência contra ataques adaptativos fortes (BPDA-EOT, DiffBreak) onde purificadores de difusão padrão falham, desde que o protocolo de avaliação considere corretamente o loop de otimização.
3. Modularidade: O framework é compatível com modelos de verossimilhança conscientes do adversário existentes, oferecendo um caminho para ganhos adicionais de robustez ao combinar priores temporais com modelos de resíduo aprendidos.

Os autores reconhecem limitações, incluindo maior latência de inferência devido à otimização multiescala e a natureza empírica da defesa (falta de robustez certificada). Eles concluem que o TARO representa um passo em direção a defesas mais confiáveis, transparentes e cuidadosamente avaliadas para aplicações críticas de segurança.