Resumo Técnico: Robustez Adversarial Certificada vs. Empírica via Convoluções Híbridas com Estocasticidade de Atenção (HyCAS)

1. Declaração do Problema

Modelos de aprendizado profundo em visão computacional permanecem vulneráveis a ataques adversariais, representando riscos significativos para aplicações críticas de segurança, como direção autônoma, detecção de fraudes e suporte à decisão clínica. Estratégias de defesa existentes geralmente se enquadram em duas categorias, ambas sofrendo de limitações significativas:

• Defesas Empíricas: Métodos como Treinamento Adversarial (AT) maximizam a robustez contra ataques específicos, mas frequentemente carecem de garantias formais e são suscetíveis a ataques mais fortes e personalizados (por exemplo, APGD, AutoAttack).
• Defesas Certificadas: Técnicas como Suavização Randomizada (RS) fornecem garantias prováveis de robustez (tipicamente sob normas $\ell_2$), mas frequentemente sofrem de um compromisso rígido onde orçamentos de ruído grandes erodem a precisão em dados limpos, ou falham em generalizar para ataques empíricos fortes $\ell_\infty$.

Além disso, muitas defesas existentes são validadas principalmente em conjuntos de dados de imagens naturais, deixando sua eficácia em distribuições específicas de domínio, como imagens médicas, incerta. Há uma necessidade crítica de uma defesa que simultaneamente reduza a lacuna entre certificados prováveis de $\ell_2$ e robustez empírica de $\ell_\infty$, mantendo ao mesmo tempo uma forte generalização em diversos benchmarks de imagem.

2. Metodologia: HyCAS

Os autores propõem Convoluções Híbridas com Estocasticidade de Atenção (HyCAS), uma arquitetura de defesa randomizada que unifica restrições determinísticas de Lipschitz com suavização estocástica. A inovação central é a injeção de aleatoriedade controlada e independente dos dados dentro da arquitetura da rede, e não apenas na entrada, para criar uma rede globalmente $\le 2$-Lipschitz que admite certificação formal.

Componentes Arquiteturais

O HyCAS substitui camadas convolucionais padrão por três fluxos paralelos, cada um projetado para ser $\le 2$-Lipschitz. Esses fluxos são fundidos por meio de um portão convexo por canal, independente dos dados.

1. FDPAN (Projeção Determinística Consciente de Frequência com Ruído de Atenção):

   • Combina um núcleo determinístico 1-Lipschitz com dois resíduos randomizados.
   • Núcleo: Utiliza uma máscara de Transformada Discreta de Cosseno (DCT) de passagem baixa para excisar bandas de alta frequência frágeis, seguida por uma matriz Jacobiana ortogonal (1-Lipschitz) para embaralhamento de canais e uma convolução normalizada espectralmente (SNC).
   • Estocasticidade: Injeta Ruído de Atenção Randomizado (RANI) imediatamente após o núcleo determinístico e novamente como resíduo, garantindo que o fluxo permaneça $\le 2$-Lipschitz.

2. SNCAN (Convoluções Normalizadas Espectralmente com Ruído de Atenção):

   • Substitui convoluções padrão por Convoluções Normalizadas Espectralmente (SNC) para impor um limite de 1-Lipschitz no kernel.
   • Integra o módulo RANI para injetar estocasticidade fina e independente dos dados, transformando o bloco determinístico em uma defesa randomizada enquanto mantém o envelope $\le 2$-Lipschitz.

3. RPFAN (Filtro de Projeção Aleatória com Ruído de Atenção):

   • Aproveita garantias de incorporação Johnson-Lindenstrauss via filtros de projeção aleatória.
   • Pré-mistura: Utiliza um misturador de canais $1\times1$ ortogonal para equalizar a energia dos canais.
   • Normalização Espectral: Aplica um esquema de iteração de potência em duas etapas, consciente de lote, para reescalar o filtro de projeção aleatória, garantindo que seja 1-Lipschitz.
   • Estocasticidade: Combina a projeção 1-Lipschitz com o módulo RANI para atingir um limite $\le 2$-Lipschitz.

4. RANI (Injeção de Ruído de Atenção Randomizado):

   • Um mecanismo que injeta uma máscara de atenção limitada e independente dos dados $M_\omega \in [0, 1]^d$ nos mapas de características.
   • Formalmente, para um mapa determinístico $h$, a saída do RANI é $\hat{h} = h \odot M_\omega$.
   • O artigo prova que esta operação é 2-Lipschitz, convertendo efetivamente blocos determinísticos 1-Lipschitz em blocos randomizados 2-Lipschitz.

Garantias Teóricas

• Constante de Lipschitz: Os autores provam que cada fluxo constituinte (FDPAN, SNCAN, RPFAN) é individualmente $\le 2$-Lipschitz. A fusão convexa desses fluxos preserva esse limite.
• Certificado: Ao calcular a média dos logits sobre a aleatoriedade interna $\Omega$, o mapa de logits esperado $Z(x)$ permanece $\le 2$-Lipschitz. Isso permite um certificado de margem baseado em $\ell_2$: se a lacuna entre os dois logits esperados superiores for $\Delta(x)$, o modelo é provadamente robusto a qualquer perturbação $\delta$ onde $\|\delta\|_2 < \Delta(x)/4$.

Treinamento e Inferência

• Treinamento: O modelo é treinado usando uma função de perda padrão sobre entradas perturbadas por ruído gaussiano (estilo Suavização Randomizada) e a estocasticidade interna dos fluxos. O treinamento adversarial também é empregado para aumentar a robustez empírica.
• Inferência: Dois certificados são fornecidos: um certificado padrão de Suavização Randomizada (RS) baseado em probabilidades de classe e um certificado de margem Lipschitz determinístico baseado nos logits esperados.

3. Contribuições Principais

1. Arquitetura HyCAS: Introdução de uma defesa constrangida por Lipschitz randomizada que integra um núcleo determinístico 1-Lipschitz com dois módulos estocásticos (filtros de projeção aleatória normalizados espectralmente e ruído de atenção randomizado).
2. Garantias Teóricas: Derivação de um certificado de robustez $\ell_2$ apertado para o HyCAS, provando que a rede é globalmente $\le 2$-Lipschitz e fornecendo um certificado pontual válido.
3. Design Plug-and-Play: Um design modular que pode ser integrado em backbones CNN padrão (por exemplo, ResNet) para formar uma defesa randomizada que admite certificação formal.
4. Avaliação Abrangente: Experimentos extensivos demonstrando que o HyCAS supera defesas anteriores líderes, tanto certificadas quanto empíricas, em oito benchmarks diversos, incluindo imagens naturais (CIFAR-10/100, ImageNet) e conjuntos de dados de imagens médicas (NIH Chest X-ray, HAM10000, EyePACS, NCT-CRC-HE-100K).

4. Resultados Experimentais

O artigo relata resultados em oito benchmarks, avaliando tanto a precisão certificada $\ell_2$ quanto a robustez empírica contra ataques fortes $\ell_\infty$ (APGD-20 e AutoAttack).

• Precisão Certificada: O HyCAS alcança precisão certificada state-of-the-art em todos os níveis de ruído ($\sigma$) e raios ($r$).
  • No CIFAR-10, em $r=0.75$ e $\sigma=0.25$, o HyCAS alcança 44,3% de precisão certificada, superando a melhor linha de base (ARS) em 5,2–18,2%.
  • No ImageNet, em $r=1.5$ e $\sigma=0.50$, o HyCAS atinge 32,7%, excedendo as linhas de base em 2,1–32,7%.
  • Em conjuntos de dados médicos, o HyCAS mostra ganhos significativos, por exemplo, até 7,3% de melhoria no NIH Chest X-ray e 3,1% no HAM10000 em comparação com as principais linhas de base.
• Robustez Empírica: O HyCAS mantém alta robustez contra ataques fortes $\ell_\infty$ sem sacrificar a precisão em dados limpos.
  • No NIH-CXR, o HyCAS supera a linha de base líder (CTRW) em 1,8–4,2% sob APGD-20 e AutoAttack.
  • No HAM10000, ele melhora a precisão robusta em 1,9–3,1%.
  • Sob configurações de ataque mais fortes (aumento do tamanho da perturbação $\epsilon$ e etapas de iteração), o HyCAS degrada-se de forma mais graciosa do que as linhas de base, mantendo uma vantagem de 7–12% em 100 etapas de ataque no CIFAR-100.
• Compromissos: O método oferece um compromisso controlável entre certificado e robustez empírica. O aumento do ruído de suavização $\sigma$ melhora a precisão certificada de grande raio com impacto mínimo na precisão de pequeno raio ou em dados limpos.

5. Significado e Alegações

O artigo alega que o HyCAS supera com sucesso a lacuna de longa data entre robustez adversarial certificada e empírica. Ao acoplar uma arquitetura constrangida por Lipschitz determinística com estocasticidade interna, o método alcança:

• Melhoria Simultânea: Melhora tanto a precisão certificada $\ell_2$ quanto a robustez empírica $\ell_\infty$, uma façanha raramente alcançada por métodos anteriores que geralmente otimizam um em detrimento do outro.
• Generalização: A abordagem generaliza efetivamente através de diversos domínios de imagem, incluindo imagens naturais e conjuntos de dados médicos especializados, sugerindo sua utilidade para aplicações de alto risco.
• Segurança: A capacidade de fornecer garantias formais enquanto mantém forte resiliência empírica apoia a implantação mais segura de modelos profundos em setores críticos.

Os autores reconhecem limitações, observando que o método é pesado em termos computacionais (aumentando FLOPs e tempo de inferência em aproximadamente uma ordem de magnitude) e que as garantias teóricas estão atualmente restritas a perturbações $\ell_2$, com robustez $\ell_\infty$ avaliada empiricamente. Trabalhos futuros são sugeridos para derivar certificados mais apertados e projetar variantes mais leves.