A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

Resumo Técnico: Um Novo Tipo de Exemplo Adversário (NKE)

Definição do Problema
Exemplos adversários clássicos são definidos por perturbações pequenas e imperceptíveis que fazem com que um modelo classifique incorretamente uma imagem enquanto ela permanece visualmente inalterada para um humano. Este artigo investiga o modo de falha inverso: Novos Tipos de Exemplos Adversários (NKE). Neste cenário, uma perturbação grande e claramente visível é aplicada a uma imagem de tal forma que o modelo mantém sua predição original e correta com alta confiança, embora um observador humano não seria mais capaz de reconhecer a imagem.

Embora trabalhos anteriores (Borji [3]; Nie et al. [5]) tenham estabelecido que tais exemplos podem ser gerados em escala, três questões críticas permaneceram não testadas:

1. A Lacuna Humano–Modelo: O reconhecimento humano realmente degrada significativamente mais rápido do que a acurácia do modelo sob essas grandes perturbações, ou a lacuna é apenas um artefato de perda de sinal?
2. Detecção de OOD e Calibração: Os detectores de Distribuição Fora da Distribuição (OOD) padrão e as ferramentas de calibração (ex: pontuações de confiança, métodos baseados em energia) identificam esses exemplos como falhas, dado que eles estão longe da variedade de dados (data manifold), mas são classificados com confiança?
3. Robustez: As defesas existentes (treinamento adversário, transformações de entrada, suavização aleatória) mitigam este modo de falha, ou a resistência a ataques de pequeno-$\epsilon$ é ortogonal à resistência a ataques de grande-$\epsilon_l$?

Metodologia
O estudo utiliza um pipeline unificado de geração de ataque para produzir imagens NKE em MNIST, CIFAR-10 e ImageNet (usando Imagenette). O ataque minimiza a perda do rótulo verdadeiro (mantendo a predição correta) enquanto impõe uma restrição de limite inferior na magnitude da perturbação ($D(x, x') > \epsilon_l$). O gerador primário utiliza variantes iterativas baseadas em momentum (NMI-FGSM/NMI-FGM).

A avaliação é organizada em quatro trilhas:

1. Medição da Lacuna Humano–Modelo:
   • Proxies Computacionais: Um reconhecedor genérico independente (uma arquitetura diferente treinada em dados limpos) e um reconhecedor de formas (treinado em mapas de bordas Canny) servem como proxies para o desempenho humano.
   • Piloto Humano: Um estudo de escolha forçada de pequena escala ($N=5$) usando um harness liberado para coletar respostas humanas reais.
   • Controles: Controles de ruído Gaussiano de magnitude correspondente são usados para distinguir entre efeitos de "estrutura adversária" e "perda de sinal" genérica.
   • Proxy CLIP: A classificação zero-shot do CLIP é usada como um proxy não-CNN mais forte para reconhecibilidade humana em escala ImageNet.
2. Análise de OOD e Calibração: Avaliação de detectores de Probabilidade Softmax Máxima (MSP), escores de energia e distância de Mahalanobis, juntamente com o Erro de Calibração Esperada (ECE).
3. Ataque Adaptativo: Testar se detectores no espaço de características podem ser evitados por um atacante que incorpora a métrica de distância do detector no objetivo de otimização.
4. Avaliação de Defesa: Avaliando treinamento adversário, suavização aleatória e transformações de entrada contra NKE, e correlacionando a robustez clássica com a resistência ao NKE.
5. Análise Mecanística: Quantificando a preservação da estrutura de borda/forma versus textura (via GLCM e escores F1 de borda Canny) para explicar a invariância do modelo.

Principais Resultados

• A Lacuna Humano–Modelo é Real e Estrutural:

  • No CIFAR-10, conforme $\epsilon_l$ aumenta, o modelo de origem mantém 100% de acurácia, enquanto um reconhecedor genérico independente cai para ~49%.
  • Crucialmente, um controle Gaussiano de L2 correspondente degrada o reconhecedor mais rápido (para ~15%) do que a perturbação estruturada do NKE. Isso indica que a lacuna não é devida à perda de sinal, mas à estrutura adversária específica que preserva características relevantes para o modelo enquanto destrói o conteúdo reconhecível pelo humano.
  • Um pequeno piloto humano ($N=5$) corrobora a lacuna, com a acurácia humana caindo para ~8% em grandes perturbações enquanto o modelo permanece em 100%.
  • Em escala ImageNet, um proxy zero-shot do CLIP confirma uma lacuna significativa (modelo 100% vs. CLIP ~33%), embora a ordem de NKE vs. ruído Gaussiano se inverta em comparação ao CIFAR-10, sugerindo que o NKE destrói ativamente o conteúdo semântico amplo nesta escala.

• Cegueira de Ferramentas de OOD e Calibração Padrão:

  • Detectores de OOD baseados em confiança (MSP) e baseados em energia sinalizam 0% das imagens NKE, e o ECE permanece próximo a 0. Os modelos parecem perfeitamente calibrados, apesar de a entrada ser irreconhecível para humanos.
  • Detectores de distância de Mahalanobis no espaço de características sinalizam 100% das imagens NKE, identificando-as corretamente como fora da variedade (off-manifold).
  • Vulnerabilidade Adaptativa: No entanto, um atacante adaptativo pode reduzir a detecção de Mahalanobis de 100% para 0% adicionando um termo de penalidade à função de perda, sem custo para o sucesso do ataque ou magnitude da perturbação. Esta evasão ocorre contra detectores não vistos e modelos treinados adversariamente.

• Ortogonalidade às Defesas Clássicas:

  • Nenhuma defesa clássica mitiga o NKE. Modelos treinados adversariamente (com 45% de acurácia robusta contra PGD) permanecem ~100% vulneráveis ao NKE.
  • Existe zero correlação ($r \approx 0$) entre a resistência a ataques de pequeno-$\epsilon$ e a resistência a ataques NKE de grande-$\epsilon_l$.

• Insight Mecanístico (Textura vs. Forma):

  • O ataque destrói estatísticas de textura de baixo nível (a similaridade GLCM colapsa para ~0) muito mais rápido do que degrada a estrutura de borda/forma (a preservação de borda permanece em ~0.3–0.4).
  • Embora as CNNs sejam enviesadas para textura, um Vision Transformer (ViT) com viés de forma não recupera o rótulo melhor do que uma CNN em entradas NKE, indicando que a estrutura sobrevivente é insuficiente para o reconhecimento semelhante ao humano.
  • A análise de transferibilidade mostra que os exemplos NKE são altamente específicos do modelo; conforme a complexidade da tarefa aumenta (MNIST $\to$ ImageNet), a transferibilidade colapsa, sugerindo que o sinal sobrevivente é idiossincrático ao modelo de origem.

Significância e Alegações
O artigo afirma mover a discussão da possibilidade de construir tais exemplos para a compreensão de suas implicações para a lacuna entre a percepção humana e a do modelo, bem como as limitações das ferramentas de segurança atuais.

1. Reenquadramento do Modo de Falha: O NKE representa uma vulnerabilidade distinta onde os modelos estão "confiantes e errados" no sentido humano (irreconhecíveis), mas "corretos" no sentido do modelo. Este é um modo de falha para o qual o monitoramento baseado em confiança padrão é estruturalmente cego.
2. Limitações das Defesas Atuais: Os achados demonstram que a robustez a pequenas perturbações não implica robustez a grandes perturbações de preservação de rótulo. As defesas existentes não abordam este regime.
3. Nuance de Detecção de OOD: Embora detectores no espaço de características possam identificar exemplos NKE, eles não são adaptativamente robustos. O artigo sugere que a detecção "fora da variedade" é necessária, mas insuficiente uma vez que o detector é conhecido pelo atacante.
4. Divergência Humano–Modelo: O estudo fornece evidência empírica (via proxies e um piloto) de que a divergência entre as curvas psicométricas de humanos e modelos não é apenas um conceito teórico, mas uma realidade mensurável em regimes de grande perturbação, especificamente impulsionada pela destruição da textura enquanto se preservam estruturas de forma nas quais os modelos dependem.

Os autores concluem que sistemas que dependem de confiança de softmax ou escores de energia devem ser auditados contra este regime específico, e que trabalhos futuros devem focar em detectores que sejam adaptativamente robustos por construção. O artigo libera o pipeline completo, os estímulos e um harness de estudo humano para facilitar essa auditoria.