Resumo Técnico: Vulnerabilidade Adversária decorrente da Interferência entre Características em Superposição

Declaração do Problema

Apesar do estudo extensivo, os exemplos adversários permanecem mal compreendidos em um nível mecanístico. Embora explicações existentes atribuam a vulnerabilidade à geometria de alta dimensão, padrões não robustos nos dados de entrada ou estruturas de fronteira de decisão, nenhuma fornece um mecanismo ao nível da representação que explique por que perturbações específicas têm sucesso ou por que ataques são transferíveis entre modelos. Há uma falta de um relato preditivo que vincule intervenções de robustez à estrutura de representação. Este artigo aborda essa lacuna investigando se a vulnerabilidade adversária deriva da codificação eficiente de informação em redes neurais, especificamente através do fenô vezes de superposição.

Metodologia

Os autores propõem um framework mecanístico onde redes neurais representam mais conceitos (características) do que possuem dimensões ($M \gg d$) ao codificá-los como direções não ortogonais no espaço de ativação. Esse empacotamento cria interferência, onde a ativação de uma característica afeta outras. O estudo valida esta hipótese através de três configurações primárias:

1. Tarefa de Argmax Sintética: Uma rede de gargalo (bottleneck) mínima com um mapeamento entrada-classe de forma fechada. Aqui, $k$ classes são comprimidas em $m$ dimensões latentes ($m < k$). Os autores controlam as correlações de entrada (não correlacionadas, pareadas, globais) para manipular a geometria das características. Esta configuração permite o cálculo de perturbações de verdade fundamental (ground-truth) e a comparação direta entre ataques empíricos (PGD) e ótimos teóricos derivados da geometria de interferência.
2. Vision Transformers (ViTs) Realistas: Modelos treinados em CIFAR-10/100, STL-10 e TinyImageNet com gargalos dimensionais projetados inseridos antes da cabeça de classificação. Isso testa se as assinaturas geométricas previstas pela teoria emergem em redes profundas e não lineares.
3. Treinamento Regularizado sem Gargalos Explícitos: Modelos ViT treinados com variações de decaimento de peso (weight decay) para induzir representações de baixo posto (gargalos efetivos) sem restrições arquitetônicas explícitas, testando se a redução de posto sozinha desencadeia o mecanismo de vulnerabilidade.

Ferramentas Analíticas Principais:

• Hipótese de Representação Linear (LRH): Tratando os logits de classe como projeções lineares de vetores de características.
• Métricas de Interferência: Quantificando a não ortogonalidade dos vetores de características de classe ($w_i^\top w_j$) e medindo como as perturbações se alinham com a "geometria de interferência" definida pela diferença entre os vetores das classes alvo e de origem.
• Alinhamento de Ataque: Comparando a direção das perturbações descobertas pelo PGD contra as perturbações teoricamente ótimas derivadas da geometria de interferência ($\delta \propto W_e^\top (w_k - w_j)$).

Principais Contribuições

1. Relato Mecanístico da Vulnerabilidade: O artigo estabelece um vínculo direto entre a geometria de superposição e a vulnerabilidade adversária. Demonstra que as correlações de dados restringem o arranjo das características em superposição, o que determina os padrões de interferência. Esses padrões, por sua vez, ditam quais perturbações têm sucesso e por que os ataques são transferíveis entre modelos.
2. Superposição como uma Condição Suficiente: Os autores fornecem evidências teóricas e empíricas de que a superposição é uma condição suficiente (embora não necessária) para a vulnerabilidade adversária. Representações não ortogonais criam interferência explorável, complementando explicações existentes baseadas em propriedades de dados ou fatores arquitetônicos.
3. Validação em Configurações Realistas: O estudo valida que as assinaturas geométricas previstas pela teoria aparecem em configurações realistas (ViTs em datasets padrão), demonstrando que a interferência da cabeça de classificação governa a estrutura de ataque no espaço de entrada mesmo em redes profundas e complexas.

Principais Resultados

1. Exploração de Interferência

Em configurações sintéticas, ataques baseados em gradiente (PGD) exploram sistematicamente a interferência entre características superpostas.

• Alinhamento: As perturbações descobertas pelo PGD alinham-se fortemente com as perturbações teoricamente ótimas derivadas da geometria de interferência (Similaridade de Cosseno $> 0,92$ entre as configurações).
• Mecanismo: As perturbações não são arbitrárias; seu sinal e magnitude são determinados pelo alinhamento das características de entrada com o vetor de ataque latente. Características que interferem construtivamente com a classe alvo são amplificadas, enquanto aquelas que interferem com a origem são suprimidas.

2. Papel das Correlações de Entrada

As correlações de entrada restringem o arranjo geométrico dos vetores de características:

• Dados Não Correlacionados: Resultam em geometrias altamente variáveis entre sementes (seeds) aleatórias.
• Dados Correlacionados: Forçam as características para arranjos específicos e estáveis (ex: correlações globais fixam uma ordenação cíclica).
• Impacto: Correlações mais fortes reduzem os graus de liberdade geométricos, forçando diferentes inicializações em direção a arranjos semelhantes.

3. Transferibilidade de Ataque

A transferibilidade de ataque é governada por padrões de interferência compartilhados.

• Correlação: As taxas de transferência correlacionam-se fortemente com a similaridade geométrica.
  • Dados não correlacionados: ~5% de taxa de transferência.
  • Correlações pareadas: ~33% de taxa de transferência.
  • Correlações globais: ~98% de taxa de transferência.
• Explicação: Quando os modelos compartilham uma geometria de superposição semelhante, os padrões de interferência que foram construtivos no modelo de origem permanecem construtivos no modelo alvo, permitindo alta transferibilidade.

4. Validação em ViTs do Mundo Real

• Predição de Estrutura: Em ViTs com gargalos, o perfil de ataque no espaço de entrada (como os pixels são perturbados) correlaciona-se fortemente com o perfil de interferência no espaço latente (como os vetores de classe interferem). A correlação ($\bar{\rho}$) atinge 0,89 para gargalos apertados ($m/k=0,2$) e cai conforme o gargalo relaxa.
• Consistência: Os padrões de interferência são consistentes entre sementes aleatórias, refletindo a semântica dos dados (ex: classes semanticamente similares como 'gato' e 'cachorro' desenvolvem representações não ortogonais) em vez de ruído de otimização.
• Efeitos de Regularização: Mesmo sem gargalos explícitos, o aumento do decaimento de peso reduz a dimensão efetiva da rede, aumentando a magnitude da interferência e a vulnerabilidade ao ataque, sugerindo que a regularização padrão pode inadvertidamente criar vulnerabilidades adversárias.

Significância e Alegações

O artigo alega que a vulnerabilidade adversária pode ser um subproduto da compressão de representação da rede. Ao empacotar mais características do que dimensões, as redes introduzem padrões de interferência que os adversários podem explorar.

• Poder Preditivo: O framework oferece previsões testáveis: ataques devem alinhar-se com perturbações ótimas derivadas da geometria, e a transferibilidade deve ocorrer quando os modelos compartilham padrões de interferência semelhantes.
• Explicação Complementar: Este mecanismo não substitui as explicações existentes (ex: características não robustas ou curvatura da fronteira de decisão), mas as complementa ao fornecer um relato ao nível da representação de por que direções específicas são sensíveis.
• Implicações de Segurança: As descobertas sugerem que a dimensionalidade da representação e o grau de superposição são componentes críticos da segurança do modelo. Intervenções que alteram a geometria das características (ex: via regularização ou mudanças arquitetônicas) poderiam impactar significativamente a robustez.

Os autores mantêm-se modestos, observando que a superposição é suficiente, mas não necessária, para a vulnerabilidade, e que os mecanismos precisos podem variar por ataque e modelo. O trabalho foca em características com rótulos conhecidos, sendo necessário trabalho futuro para estender esses achados às camadas intermediárias via métodos de descoberta de características.