Low Rank Adaptation for Adversarial Perturbation

1. Formulação do Problema

O artigo aborda a ineficiência dos ataques adversariais de caixa preta, particularmente o número excessivo de consultas necessárias para gerar exemplos adversariais bem-sucedidos.

• Contexto: Ataques de caixa preta (onde o atacante não tem acesso aos gradientes ou pesos do modelo) representam o modelo de ameaça mais prático, mas sofrem com altos custos de consulta. Isso gera encargos financeiros ao visar APIs comerciais e dispara sistemas de detecção de intrusão.
• Lacuna: Embora a Adaptação de Baixo RANK (LoRA) tenha revolucionado a eficiência do ajuste fino de Modelos de Linguagem de Grande Porte (LLMs) ao assumir que as atualizações do modelo residem em um subespaço de baixa dimensão, permanece uma questão em aberto se as perturbações adversariais (as atualizações de entrada) compartilham essa propriedade de baixo rank. Trabalhos existentes exploraram propriedades de baixo rank em dados naturais, mas não forneceram uma análise teórica ou empírica sistemática das próprias perturbações.
• Desafio: Em um cenário de caixa preta, o atacante não pode acessar diretamente os gradientes do modelo vítima para decompô-los em matrizes de baixo rank (como feito no LoRA para pesos), tornando difícil construir um espaço de busca de baixo rank.

2. Metodologia

Os autores propõem um novo framework que aproveita a estrutura intrínseca de baixo rank das perturbações adversariais para melhorar a eficiência do ataque. A metodologia consiste em três componentes principais:

A. Validação Teórica e Empírica

• Teoria: Os autores provam que, para um classificador de rede neural $f$, a perturbação mínima $\delta$ necessária para inverter uma decisão de classificação reside no espaço linha da matriz Jacobiana $J(x)$. Como a dimensão de saída (número de classes $C$) é muito menor que a dimensão de entrada $d$ ($C \ll d$), a perturbação $\delta$ é inerentemente de baixo rank (rank $\le C$).
• Análise Empírica: Utilizando Decomposição em Valores Singulares (SVD) em perturbações geradas por vários ataques (PGD, C&W) em diferentes arquiteturas (ResNet, ViT, EfficientNet) e conjuntos de dados (ImageNet, CUB-200), eles demonstram que ~70-80% da mudança de magnitude relativa nos valores singulares está concentrada perto de zero. Isso confirma que as perturbações ocupam um pequeno subconjunto de direções dominantes.

B. Construção de Subespaço de Baixo Rank (Cenário de Caixa Preta)

Para superar a falta de acesso direto aos gradientes em cenários de caixa preta, os autores propõem um método de construção de subespaço transferível:

1. Dados Auxiliares e Modelo de Referência: O atacante utiliza um conjunto de dados auxiliar (que pode ter rótulos/distribuições diferentes da vítima) e um modelo de referência pré-treinado (arquitetura diferente) para gerar vetores de gradiente.
2. Filtragem por Explicabilidade: Para mitigar o ruído nos gradientes de referência, aplicam-se técnicas de Aprendizado de Máquina Explicável (XAI) (por exemplo, GradCAM, SHAP, LIME) para criar "máscaras salientes". Essas máscaras destacam características críticas, permitindo que o sistema se concentre nos componentes de gradiente mais relevantes.
3. Treinamento de Autoencoder (AE): Um Autoencoder baseado em U-Net é treinado para mapear os vetores de gradiente de alta dimensão (filtrados por máscaras) para um espaço latente de baixa dimensão e reconstruí-los. O espaço latente representa o Subespaço de Baixo Rank.

C. Ataque Adversarial de Baixo Rank

O subespaço construído é integrado a ataques de caixa preta existentes (baseados em pontuação e baseados em decisão):

• Mecanismo: Em vez de amostrar vetores de perturbação aleatórios no espaço de entrada completo de alta dimensão, o ataque amostra vetores aleatórios dentro do espaço latente de baixa dimensão aprendido.
• Projeção: Esses vetores latentes são decodificados de volta ao espaço original de alta dimensão usando o decodificador treinado.
• Otimização: O ataque prossegue estimando gradientes e atualizando a perturbação estritamente dentro desse subespaço de baixo rank restrito, reduzindo significativamente o espaço de busca e melhorando a velocidade de convergência.

3. Principais Contribuições

1. Prova Teórica: Primeira prova teórica demonstrando que perturbações adversariais possuem inerentemente uma estrutura de baixo rank devido à lacuna de dimensionalidade entre o espaço de entrada e as classes de saída.
2. Evidência Empírica: Análise abrangente de SVD em diversos modelos, conjuntos de dados e tipos de ataque confirmando a natureza de baixo rank das perturbações.
3. Novo Framework: Um framework de ataque de caixa preta que constrói um subespaço de baixo rank transferível usando dados auxiliares, modelos de referência e técnicas de XAI, sem necessidade de acesso aos gradientes internos do modelo vítima.
4. Ganhos de Desempenho: Demonstrou melhorias significativas tanto na eficácia do ataque (menor distorção) quanto na eficiência (menos consultas) em comparação com baselines do estado da arte.

4. Resultados Experimentais

O framework foi avaliado nos conjuntos de dados ImageNet, CUB-200 e Stanford Cars usando modelos como ResNet-50, EfficientNet e ViT.

• Eficiência de Consultas: Em ataques baseados em decisão (por exemplo, HSJA) no conjunto de dados CUB-200, o método de baixo rank reduziu o número de consultas necessárias para diminuir a robustez do modelo de 1,0 para 0,66 em 90% (de ~10.000 consultas para <1.000) em comparação com ataques ingênuos.
• Redução de Distorção: O método alcançou distorção $L_2$ significativamente menor. Por exemplo, no CUB-200 com HSJA, a distorção mediana caiu de 2,64 (ingênuo) para 0,82 (baixo rank com GradCAM).
• Robustez a Incompatibilidade: O ataque permaneceu altamente eficaz mesmo quando o conjunto de dados auxiliar (por exemplo, imagens faciais) e o modelo de referência diferiam significativamente do modelo vítima (por exemplo, classificação de pássaros), provando a transferibilidade do subespaço de baixo rank.
• Estudos de Ablação:
  • Autoencoder vs. PCA: O Autoencoder não linear superou significativamente a PCA linear, capturando padrões de gradiente complexos.
  • Integração XAI: O uso de máscaras de gradiente (XAI) para treinar o AE produziu melhores resultados do que o uso de gradientes brutos isoladamente.
  • Modelos Robustos: O método atacou com sucesso modelos treinados adversarialmente (TRADES, Distillation, etc.), reduzindo significativamente sua precisão robusta.

5. Significado

• Perspectiva de Ataque: Este trabalho fornece uma ferramenta poderosa para avaliar a verdadeira segurança de sistemas de caixa preta. Ao reduzir drasticamente os custos de consulta, torna-se viável testar APIs comerciais que anteriormente eram muito caras ou arriscadas para sondar extensivamente.
• Perspectiva de Defesa: As descobertas sugerem que o treinamento adversarial pode ser tornado mais eficiente. Ao restringir a geração de exemplos adversariais a um subespaço de baixo rank durante o treinamento, a sobrecarga computacional e de memória (frequentemente 3x o treinamento padrão) pode ser significativamente reduzida.
• Insight Teórico: A obra preenche a lacuna entre o ajuste fino eficiente em parâmetros (LoRA) e o aprendizado de máquina adversarial, estabelecendo que o fenômeno de "baixo rank" é uma propriedade fundamental da otimização em espaços de redes neurais de alta dimensão, aplicável tanto a atualizações de pesos quanto a perturbações de entrada.