DiffAttack: Evasion Attacks Against Face Recognition via Latent Diffusion Models

Resumo Técnico: DiffAttack

Definição do Problema

Sistemas de reconhecimento facial (FR) profundos, embora eficazes para autenticação e vigilância, possuem fronteiras de decisão estreitas o suficiente para serem vulneráveis a ataques adversários. Métodos adversários existentes que visam a biometria facial enfrentam limitações significativas:

• Ataques baseados em ruído: Embora frequentemente imperceptíveis, carecem de robustez contra variações do mundo real (ex: mudanças de iluminação) e exibem baixa transferibilidade entre diferentes modelos.
• Ataques baseados em patches: Introduzem artefatos visuais conspícuos, comprometendo a furtividade e tornando-os inadequados para o compartilhamento de imagens naturais.
• Ataques semânticos/baseados em maquiagem: Embora melhorem a qualidade perceptual, frequentemente dependem de imagens de referência rígidas, pistas semânticas manuais ou conjuntos de dados de maquiagem de larga escala que introduzem viés demográfico e limitam a generalização.
• Abordagens baseadas em GAN: Estas tipicamente requerem o retreinamento para novas identidades alvo e são limitadas pelo manifold generativo da GAN.
• Métodos de Difusão existentes: Abordagens como DiffAM ou Adv-Diffusion frequentemente dependem de otimização iterativa, retreinamento específico para o alvo ou máscaras heurísticas rígidas, levando a artefatos de borda e redução de eficiência.

O desafio central é gerar faces adversárias que sejam fotorrealistas, alinhadas à identidade de um alvo e imperceptíveis para observadores humanos, mantendo uma alta transferibilidade através de diversos sistemas de FR black-box não vistos.

Metodologia: DiffAttack

Os autores propõem o DiffAttack, um novo framework que realiza a geração adversária via otimização no espaço latente utilizando um Modelo de Difusão Latente congelado (especificamente o Stable Diffusion v2.1).

Arquitetura Central e Processo

1. Codificação Latente: Uma imagem de origem limpa ($x_{src}$) é codificada em uma representação latente ($z_{src}$) usando um codificador VAE congelado.
2. Injeção de Ruído: Uma quantidade fixa de ruído Gaussiano é adicionada em um timestep $t$ específico para criar uma entrada latente ruidosa para o backbone U-Net.
3. U-Net Aumentada com LoRA: Em vez de realizar o ajuste fino dos massivos parâmetros da U-Net, o framework injeta adaptadores Low-Rank Adaptation (LoRA) especificamente nas camadas de atenção cruzada (projeções Q, K, V). Estas matrizes leves e treináveis são otimizadas para redirecionar o processo de difusão em direção ao embedding da identidade alvo.
4. Loop de Otimização:
   • A U-Net prevê o ruído, permitindo a reconstrução do latente limpo ($x_0$).
   • O latente é decodificado para gerar a face adversária no espaço de pixels.
   • Feedback de Múltiplas Fontes: A face gerada é passada por um ensemble de modelos de FR congelados (IR152, IRSE50, MobileFace) para calcular a distância de identidade entre a face adversária e uma identidade alvo.
   • Retropropagação de Gradiente: Os gradientes dos modelos de FR são retropropagados exclusivamente para os pesos LoRA, refinando iterativamente as características adversárias até que a origem seja identificada erroneamente como o alvo.

Função de Perda

A otimização minimiza uma perda multi-objetivo unificada ($L_{total}$):

• Perda de Identidade de Ensemble ($L_{id}$): Empurra o embedding gerado em direção ao embedding alvo usando uma função de dobradiça (hinge) de similaridade de cosseno.
• Guia Direcional ($L_{dir}$): Garante que o deslocamento latente siga trajetórias semânticas de identidade (origem $\to$ alvo) em vez de atalhos superficiais.
• Supressão de Origem ($L_{src}$): Penaliza o otimizador para evitar o retorno à identidade de origem.

Harmonização Global

Ao contrário de métodos que utilizam máscaras de segmentação rígidas ou blending localizado, o DiffAttack otimiza a representação latente da imagem completa. Isso permite que os priors generativos do modelo de difusão harmonizem naturalmente o deslocamento de identidade com o fundo, iluminação e atributos periféricos originais, eliminando halos de borda e garantindo o fotorrealismo.

Principais Contribuições

1. Novo Framework de Evasão no Espaço Latente: Um pipeline unificado que realiza a otimização no espaço latente usando camadas de atenção cruzada aumentadas com LoRA. Isso evita artefatos conspícuos de ruído no espaço de pixels e reduz o overhead computacional em comparação ao ajuste fino global.
2. Transferibilidade Black-Box: Uma estratégia de otimização de múltiplas fontes aproveitando o feedback white-box de diversos backbones de FR substitutos (IR152, IRSE50, MobileFace). O método injeta semânticas adversárias que se generalizam para alvos não vistos (ex: FaceNet) sem acesso aos seus parâmetros internos.
3. Harmonização Latente Global: Ao otimizar o sinal adversário através de todo o espaço latente em vez de usar máscaras localizadas, o framework garante que o deslocamento de identidade seja integrado perfeitamente ao contexto circundante, evitando artefatos de borda.
4. Desempenho de Estado da Arte: Avaliações extensas nos datasets FFHQ e CelebA-HQ demonstram desempenho superior sobre métodos existentes baseados em ruído, maquiagem e semântica.

Resultados Experimentais

O framework foi avaliado nos datasets FFHQ e CelebA-HQ sob um cenário estrito de black-box.

• Taxa de Sucesso de Ataque (ASR): O DiffAttack alcançou um novo estado da arte com uma média de ASR de 84,86% através de múltiplos modelos de FR.
  • Superou métodos tradicionais baseados em ruído em mais de 15,28% e abordagens baseadas em semântica em aproximadamente 5,21%.
  • Taxas de sucesso específicas altas foram observadas contra o MobileFace (95,03%) e IRSE50 (94,24%).
  • Ao atacar o FaceNet como o alvo black-box, o ensemble substituto consistiu em IR152, IRSE50 e MobileFace (excluindo o FaceNet). Inversamente, ao atacar o MobileFace, o ensemble substituto incluiu FaceNet, IRSE50 e IR152.
• Qualidade Perceptual:
  • SSIM: Alcançou 0,961, indicando alta similaridade estrutural com a origem.
  • PSNR: 24,54 dB, mostrando a incorporação sutil de perturbações.
  • FID: 27,58, indicando que as imagens geradas permanecem dentro do manifold de imagens naturais.
• Comparação Visual: Diferente dos métodos baseados em ruído (que causam "ghosting") ou métodos baseados em maquiagem (que muitas vezes parecem artificiais), o DiffAttack preserva a textura, expressão e iluminação originais da fonte. Embora as pontuações do Face++ sejam usadas na Figura 1 para ilustrar o alinhamento de identidade, as métricas formais de avaliação baseiam-se nos modelos IR152, IRSE50, MobileFace e FaceNet.

Significância e Alegações

O artigo afirma que o DiffAttack representa um avanço significativo na avaliação de segurança biométrica ao demonstrar que a otimização no espaço latente com LoRA pode gerar exemplos adversários que são tanto altamente eficazes contra sistemas black-box quanto visualmente indistinguíveis de fotografias genuínas para observadores humanos.

Os autores enfatizam que seu trabalho é destinado à análise de segurança defensiva e proteção de privacidade. Ao revelar essas vulnerabilidades, a pesquisa visa informar o desenvolvimento de sistemas de verificação biométrica mais robustos, capazes de resistir a ameações avançadas de IA generativa. O estudo adere estritamente às diretrizes éticas, utilizando apenas conjuntos de dados de pesquisa públicos e abstendo-se de liberar pesos pré-treinados específicos para personificação individual.