Resumo Técnico: Adv-TGD: Difusão Adversária Guiada por Texto para Ataques de Personificação de Reconhecimento Facial

1. Definição do Problema

A implantação generalizada de sistemas de Reconhecimento Facial (FR) em autenticação, vigilância e redes sociais levantou preocupações significativas de privacidade, permitindo potenciais roubos de identidade e vigilância não autorizada. Embora ataques adversários tenham sido desenvolvidos para expor vulnerabilidades nesses sistemas, os métodos existentes enfrentam um compromisso entre eficácia do ataque e realismo visual.

• Ataques baseados em ruído e em patches: Frequentemente produzem artefatos visíveis, tornando-os inadequados para o compartilhamento de imagens naturais.
• Edição baseada em GAN: Melhorou o realismo, mas sofreu com generalização limitada e exigiu retreinamento específico para o alvo.
• Ataques baseados em difusão: Trabalhos recentes (ex: DiffProtect, Adv-Diffusion, Adv-CPG) oferecem alto realismo, mas normalmente dependem de otimização iterativa e ajuste fino específico para o alvo, limitando a eficiência e a editabilidade.

Os autores propõem o Adv-TGD, um framework projetado para gerar imagens faciais fotorrealistas que personificam com sucesso identidades de alvo para enganar múltiplos modelos de FR, preservando simultaneamente alta fidelidade visual e consistência estrutural com a imagem de origem.

2. Metodologia

O Adv-TGD é construído sobre o Stable Diffusion v2.1 e emprega uma estratégia de ajuste fino de LoRA (Low-Rank Adaptation) por amostra e por par. A inovação central reside na otimização de adaptadores de atenção cruzada leves para cada par de identidade origem–alvo dentro de um processo de denoising de etapa única, em vez de depender de otimização iterativa de múltiplos passos.

Componentes Principais:

• Mascaramento Semântico Guiado por Saliência (SGSM): Uma estratégia de mascaramento híbrida que funde priors de marcos anatômicos (convex hulls de olhos, nariz, boca, mandíbula) com mapas de saliência de gradiente de conjunto derivados de modelos de FR. Esta máscara localiza as edições em regiões críticas de identidade enquanto as restringe estritamente dentro da anatomia facial para evitar artefatos de fundo ("ghosting").
• Geração Automática de Prompts Semânticos: O framework utiliza o LLaVA (Large Language and Vision Assistant) para gerar automaticamente prompts de texto descritivos a partir da imagem de alvo. Esses prompts capturam atributos de alto nível (estilo de cabelo, acessórios, estrutura facial) para guiar o modelo de difusão, eliminando a necessidade de engenharia de prompt manual.
• Otimização LoRA de Etapa Única: Para cada par origem–alvo, adaptadores LoRA são inseridos nas projeções de atenção cruzada do U-Net ($to\_q, to\_k, to\_v, to\_out.0$). O VAE, o codificador de texto e o U-Net base permanecem congelados. A otimização ocorre em um único passo de denoising usando uma fração de índice de difusão fixa.
• Objetivo Adversário Unificado: A perda de treinamento é um composto de:
  1. Reconstrução $\epsilon$-MSE Mascarada: Restringe o denoising à região latente facial.
  2. Divergência de Identidade com Limiar: Empurra a similaridade do embedding gerado para acima de um limiar de verificação (usando uma perda de charneira softmin sobre um conjunto de modelos de FR).
  3. Alinhamento de Características Direcional: Incentiva o deslocamento de identidade a seguir o vetor da origem para o alvo no espaço de embedding, evitando deriva aleatória.
  4. Supressão de Similaridade de Origem: Impede que o otimizador reverta para a identidade de origem.
  5. Guia de Texto de Estágio Tardio: Uma perda baseada em CLIP aplicada em iterações posteriores para manter a consistência de atributos (ex: cor do cabelo) sem reintroduzir pistas de identidade.
• Pós-processamento: Para garantir o fotorrealismo, o método emprega alinhamento inverso para mapear o rosto editado de volta à pose original e clonagem sem costuras (Poisson/Normal Clone) para mesclar o resultado ao fundo de origem, removendo artefatos de borda e mudanças de tom.

3. Principais Contribuições

O artigo delineia as seguintes contribuições primárias:

1. Difusão Adversária Condicionada por Texto: Um framework que aproveita a orientação de linguagem natural e adaptadores LoRA leves para gerar identidades adversariamente deslocadas e visualmente coerentes em um único passo.
2. Prompting Semântico Automático: Integração do LLaVA para gerar prompts descritivos detalhados automaticamente, melhorando a consistência de atributos e removendo a intervenção manual.
3. Mascaramento Semântico Guiado por Saliência (SGSM): Uma nova estratégia de mascaramento híbrido que combina priors anatômicos com saliência de gradiente para alcançar uma localização de identidade contígua e precisa sem anotação manual.
4. Objetivo Adversário Unificado: Uma função de perda composta principista que equilibra denoising mascarado, alinhamento de identidade, supressão de origem e consistência semântica para maximizar a dispersão da atenção espacial em modelos de FR.
5. Generalização de Arquitetura: Demonstração de que o framework é agnóstico à arquitetura, estendendo-se com sucesso para modelos baseados em UNet (Stable Diffusion 1.5/2.1) e modelos baseados em transformer (FLUX.1), bem como tarefas de classificação de objetos gerais.
6. Realismo e Robustez: Alcance de estado da arte em desempenho de personificação mantendo alta fidelidade visual (PSNR = 27.15 dB, SSIM = 0.981).

4. Resultados Experimentais

Os autores avaliaram o Adv-TGD sob um cenário de transferência de caixa preta (black-box) contra quatro modelos robustos de FR: IR152, IRSE50, MobileFace e FaceNet.

• Taxa de Sucesso do Ataque (ASR): O Adv-TGD alcançou um ASR médio de 85,90% nos modelos testados. Isso supera a linha de base de SOTA semântica (Adv-CPG) em +6,25 pontos, o método de maquiagem baseado em difusão (DiffAIM) em +3 pontos e o P3-Mask baseado em ruído em +16 pontos.
• Fidelidade Visual: O método alcançou um PSNR de 27,15 dB e um SSIM de 0,981, superando as linhas de base em preservação estrutural e consistência de pixel, o que é crítico para uma mesclagem perfeita.
• Avaliação de API Comercial: Quando testado contra a API de verificação comercial Face++, o Adv-TGD gerou consistentemente imagens com pontuações de confiança mais altas para a verificação de identidade de alvo em comparação com outros métodos.
• Generalização:
  • In-the-Wild: Aplicado com sucesso ao dataset LADN (variando maquiagem, iluminação, pose), mantendo um forte ASR.
  • Classificação de Objetos: Estendido para atacar modelos de classificação ImageNet (ResNet-50), demonstrando universalidade além do reconhecimento facial.
  • Arquitetura: Validado no Stable Diffusion 1.5 e FLUX.1 (flow matching baseado em transformer), confirmando a adaptabilidade do método a diferentes backbones generativos.

5. Significância e Alegações

O artigo afirma que o Adv-TGD representa um paradigma prático e eficaz para manipulação facial adversária. Sua significância reside em:

• Unificar Controlabilidade e Realismo: Ele equilibra com sucesso a controlabilidade semântica (via texto e LoRA), o fotorrealismo e a robustez contra FR não autorizado, abordando as limitações de ataques anteriores iterativos ou visualmente intrusivos.
• Revelar Vulnerabilidades Sistêmicas: Os resultados destacam uma vulnerabilidade pouco explorada nos sistemas modernos de FR contra ataques de difusão generativa, particularmente aqueles que utilizam adaptação localizada guiada por texto.
• Eficiência: Ao utilizar o ajuste fino LoRA de etapa única, o framework oferece uma alternativa mais eficiente aos métodos de otimização iterativa de múltiplos passos.
• Insight Defensivo: Os autores posicionam o trabalho como uma ferramenta para compreender vulnerabilidades para melhorar a robustez dos sistemas biométricos, observando que o ataque visa características estrutais de baixa a média frequência para dispersar a atenção espacial do modelo de FR.

Os autores concluem que a adaptação LoRA por par, guiada por texto, oferece uma abordagem unificada para a personificação adversária que é tanto explicável quanto altamente eficaz, necessitando do desenvolvimento de defesas biométricas mais robustas contra ataques generativos.