Riepilogo Tecnico: Adv-TGD: Adversarial Text-Guided Diffusion per Attacchi di Impersonificazione del Riconoscimento Facciale

1. Definizione del Problema

La diffusione capillare dei sistemi di Riconoscimento Facciale (FR) nell'autenticazione, nella sorveglianza e nei social media ha sollevato significative preoccupazioni relative alla privacy, abilitando potenziali furti di identità e sorveglianza non autorizzata. Sebbene siano stati sviluppati attacchi avversari per esporre le vulnerabilità di questi sistemi, i metodi esistenti affrontano un compromesso tra efficacia dell'attacco e realismo visivo.

• Attacchi basati su rumore e patch: Spesso producono artefatti visibili, rendendoli inadatti per la condivisione di immagini naturali.
• Editing basato su GAN: Ha migliorato il realismo ma ha sofferto di una limitata generalizzazione e richiedeva un riaddestramento specifico per il target.
• Attacchi basati su diffusione: Recenti lavori (ad es., DiffProtect, Adv-Diffusion, Adv-CPG) offrono un alto realismo ma tipicamente si affidano a un'ottimizzazione iterativa e a un fine-tuning specifico per il target, limitandone l'efficienza e l'editabilità.

Gli autori propongono Adv-TGD, un framework progettato per generare immagini facciali fotorealistiche che riescano a impersonare identità target per ingannare molteplici modelli FR, preservando al contempo un'alta fedeltà visiva e la coerenza strutturale con l'immagine sorgente.

2. Metodologia

Adv-TGD si basa su Stable Diffusion v2.1 e impiega una strategia di fine-tuning per-campione, per-coppia LoRA (Low-Rank Adaptation). L'innovazione principale risiede nell'ottimizzazione di adattatori di cross-attention leggeri per ogni coppia di identità sorgente-target all'interno di un processo di denoising a singolo step, anziché fare affidamento su un'ottimizzazione iterativa multi-step.

Componenti Chiave:

• Mascheramento Semantico Guidato dalla Salienza (SGSM): Una strategia di mascheramento ibrida che fonde prior anatomici (convex hull di occhi, naso, bocca, mascella) con mappe di salienza del gradiente d'insieme derivate dai modelli FR. Questa maschera localizza le modifiche nelle regioni critiche per l'identità, mantenendole rigorosamente entro l'anatomia facciale per prevenire artefatti di sfondo ("ghosting").
• Generazione Automatica di Prompt Semantici: Il framework utilizza LLaVA (Large Language and Vision Assistant) per generare automaticamente prompt testuali descrittivi a partire dall'immagine target. Questi prompt catturano attributi di alto livello (acconciatura, accessori, struttura facciale) per guidare il modello di diffusione, eliminando la necessità di prompt engineering manuale.
• Ottimizzazione LoRA a Singolo Step: Per ogni coppia sorgente-target, gli adattatori LoRA sono inseriti nelle proiezioni di cross-attention della U-Net ($to\_q, to\_k, to\_v, to\_out.0$). Il VAE, il text encoder e la U-Net base rimangono congelati. L'ottimizzazione avviene in un singolo step di denoising utilizzando una frazione di indice di diffusione fissa.
• Obiettivo Avversario Unificato: La funzione di perdita di addestramento è un composito di:
  1. Ricostruzione $\epsilon$-MSE Mascherata: Restringe il denoising alla regione latente del volto.
  2. Divergenza di Identità Soglia-dipendente: Spinge la similarità dell'embedding generato verso il target sopra una soglia di verifica (utilizzando una loss hinge softmin su un ensemble di modelli FR).
  3. Allineamento delle Caratteristiche Direzionali: Incoraggia lo spostamento dell'identità a seguire il vettore dal sorgente al target nello spazio degli embedding, evitando derive casuali.
  4. Soppressione della Similarità con la Sorgente: Impedisce all'ottimizzatore di regredire verso l'identità sorgente.
  5. Guida Testuale a Fase Tarda: Una loss basata su CLIP applicata nelle iterazioni finali per mantenere la coerenza degli attributi (es. colore dei capelli) senza reintrodurre indizi di identità.
• Post-Processing: Per garantire il fotorealismo, il metodo impiega l'allineamento inverso per mappare il volto modificato sulla posa originale e il clonaggio senza cuciture (Poisson/Normal Clone) per fondere il risultato nello sfondo sorgente, rimuovendo artefatti di bordo e variazioni di tono.

3. Contributi Principali

Il documento delinea i seguenti contributi primari:

1. Diffusione Avversaria Condizionata dal Testo: Un framework che sfrutta la guida del linguaggio naturale e adattatori LoRA leggeri per generare identità avversarie visivamente coerenti e spostate in un singolo step.
2. Prompting Semantico Automatico: Integrazione di LLaVA per generare prompt descrittivi granulari automaticamente, migliorando la coerenza degli attributi e rimuovendo l'intervento manuale.
3. Mascheramento Semantico Guidato dalla Salienza (SGSM): Una nuova strategia di mascheramento ibrida che combina prior anatomici con la salienza del gradiente per ottenere una localizzazione dell'identità precisa e continua senza annotazione manuale.
4. Obiettivo Avversario Unificato: Una funzione di perdita composita ben principiata che bilancia il denoising mascherato, l'allineamento dell'identità, la soppressione della sorgente e la coerenza semantica per massimizzare la dispersione dell'attenzione spaziale nei modelli FR.
5. Generalizzazione Cross-Architettura: Dimostrazione che il framework è indipendente dall'architettura, estendendosi con successo ai modelli basati su UNet (Stable Diffusion 1.5/2.1) e modelli basati su transformer (FLUX.1), così come a compiti di classificazione di oggetti generali.
6. Realismo e Robustezza: Raggiungimento di prestazioni di impersonificazione allo stato dell'arte (SOTA) mantenendo un'alta fedeltà visiva (PSNR = 27.15 dB, SSIM = 0.981).

4. Risultati Sperimentali

Gli autori hanno valutato Adv-TGD in un setting di trasferimento black-box contro quattro modelli FR robusti: IR152, IRSE50, MobileFace e FaceNet.

• Tasso di Successo dell'Attacco (ASR): Adv-TGD ha ottenuto un ASR medio dell'85.90% attraverso i modelli testati. Questo supera il baseline semantico SOTA (Adv-CPG) di +6.25 punti, il metodo di makeup basato su diffusione (DiffAIM) di +3 punti e il metodo basato su rumore P3-Mask di +16 punti.
• Fedeltà Visiva: Il metodo ha raggiunto un PSNR di 27.15 dB e un SSIM di 0.981, superando i baseline nella preservazione strutturale e nella coerenza a livello di pixel, elementi critici per una fusione senza cuciture.
• Valutazione API Commerciale: Testato contro l'API di verifica commerciale Face++, Adv-TGD ha generato costantemente immagini con punteggi di confidenza più elevati per la verifica dell'identità target rispetto ad altri metodi.
• Generalizzazione:
  • In-the-Wild: Applicato con successo al dataset LADN (varianti di makeup, illuminazione, posa), mantenendo un forte ASR.
  • Classificazione di Oggetti: Esteso per attaccare modelli di classificazione ImageNet (ResNet-50), dimostrando universalità oltre il riconoscimento facciale.
  • Architettura: Validato su Stable Diffusion 1.5 e FLUX.1 (flow matching basato su transformer), confermando l'adattabilità del metodo a diversi backbone generativi.

5. Significato e Rivendicazioni

Il documento afferma che Adv-TGD rappresenta un paradigma pratico ed efficace per la manipolazione facciale avversaria. Il suo significato risiede nel:

• Unificare Controllabilità e Realismo: Bilancia con successo la controllabilità semantica (tramite testo e LoRA), il fotorealismo e la robustezza contro il riconoscimento facciale non autorizzato, affrontando i limiti dei precedenti attacchi iterativi o visivamente intrusivi.
• Rivelare Vulnerabilità Sistemiche: I risultati evidenziano una vulnerabilità precedentemente poco esplorata nei moderni sistemi FR contro attacchi di diffusione generativa, in particolare quelli che utilizzano l'adattamento localizzato guidato dal testo.
• Efficienza: Utilizzando il fine-tuning LoRA a singolo step, il framework offre un'alternativa più efficiente ai metodi di ottimizzazione iterativa multi-step.
• Intuizione Difensiva: Gli autori pongono questo lavoro come uno strumento per comprendere le vulnerabilità al fine di migliorare la robustezza dei sistemi biometrici, notando che l'attacco mira alle caratteristiche strutturali a bassa-media frequenza per disperdere l'attenzione spaziale del modello FR.

Gli autori concludono che l'adattamento LoRA per coppia, guidato dal testo, offre un approccio unificato all'impersonificazione avversaria che è al contempo spiegabile ed altamente efficace, rendendo necessaria lo sviluppo di difese biometriche più robuste contro gli attacchi generativi.