DiffAttack: Evasion Attacks Against Face Recognition via Latent Diffusion Models

Sintesi Tecnica: DiffAttack

Definizione del Problema

I sistemi di riconoscimento facciale (FR) deep, pur essendo efficaci per l'autenticazione e la sorveglianza, possiedono confini decisionali così stretti da essere vulnerabili ad attacchi avversari. I metodi avversari esistenti che prendono di mira la biometria facciale affrontano limitazioni significative:

• Attacchi basati sul rumore: Sebbene spesso impercettibili, mancano di robustezza contro le variazioni del mondo reale (es. cambiamenti di illuminazione) ed esibiscono una scarsa trasferibilità tra diversi modelli.
• Attacchi basati su patch: Introducono artefatti visivi vistosi, compromettendo la furtività e rendendoli inadatti per la condivisione di immagini naturali.
• Attacchi semantici/basati sul trucco: Pur migliorando la qualità percettiva, spesso dipendono da immagini di riferimento rigide, indizi semantici manuali o dataset di trucco su larga scala che introducono bias demografici e limitano la generalizzazione.
• Approcci basati su GAN: Tipicamente richiedono il riaddestramento per nuove identità target e sono vincolati dal manifold generativo della GAN.
• Esistenti metodi basati sulla diffusione: Approcci come DiffAM o Adv-Diffusion spesso si affidano all'ottimizzazione iterativa, al riaddestramento specifico per il target o a maschere euristiche rigide, portando ad artefatti di confine e una ridotta efficienza.

La sfida centrale è generare volti avversari che siano fotorealistici, allineati all'identità di un target e impercettibili agli osservatori umani, mantenendo un'alta trasferibilità verso diversi sistemi FR black-box non visti.

Metodologia: DiffAttack

Gli autori propongono DiffAttack, un nuovo framework che esegue la generazione avversaria tramite ottimizzazione nello spazio latente utilizzando un modello di diffusione latente congelato (nello specifico, Stable Diffusion v2.1).

Architettura Core e Processo

1. Codifica Latente: Un'immagine sorgente pulita ($x_{src}$) viene codificata in una rappresentazione latente ($z_{src}$) utilizzando un encoder VAE congelato.
2. Iniezione di Rumore: Una quantità fissa di rumore gaussiano viene aggiunta a un determinato timestep $t$ per creare un input latente rumoroso per il backbone U-Net.
3. U-Net aumentata con LoRA: Inve Instead di perfezionare i massicci parametri della U-Net, il framework inietta adattatori Low-Rank Adaptation (LoRA) specificamente nei layer di cross-attention (proiezioni Q, K, V). Queste matrici leggere e addestrabili sono ottimizzate per reindirizzare il processo di diffusione verso l'embedding dell'identità target.
4. Ciclo di Ottimizzazione:
   • La U-Net predice il rumore, permettendo la ricostruzione del latente pulito ($x_0$).
   • Il latente viene decodificato per generare il volto avversario nello spazio dei pixel.
   • Feedback Multi-Sorgente: Il volto generato viene passato attraverso un ensemble di modelli FR congelati (IR152, IRSE50, MobileFace) per calcolare la distanza di identità tra il volto avversario e un'identità target.
   • Backpropagation del Gradiente: I gradienti dai modelli FR vengono retropropagati esclusivamente ai pesi LoRA, raffinando iterativamente le caratteristiche avversarie finché la sorgente non viene identificata erroneamente come il target.

Funzione di Perdita (Loss Function)

L'ottimizzazione minimizza una perdita multi-obiettivo unificata ($L_{total}$):

• Perdita di Identità dell'Ensemble ($L_{id}$): Spinge l'embedding generato verso l'embedding target utilizzando una funzione hinge di similarità del coseno.
• Guida Direzionale ($L_{dir}$): Assicura che lo spostamento latente segua traiettorie semantiche di identità (sorgente $\to$ target) piuttosto che scorciatoie superficiali.
• Soppressione della Sorgente ($L_{src}$): Penalizza l'ottimizzatore per evitare di tornare all'identità originale della sorgente.

Armonizzazione Globale

A differenza dei metodi che utilizzano maschere di segmentazione rigide o blending localizzato, DiffAttack ottimizza la rappresentazione latente dell'intera immagine. Ciò consente ai prior generativi del modello di diffusione di armonizzare naturalmente lo spostamento di identità con lo sfondo, l'illuminazione e gli attributi periferici originali, eliminando aloni di confine e garantendo il fotorealismo.

Contributi Chiave

1. Nuovo Framework di Evasione nello Spazio Latente: Una pipeline unificata che esegue l'ottimizzazione nello spazio latente utilizzando layer di cross-attention aumentati con LoRA. Questo evita artefatti vistosi del rumore nello spazio dei pixel e riduce l'overhead computazionale rispetto al fine-tuning globale.
2. Trasferibilità Black-Box: Una strategia di ottimizzazione multi-sorgente che sfrutta il feedback white-box da diversi backbone FR surrogati (IR152, IRSE50, MobileFace). Il metodo inietta semantica avversaria che si generalizza a target non visti (es. FaceNet) senza accesso ai loro parametri interni.
3. Armonizzazione Latente Globale: Ottimizzando il segnale avversario attraverso l'intero spazio latente anziché utilizzare maschere localizzate, il framework assicura che lo spostamento di identità sia integrato fluidamente con il contesto circostante, evitando artefatti di confine.
4. Prestazioni allo Stato dell'Arte: Una valutazione estesa sui dataset FFHQ e CelebA-HQ dimostra prestazioni superiori rispetto ai metodi esistenti basati sul rumore, sul trucco o sulla semantica.

Risultati Sperimentali

Il framework è stato valutato sui dataset FFHQ e CelebA-HQ in un rigoroso setting black-box.

• Tasso di Successo dell'Attacco (ASR): DiffAttack ha raggiunto un nuovo stato dell'arte con un ASR medio dell'84,86% su molteplici modelli FR.
  • Ha superato i metodi tradizionali basati sul rumore di oltre il 15,28% e gli approcci basati sulla semantica di circa il 5,21%.
  • Si sono osservati tassi di successo specifici molto elevati contro MobileFace (95,03%) e IRSE50 (94,24%).
  • Quando si attaccava FaceNet come target black-box, l'ensemble surrogato consisteva in IR152, IRSE50 e MobileFace (escludendo FaceNet). Viceversa, quando si attaccava MobileFace, l'ensemble surrogato includeva FaceNet, IRSE50 e IR152.
• Qualità Percettiva:
  • SSIM: Ha ottenuto 0,961, indicando un'alta similarità strutturale con la sorgente.
  • PSNR: 24,54 dB, mostrando un inserimento sottile delle perturbazioni.
  • FID: 27,58, indicando che le immagini generate rimangono all'interno del manifold delle immagini naturali.
• Confronto Visivo: A differenza dei metodi basati sul rumore (che causano "ghosting") o dei metodi basati sul trucco (che spesso appaiono artificiali), DiffAttack preserva la texture, l'espressione e l'illuminazione originali della sorgente. Sebbene i punteggi di Face++ siano utilizzati nella Figura 1 per illustrare l'allineamento dell'identità, la valutazione formale si basa sui modelli IR152, IRSE50, MobileFace e FaceNet.

Significato e Dichiarazioni

Il paper sostiene che DiffAttack rappresenti un avanzamento significativo nella valutazione della sicurezza biometrica, dimostrando che l'ottimizzazione dello spazio latente con LoRA può generare esempi avversari che sono sia altamente efficaci contro i sistemi black-box, sia visivamente indistinguibili dalle fotografie reali per gli osservatori umani.

Gli autori sottolineano che il loro lavoro è destinato all'analisi della sicurezza difensiva e alla protezione della privacy. Rivelando queste vulnerabilità, la ricerca mira a informare lo sviluppo di sistemi di verifica biometrica più robusti, capaci di resistere a minacce avanzate derivanti dall'IA generativa. Lo studio aderisce rigorosamente alle linee guida etiche, utilizzando esclusivamente dataset di ricerca pubblici e astenendosi dal rilasciare pesi pre-addestrati specifici per l'impersonificazione individuale.