Riepilogo Tecnico: Il Backbone è Tutto Ciò di cui hai Bisogno

Enunciato del Problema

Il rapido avanzamento delle immagini sintetiche generate dall'intelligenza artificiale ha reso necessaria la creazione di sistemi di rilevamento robusti. Sebbene i Vision Transformers (ViT) siano diventati la pietra angolare del rilevamento moderno dei deepfake grazie alla loro capacità di generalizzare su classi di generatori mai viste, una vulnerabilità critica rimane in gran parte inesplorata. La maggior parte dei rilevatori attuali si basa su backbone ViT pre-addestrati e congelati, con solo una testa di classificazione superficiale addestrata per il compito specifico.

La ricerca esistente sugli attacchi avversariali si è concentrata principalmente su attacchi white-box (accesso completo a pesi e logits del modello) o sulla trasferibilità tra diverse architetture. Tuttavia, la specifica vulnerabilità degli attacchi gray-box—in cui un avversario possiede la conoscenza del backbone ViT congelato ma non ha accesso alla testa di classificazione del rilevatore target, ai dati di addestramento o alle strategie di aumento specifiche—è stata trascurata. Questo lavoro sostiene che la conoscenza del backbone da sola possa essere sufficiente a compromettere l'affidabilità del rilevatore.

Metodologia: Attacco Avversariale Iterativo con Surrogato (SIAA)

Gli autori propongono l'Attacco Avversariale Iterativo con Surrogato (SIAA), un attacco gray-box progettato per operare interamente nello spazio delle caratteristiche del rilevatore target. L'attacco assume la conoscenza solo del backbone ViT pre-addestrato e dei suoi pesi.

La metodologia è implementata in due fasi distinte:

Fase 1: Addestramento della Testa di Elaborazione delle Caratteristiche (FP) Surrogata

Per colmare il divario tra la testa di classificazione target sconosciuta e il backbone noto, gli autori addestrano un modello surrogato costituito da:

1. Componenti Congelati: Il backbone ViT target ($F(\cdot)$) e il codificatore di testo CLIP ($G(\cdot)$).
2. Componente Addestrabile: Una Testa di Elaborazione delle Caratteristiche (FP) ($H(\cdot)$) composta da due rami lineari:
   • $L_t$: Elabora gli embedding di testo derivati dai prompt (es. "L'immagine è reale" vs "L'immagine è falsa").
   • $L_v$: Elabora le caratteristiche visive estratte dal backbone ViT.

La Testa FP viene addestrata utilizzando una perdita di contrasto multi-termine per allineare le caratteristiche visive ($v'$) e le caratteristiche testuali ($t'$) in uno spazio di embedding condiviso. L'obiettivo è approssimare i confini decisionali della testa di classificazione target sconosciuta raggruppando le caratteristiche visive attorno ai loro corrispondenti embedding testuali. La funzione di perdita include:

• $L_{pull}$: Minimizza la distanza tra le caratteristiche visive e gli embedding di testo ground-truth.
• $L_{push}$: Impone un margine contro gli embedding di testo della classe avversaria.
• $L_{text}$: Garantisce la separazione tra i due cluster di embedding testuali.

Fase 2: Distribuzione e Ottimizzazione della Perturbazione

Una volta addestrata la Testa FP, l'attacco genera esempi avversariali senza accedere ai logits del target.

• Funzione Obiettivo: Invece di massimizzare l'entropia incrociata sui logits, SIAA ottimizza un obiettivo personalizzato basato sulla distanza $J$ nello spazio delle caratteristiche surrogato:
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  Massimizzare $J$ spinge la rappresentazione visiva lontano dalla classe ground-truth e verso la classe target avversaria.
• Ottimizzazione: Un algoritmo di Discesa del Gradiente Proiettato (PGD) aggiorna iterativamente l'immagine di input $I_j$ per massimizzare $J$, soggetto a un vincolo di norma $\ell_\infty$ ($\epsilon = 8/255$) per garantire l'imperscrutabilità.

Contributi Chiave

1. Nuovo Vettore di Attacco: Introduzione di SIAA, il primo attacco gray-box specificamente progettato per sfruttare i backbone ViT congelati nella forense delle immagini sintetiche senza richiedere la conoscenza della testa di classificazione.
2. Sfruttamento dello Spazio delle Caratteristiche: Dimostrazione che le perturbazioni avversariali possono essere ottimizzate efficacemente in uno spazio di caratteristiche surrogato allineato tramite apprendimento di contrasto testo-immagine, aggirando la necessità di accesso ai logits.
3. Valutazione Completa: Valutazione sistematica dell'attacco sotto diversi livelli di conoscenza gray-box, inclusi scenari di apprendimento con pochi esempi, aumentazioni dei dati sconosciute e disallineamento dei dataset.
4. Analisi della Trasferibilità: Valutazione della trasferibilità cross-modello tra diversi backbone ViT (CLIP, Swin, DINOv2).

Risultati Sperimentali

Gli autori hanno valutato SIAA contro rilevatori basati sui backbone CLIP, Swin e DINOv2 utilizzando il dataset Synthbuster.

• Prestazioni rispetto alle Baseline: SIAA ha superato significativamente le esistenti baseline gray-box (PGD-ViT e una variante lineare PGD-L).
  • Contro i rilevatori CLIP e Swin, SIAA ha raggiunto Tassi di Successo dell'Attacco (ASR) di 1.00 e 0.99 rispettivamente, con AUC post-attacco vicini a 0.00, eguagliando efficacemente le prestazioni degli attacchi white-box PGD.
  • Contro DINOv2, SIAA ha raggiunto un ASR di 0.56. Gli autori attribuiscono la maggiore resilienza di DINOv2 ai suoi obiettivi di addestramento auto-supervisionati e all'uso di token di registro, che creano un paesaggio di perdita più regolare.
• Robustezza al Disallineamento (Studi di Ablazione):
  • Variazioni della Testa di Classificazione: SIAA ha mantenuto un ASR $\geq 0.98$ anche quando la profondità della testa di classificazione del rilevatore target variava (1, 2 o 3 livelli).
  • Apprendimento con Pochi Esempi: Con soli 100 campioni di addestramento reali e 100 falsi, SIAA ha raggiunto un ASR di 0.985.
  • Aumento Sconosciuto: Quando le strategie di aumento dei dati erano sconosciute, l'ASR è rimasto alto a 0.96.
  • Disallineamento del Dataset: Nello scenario più restrittivo (dataset di addestramento diverso e aumento sconosciuto), SIAA ha comunque raggiunto un ASR di 0.70, attaccando con successo oltre il 50% delle immagini classificate correttamente.
• Trasferibilità:
  • Le perturbazioni ottimizzate su CLIP o Swin si sono trasferite bene l'una all'altra (ASR $\approx 0.56$).
  • Le perturbazioni ottimizzate su DINOv2 hanno mostrato una trasferibilità moderata verso CLIP (ASR 0.31) e Swin (ASR 0.28), nonostante DINOv2 fosse altamente resistente come target.

Significato e Affermazioni

Il lavoro afferma che la dipendenza da modelli fondazionali congelati nella forense delle immagini sintetiche introduce una "vulnerabilità sottile ma critica". La scoperta principale è che la conoscenza del backbone da sola è sufficiente a minare l'affidabilità del rilevatore, spesso producendo tassi di successo dell'attacco comparabili a quelli degli attacchi white-box.

Gli autori sottolineano che questa vulnerabilità persiste anche in condizioni di totale disallineamento riguardo ai dati di addestramento, all'aumento e all'architettura della testa di classificazione. Di conseguenza, il lavoro sostiene la necessità urgente di sviluppare difese più resilienti che non facciano affidamento esclusivamente sull'assunzione che nascondere la testa di classificazione fornisca una sicurezza adeguata. Il lavoro evidenzia che lo spazio delle caratteristiche dei ViT congelati, quando allineato con prompt semantici, è abbastanza prevedibile da essere sfruttato da avversari con accesso limitato.