Mitigating Hierarchical Shortcut Reliance in Frozen CLIP for Cross-Generator AI-Generated Image Detection

Sintesi Tecnica: Mitigazione della dipendenza da scorciatoie gerarchiche in CLIP congelato per il rilevamento di immagini generate da IA cross-generatore

1. Definizione del problema

Il rilevamento di immagini generate da IA (AIGI) affronta una sfida critica nella generalizzazione cross-generatore. Mentre i rilevatori spesso ottengono buone prestazioni sui generatori visti durante l'addestramento, la loro affidabilità degrada significativamente quando testati su generatori non visti. Le spiegazioni esistenti per questo fallimento si concentrano spesso su una copertura di addestramento limitata, artefatti specifici del generatore o segnali di basso livello instabili. Tuttavia, questo articolo sostiene che la causa primaria sia la dipendenza da scorciatoie gerarchiche (hierarchical shortcut reliance): un fenomeno in cui un rilevatore si affida eccessivamente a un piccolo set di strati discriminativi ma debolmente trasferibili all'interno di un Vision Transformer (ViT), sottoutilizzando al contempo l'evidenza complementare proveniente da altri strati.

Gli autori sostengono che diverse famiglie di generatori (ad esempio, GAN rispetto ai modelli di Diffusione) favoriscono diversi livelli di rappresentazione e pattern di frequenza. Di conseguenza, un rilevatore addestrato a sfruttare specifiche correlazioni strato-frequenza per un generatore fallisce nel generalizzare quando tali correlazioni cambiano in generatori non visti.

2. Metodologia

La soluzione proposta è un framework di debiasing per livelli basato su un backbone CLIP ViT-L/14 congelato. La filosofia centrale è intervenire a specifici livelli gerarchici per ridurre l'eccessiva dipendenza da scorciatoie specifiche della sorgente e incoraggiare l'uso di evidenze complementari. Il framework opera attraverso tre moduli di intervento primari e due rami di addestramento ausiliari:

A. Interventi Gerarchici (Applicati al ramo "Originale")
Il framework assegna compiti di debiasing specifici a diversi strati del backbone congelato basandosi su osservazioni empiriche della sensibilità degli strati:

1. Intervento sulla Coerenza Spaziale (SCI) nei livelli bassi:
   • Obiettivo: Stabilizzare i segnali spaziali fini che sono spesso instabili nei livelli bassi.
   • Meccanismo: Calcola un punteggio di coerenza globale tra i token dei patch e il token CLS, e un descrittore di incoerenza locale aggregando i patch vicini. Un adapter residuo leggero modula i token dei patch per enfatizzare le regioni con debole coerenza locale o globale.
2. Intervento sul Prior di Frequenza (FPI) nei livelli medi:
   • Obiettivo: Completare l'evidenza spaziale con segnali consapevoli della frequenza, poiché i livelli medi spesso trasportano informazioni sugli artefatti trasferibili sensibili ai cambiamenti di frequenza.
   • Meccanismo: Ripristina i token dei patch in una griglia 2D, applica la Trasformata Wavelet Discreta (DWT) per estrarre le risposte delle sottobande (LL, LH, HL, HH) e fonde queste risposte di frequenza con le risposte degli artefatti spaziali prima di riscriverle nella sequenza di token.
3. Modulo di Debiasing Semantico ad alto livello (HSDM) nei livelli alti:
   • Obiettivo: Ridurre la dipendenza da pattern semantici e di contenuto specifici della sorgente codificati nelle caratteristiche di alto livello.
   • Meccanismo:
     • Allineamento Semantico (SAS): Utilizza gli embedding testuali per "Camera" (reale) e "deepfake" (contraffatto) come ancoraggi per regolarizzare le caratteristiche d'immagine ad alto livello, assicurando che si allineino con ampie semantiche reali/contraffatte piuttosto che con pattern specifici del generatore.
     • Addestramento di Debiasing (DTR): Utilizza rami ausiliari per perturbare l'input durante l'addestramento. Un ramo Shuffle permuta i token dei patch per ridurre le scorciatoie di posizione, e un ramo Mix sostituisce i token con quelli di campioni donatori della stessa classe per indebolire le correlazioni di contenuto specifiche del campione.

B. Augmentation dell'Addestramento e Ottimizzazione

• Augmentation Latente Solo per il Contraffatto (FLA): Durante l'addestramento, le perturbazioni dello spazio latente sono applicate solo ai campioni contraffatti ($y=1$) per espandere il supporto delle caratteristiche della classe contraffatta senza sfumare il confine tra reale e contraffatto.
• Obiettivo di Ottimizzazione: La perdita totale ($L_{total}$) combina:
  • Perdita di Classificazione ($L_{ce}$): Applicata al ramo Originale (e ai logit semantici di SAS).
  • Perdita di Coerenza delle Caratteristiche ($L_{con}$): Utilizza InfoNCE per garantire che la rappresentazione del ramo Originale rimanga coerente con i rami Shuffle e Mix perturbati.
  • Perdita di Allineamento della Predizione ($L_{align}$): Minimizza la divergenza di Jensen–Shannon tra le distribuzioni di probabilità del ramo Originale e dei rami ausiliari.

**C. Inferenza
Al momento dell'inferenza, solo il ramo Originale viene mantenuto. I rami Shuffle e Mix, insieme all'augmentation FLA, vengono scartati, garantendo che il framework non aggiunga alcun overhead computazionale durante l'implementazione.

3. Contributi Chiave

1. Framework Concettuale: Introduzione della dipendenza da scorciatoie gerarchiche come prospettiva per livelli per analizzare il degrado cross-generatore nei rilevatori basati su ViT.
2. Evidenza Empirica: Fornitura di analisi di probing per livello e di sensibilità alla frequenza che dimostrano come diversi generatori favoriscano diversi livelli di rappresentazione e pattern frequenza-strato (ad esempio, GAN vs modelli di Diffusione che mostrano picchi di livello e sensibilità di frequenza distinti).
3. Framework Proposto: Un framework di debiasing per livelli basato su CLIP congelato, guidato dalla diagnosi, che assegna strategicamente interventi spaziali, di frequenza e semantici rispettivamente ai livelli bassi, medi e alti.
4. Validazione Sperimentale: Dimostrazione di prestazioni di rilevamento cross-generatore competitive su benchmark standard, supportata da test di robustezza e studi di ablazione che confermano il valore degli interventi a livello di segnale e specifici per lo strato.

4. Risultati Sperimentali

Il framework è stato valutato su due benchmark principali: UniversalFakeDetect e GenImage.

• UniversalFakeDetect: Addestrato su ProGAN e testato su 19 generatori non visti (inclusi StyleGAN, BigGAN, CycleGAN e vari modelli di Diffusione).
  • Ha raggiunto un'accuratezza media del 96,03% e una precisione media del 99,45%.
  • Ha superato o eguagliato i metodi allo stato dell'arte (ad es., UniFD, FatFormer, NPR) nell'impostazione cross-modello.
• GenImage: Addestrato su SDv1.4 e testato su altri modelli di diffusione (Midjourney, SDv1.5, ADM, ecc.) e BigGAN.
  • Ha raggiunto un'accuratezza media del 92,32%.
• Robustezza: Sotto comuni operazioni di post-processing (compressione JPEG, sfocatura Gaussiana, rumore, downsampling), il metodo ha mantenuto un'alta Precisione Media (AP) attraverso diverse intensità, superando i baseline basati su CNN, basati su gradienti e basati sulla frequenza.
• Studi di Ablazione:
  • La rimozione di qualsiasi modulo (SCI, FPI, SAS, DTR, FLA) ha causato un degrado delle prestazioni, con la rimozione di FPI che ha causato il calo maggiore (dal 96,03% all'89,15%), evidenziando il ruolo critico dei prior di frequenza.
  • L'analisi di sinergia ha confermato che la combinazione di SCI, FPI e HSDM produce risultati significativamente migliori rispetto all'uso dei singoli moduli.
  • L'ablazione della posizione ha confermato che SCI funziona meglio negli strati superficiali, FPI negli strati medio-alti e DTR in specifici strati intermedi.

5. Significato e Rivendicazioni

L'articolo sostiene che il rilevamento cross-generatore beneficia di un'analisi del segnale delle rappresentazioni gerarchiche. Controllando esplicitamente come l'evidenza viene utilizzata attraverso i livelli — invece di trattare il backbone come un estrattore di caratteristiche monolitico — il framework proposto mitiga la dipendenza da scorciatoie specifiche della sorgente.

Gli autori mantengono un ambito modesto riguardo alle loro rivendicazioni:

• Le conclusioni sono limitate ai benchmark valutati (UniversalFakeDetect, GenImage) e alla specifica impostazione CLIP ViT-L/14 congelato.
• Lo studio si concentra sulla classificazione binaria a livello di immagine.
• Sebbene i risultati supportino il valore degli interventi per livello, l'articolo riconosce che la validazione su backbone più ampi e una prova causale più forte della dipendenza da scorciatoie gerarchiche rimangono lavori futuri.
• Il framework è progettato per essere computazionalmente efficiente all'inferenza, adattandosi a una singola GPU durante l'addestramento senza costi aggiuntivi al momento del test.