Riepilogo Tecnico: GenRes e GenRes++ per la Rilevazione Generalizzata di Immagini Generate dall'IA

Problematica

Il rapido avanzamento dell'IA generativa, inclusi GAN, modelli di diffusione e pipeline ibride, ha prodotto immagini generate dall'IA (AIGI) che sono sempre più indistinguibili dalle fotografie reali. Questa capacità pone significative minacce sociali, tra cui la disinformazione, il furto di identità digitale e le frodi finanziarie. Gli attuali metodi di rilevamento affrontano una sfida critica di generalizzazione: spesso falliscono quando si trovano di fronte a modelli generativi non incontrati durante l'addestramento.

I detector esistenti si dividono generalmente in due paradigmi, entrambi dei quali presentano limitazioni:

1. Metodi basati sugli artefatti: Sfruttano impronte digitali specifiche del generatore (ad es. artefatti di frequenza, tracce di upsampling). Sebbene efficaci sui generatori noti, degradano drasticamente su famiglie non viste (ad es. modelli di diffusione) perché i meccanismi di sintesi sottostanti differiscono.
2. Metodi basati sull'apprendimento delle rappresentazioni: Proiettano le immagini in spazi di embedding sensibili alle falsificazioni (ad es. CLIP). Tuttavia, tipicamente codificano ogni immagine indipendentemente, trascurando la struttura relazionale indotta dal processo generativo e non riuscendo a catturare artefatti sottili e cross-generatore.

Il problema centrale è la mancanza di un segnale di rilevamento che sia invariante rispetto alla specifica famiglia di generatori, pur rimanendo sensibile alle differenze statistiche fondamentali tra dati reali e sintetici.

Metodologia: GenRes e GenRes++

Gli autori propongono GenRes e la sua estensione GenRes++, framework basati sul concetto di residui generativi. L'ipotesi centrale è che le immagini reali e quelle sintetiche rispondano diversamente quando elaborate da un secondo modello generativo (ad es. restauro, super-risoluzione o denoising). Mentre le immagini reali producono output coerenti con il loro ricco contenuto ad alta frequenza, le AIGI esibiscono discrepanze residue caratteristiche perché la rete di trasformazione interagisce in modo non banale con i bias distribuzionali incorporati nel generatore di origine.

Architettura Core

Il framework è composto da quattro componenti primarie:

1. Encoder Visivo Condiviso con LoRA:

   • Sia l'immagine originale ($I_0$) che $N$ varianti trasformate ($I_i$) vengono codificate utilizzando un PE-Core ViT (Vision Transformer) condiviso.
   • Il backbone viene mantenuto congelato per preservare le rappresentazioni semantiche pre-addestrate.
   • LoRA (Low-Rank Adaptation) è applicata alle matrici di proiezione query, key e value dei livelli di self-attention. Ciò consente l'adattamento delle caratteristiche specifiche del compito con un numero minimo di parametri addestrabili (rank $r=6$).
   • Le caratteristiche sono proiettate in uno spazio di embedding compatto ($d=256$).

2. *Aggregazione tramite Cross-Attention (CCA) - Solo GenRes++:*

   • In GenRes++, gli embedding delle $N$ immagini trasformate vengono aggregati in un singolo vettore rappresentativo ($g_{agg}$).
   • L'embedding dell'immagine originale ($z_0$) funge da query, mentre gli embedding delle immagini trasformate fungono da key e value.
   • Questo meccanismo pesa adattivamente le varianti trasformate, permettendo al modello di concentrarsi sui residui più informativi per uno specifico input piuttosto che trattare tutte le trasformazioni allo stesso modo.

3. Neural Tensor Network (NTN):

   • L'innovazione principale è l'uso di una NTN per modellare la struttura relazionale tra l'embedding originale ($z_0$) e l'embedding trasformato aggregato ($g_{agg}$).
   • A differenza della semplice sottrazione o concatenazione, la NTN calcola un'interazione bilineare: $f = \tanh(z_0^\top W g_{agg} + [z_0; g_{agg}]^\top V + b)$.
   • Il tensore di peso di terzo ordine $W$ cattura le dipendenze cross-feature moltiplicative. Ciò consente al modello di rilevare come le perturbazioni in una dimensione delle caratteristiche modulino un'altra, un pattern caratteristico dei residui generativi che non è legato agli artefatti di un generatore specifico.

4. Testa di Classificazione:

   • Il vettore delle caratteristiche relazionali $f$ viene passato attraverso uno strato lineare e una funzione sigmoid per produrre una probabilità di classificazione binaria (Reale vs. AIGI).
   • L'addestramento utilizza la perdita Binary Cross-Entropy (BCE).

Strategia di Addestramento

• Dati: Il modello è addestrato su immagini generate da una singola fonte (ProGAN) e testato su 19 generatori non visti appartenenti a famiglie GAN, "Altre" e diffusione.
• Trasformazioni: Cinque trasformazioni generative specifiche vengono applicate per creare le coppie relazionali: EnlightenGAN (potenziamento), GFPGAN (restauro), Real-ESRGAN (super-risoluzione), FFDNet (denoising) e CodeFormer (restauro).
• Ottimizzazione: Solo gli adapter LoRA, i livelli di proiezione, il modulo CCA, la NTN e la testa di classificazione vengono aggiornati.

Contributi Chiave

1. Framework GenRes: Un nuovo framework di apprendimento delle rappresentazioni relazionali che modella le discrepanze tra immagini originali e trasformate per migliorare la generalizzazione cross-generatore.
2. Neural Tensor Network: L'impiego di una NTN per catturare interazioni bilineari fini tra gli embedding delle caratteristiche, andando oltre le semplici differenze additive per esplorare le relazioni moltiplicative intrinseche.
3. Estensione GenRes++: Un meccanismo di aggregazione adattiva (Cross-Attention) che fonde molteplici varianti trasformate, consentendo al modello di concentrarsi dinamicamente sui residui più informativi.
4. Valutazione Esaustiva: Test estesi sul benchmark UniversalFakeDetect su 19 modelli generativi non visti, dimostrando una robustezza superiore dove i metodi esistenti falliscono.

Risultati Sperimentali

I metodi proposti sono stati valutati sul dataset UniversalFakeDetect, che include 19 modelli generativi non visti che spaziano tra GAN, modelli di diffusione e altre pipeline di sintesi.

• Performance: GenRes++ ha raggiunto risultati allo stato dell'arte con una Precisione Media (mACC) del 95,7% e una Precisione Media (mAP) del 99,1%.
• Confronto: Il metodo ha superato tutti i baseline, inclusi i metodi basati su CLIP (ad es. UniFD, C2P-CLIP) e gli approcci basati sulla frequenza (ad es. FreqNet, F3Net).
  • Sui modelli basati su GAN, GenRes++ ha mantenuto un'accuratezza quasi perfetta (>99%).
  • Sui modelli della famiglia "Altro" (ad es. SITD, SAN), ha ottenuto guadagni significativi (ad es. 99,4% su CRN, 99,5% su IMLE) dove altri metodi faticavano.
  • Sui modelli di diffusione (LDM, Glide), ha dimostrato una forte robustezza, superando i baseline a singola trasformazione.
• Studi di Ablazione:
  • Rank di LoRA: Il rank $r=6$ ha fornito il miglior equilibrio tra capacità e generalizzazione; rank più elevati portavano all'overfitting.
  • Backbone: Il backbone PE-Core-G14-448 ha superato CLIP ViT-L/14 e DINO ViT-L/14, grazie a rappresentazioni delle texture a basso livello più ricche.
  • Fusione: La strategia di fusione NTN ha superato significativamente le alternative più semplici (lineare, elemento per elemento, concatenazione), confermando la necessità di catturare interazioni di ordine superiore.
  • Numero di Trasformazioni: Le performance hanno raggiunto il picco con $N=5$ trasformazioni; l'aggiunta di ulteriori trasformazioni introduceva ridondanza e lievi fluttuazioni nelle prestazioni.

Significato e Limitazioni

Significato:
Il paper sostiene che GenRes++ stabilisce un nuovo paradigma per il rilevamento di AIGI spostando l'attenzione dall'estrazione di caratteristiche isolate all'apprendimento dei residui relazionali. Modellando esplicitamente come le immagini sintetiche reagiscono a un secondo processo generativo, il framework cattura una proprietà generale dei media sintetici che si trasferisce tra le famiglie di generatori senza richiedere l'accesso ai generatori target durante l'addestramento. Ciò affronta il collo di bottiglia critico della generalizzazione di fronte a modelli generativi in rapida evoluzione.

Limitazioni:
Gli autori riconoscono alcuni vincoli:

1. Costo Computazionale: Il requisito di far passare gli input attraverso cinque trasformazioni generative separate e il design multi-branch della NTN comporta alti costi di inferenza (~4625 ms per immagine), limitando l'implementazione in tempo reale.
2. Set di Trasformazioni Fisso: L'attuale set di trasformazioni è selezionato manualmente. Due delle trasformazioni (GFPGAN, CodeFormer) sono modelli di restauro del volto, il che potrebbe influenzare il segnale verso i contenuti facciali.
3. Robustezza a Degradazioni Composte: Sebbene robusto a singole perturbazioni (sfocatura, JPEG, rumore), le prestazioni calano significamente (all'84,9% di ACC) quando vengono applicate simultaneamente molteplici degradazioni, suggerendo vulnerabilità a pipeline di "lavaggio" complesse.
4. Ambito: La valutazione è attualmente limitata alle immagini statiche e ai 19 generatori specifici del benchmark.

Lavoro Futuro:
Gli autori propongono di estendere il apprendimento dei residui generativi al rilevamento di deepfake video (sfruttando la coerenza temporale) e a scenari di falsificazione multimodale (immagine, audio, testo). Intendono inoltre investigare la distillazione delle trasformazioni per ridurre l'overhead computazionale e la selezione adattiva delle trasformazioni per gestire domini di immagine diversificati.