HiMix: Hierarchical Artifact-aware Mixup for Generalized Synthetic Image Detection

1. Enunciato del Problema

Il rapido avanzamento dei modelli generativi (GAN e Modelli Diffusivi) ha portato alla creazione di immagini sintetiche altamente realistiche, ponendo sfide severe per la Rilevazione di Immagini Sintetiche (SID).

• Divario di Generalizzazione: I rilevatori esistenti sono tipicamente addestrati su dataset limitati e distorti. Di conseguenza, soffrono di overfitting della sorgente, dove i modelli apprendono segnali specifici del generatore piuttosto che pattern universali di falsificazione.
• Regioni a Bassa Confidenza: Quando testati su generatori non visti, le immagini sintetiche spesso cadono in "regioni a bassa confidenza" dello spazio decisionale, portando a logit dispersi e scarsa accuratezza di classificazione.
• Bias Semantico: I metodi che si basano su modelli pre-addestrati (ad es. CLIP) spesso catturano contenuti semantici di alto livello (ad es. categorie di oggetti) piuttosto che artefatti intrinseci di falsificazione, causando l'apprendimento da parte dei rilevatori di pattern distorti dal contenuto invece che segnali di falsificazione generalizzabili.

2. Metodologia: Framework HiMix

Gli autori propongono HiMix, un framework unificato progettato per migliorare la generalizzazione sia dalla prospettiva della distribuzione dei dati che da quella della rappresentazione. L'architettura è composta da due moduli principali:

A. Augmentazione Distribuzionale Guidata da Mixup (MDA)

Questo modulo affronta il problema della distribuzione dei dati espandendo lo spazio di addestramento.

• Meccanismo: Genera campioni transizionali continui tra immagini reali e fake utilizzando Mixup a livello di pixel:
  $$X_{mix} = \lambda X_{fake} + (1 - \lambda) X_{real}$$
  dove $\lambda$ è campionato da una distribuzione Beta. Crucialmente, questi campioni misti sono etichettati come "fake" indipendentemente dal rapporto di miscelazione.
• Scopo:
  • Copertura: Costringe il modello ad apprendere il confine tra reale e fake, riempiendo efficacemente le "regioni a bassa confidenza" dove risiedono solitamente le falsificazioni non viste.
  • Riduzione Semantica: L'interpolazione a livello di pixel smussa i contenuti semantici di alto livello, costringendo il modello a fare affidamento su artefatti di basso livello e invariabili rispetto al generatore (ad es. pattern di rumore, inconsistenze di frequenza) per la rilevazione.

B. Rappresentazione Gerarchica Consapevole degli Artefatti (HAR)

Questo modulo affronta il problema della rappresentazione estraendo segnali di falsificazione robusti utilizzando un backbone CLIP pre-addestrato potenziato da specifici design architetturali.

• Backbone e Adattamento: Utilizza un encoder ViT CLIP congelato con LoRA (Low-Rank Adaptation) applicato alle proiezioni QKV. Ciò permette al modello di adattarsi ai compiti di rilevazione di falsificazioni con parametri minimi, preservando al contempo la conoscenza pre-addestrata.
• Pooling Gerarchico delle Regioni (HiRP):
  • Invece di affidarsi esclusivamente al token CLS globale, HiRP partiziona i token delle patch in finestre locali a più scale ($s_r$).
  • Aggrega le statistiche tramite pooling medio intra-finestra e pooling massimo inter-finestra per catturare artefatti sottili e spazialmente coerenti.
  • Pesi apprendibili ($\beta_r$) fondono questi token regionali multi-scala.
• Fusione Cross-Layer e Cross-Granularità:
  • Cross-Layer: Aggrega caratteristiche da diversi livelli del Transformer (sia token CLS che token di Regione) per catturare artefatti che emergono a diverse profondità semantiche.
  • Fusione Cross-Granularità (CGF): Un MLP leggero fonde dinamicamente le caratteristiche strutturali globali (CLS) e le caratteristiche locali degli artefatti (Regione) per produrre una rappresentazione finale, invariante rispetto al generatore.

3. Contributi Chiave

1. Framework Unificato: Propone HiMix, che ottimizza congiuntamente l'aumento dei dati (MDA) e la rappresentazione delle caratteristiche (HAR) per affrontare il problema della generalizzazione nella SID.
2. Strategia di Augmentazione Distribuzionale: Introduce un approccio guidato da Mixup che arricchisce le regioni a bassa confidenza e sopprime il dominio semantico di alto livello, permettendo al modello di concentrarsi sulle tracce intrinseche di falsificazione.
3. Apprendimento Gerarchico degli Artefatti: Progetta un nuovo modulo di rappresentazione (HAR) che integra segnali multi-scala, cross-layer e cross-granularità per estrarre pattern di falsificazione robusti.
4. Prestazioni all'Avanguardia: Dimostra una generalizzazione cross-sorgente superiore su diversi benchmark, superando significativamente i metodi esistenti su generatori non visti.

4. Risultati Sperimentali

Il paper valuta HiMix su molteplici benchmark, inclusi GenImage, Ojha (Diffusion), ForenSynths (GAN) e TwinSynths-GAN.

• Prestazioni Generali: Sul dataset GenImage (8 generatori diversi), HiMix raggiunge un'Accuratezza Media del 97,6% e una Precisione Media del 99,7%, superando basi solide come SAFE, CoD e AIDE.
• Generalizzazione Diffusiva: Quando addestrato solo su Stable Diffusion v1.4, HiMix si generalizza efficacemente ad altri modelli diffusivi (LDM, Glide, ADM), raggiungendo un'Acc del 98,3% e un AP del 99,9%.
• Scenari Sfidanti: Sul dataset TwinSynths-GAN (falsificazioni ad alta fedeltà e allineate al contenuto), HiMix raggiunge un AP del 90,6%, superando il precedente SOTA (SFLD) con un margine significativo (miglioramento del 12,29%).
• Robustezza: Il modello mantiene prestazioni stabili sotto compressione JPEG e sfocatura Gaussiana, superando AIDE a tutti i livelli di distorsione.
• Efficienza dei Dati: HiMix raggiunge un'accuratezza del 96,71% utilizzando solo l'1% dei dati di addestramento, dimostrando alta efficienza.
• Distribuzione dei Logit: Le visualizzazioni mostrano che HiMix produce distribuzioni compatte all'interno della classe e logit ben separati tra le classi, anche per generatori non visti, mentre altri metodi mostrano logit dispersi e sovrapposti.

5. Significato

• Risoluzione del Problema del "Generatore Non Visto": HiMix affronta direttamente la limitazione critica dei sistemi SID attuali che falliscono su nuovi modelli generativi non visti, addestrando esplicitamente sul confine decisionale (tramite Mixup) e apprendendo artefatti invarianti.
• Deploy Pratico: La robustezza del metodo alle degradazioni delle immagini (compressione, sfocatura) e l'alta efficienza dei dati lo rendono adatto al deploy nel mondo reale, dove i dati di addestramento possono essere scarsi o il post-processing è comune.
• Insight Architetturale: Il lavoro sottolinea l'importanza di andare oltre le caratteristiche semantiche globali verso un'analisi gerarchica e multi-scala degli artefatti, fornendo un nuovo blueprint per la progettazione di rilevatori forensi robusti.

In conclusione, HiMix rappresenta un passo significativo in avanti nel rendere la rilevazione di immagini sintetiche affidabile e generalizzabile, spostando il focus dalla memorizzazione di firme specifiche del generatore all'apprendimento di artefatti di falsificazione fondamentali e universali.