Boosting Robust AIGI Detection with LoRA-based Pairwise Training

1. Il Problema: La Vulnerabilità delle Rilevazioni AIGI "In the Wild"

La proliferazione di immagini generate dall'intelligenza artificiale (AIGI) di alta qualità, create tramite modelli come Diffusion e GAN avanzati, ha reso quasi indistinguibili le immagini sintetiche da quelle reali. Sebbene i rilevatori esistenti funzionino bene su dataset puliti e non compressi, soffrono di un divario di dominio (domain gap) critico quando vengono deployati in scenari reali ("in the wild").

Nella realtà, le immagini subiscono distorsioni complesse e imprevedibili durante la trasmissione sui social media (compressione JPEG aggressiva, ridimensionamento casuale, sfocatura, rumore, ecc.). Queste degradazioni distruggono le artefatti ad alta frequenza e le anomalie a livello di pixel su cui si basano i rilevatori tradizionali, portando a un crollo delle prestazioni. L'obiettivo è sviluppare un rilevatore che sia sia generalizzato (funziona su diversi generatori) che robusto (resiste alle distorsioni).

2. Metodologia: La Strategia LPT (LoRA-based Pairwise Training)

Gli autori propongono una strategia innovativa chiamata LPT, che si articola in tre pilastri fondamentali per colmare il divario tra training e test:

A. Simulazione della Distribuzione dei Dati

Poiché il dataset di training fornito non contiene distorsioni, mentre i set di validazione e test ne sono pieni, gli autori simulano attivamente queste condizioni durante l'addestramento:

• Distorsioni Avanzate: Oltre alle distorsioni base, vengono introdotte combinazioni complesse (rumore speckle, curve tonali, moiré organico, jitter di colore).
• Intensità Aggressiva: La forza delle distorsioni viene aumentata artificialmente impostando la media della distribuzione di campionamento Gaussiana a $\mu = 3$, per forzare il modello a imparare caratteristiche più resilienti.
• Simulazione delle Dimensioni: Vengono implementati algoritmi di random crop e resize per adattarsi alla diversità delle dimensioni delle immagini nei set di test (alcune immagini contengono solo informazioni semantiche locali o non semantiche).

B. Fine-Tuning Efficiente con LoRA

Invece di riaddestrare completamente un modello massiccio (che causerebbe "catastrophic forgetting" delle conoscenze preesistenti), viene utilizzato un Modello di Fondazione Visuale (in particolare EVA-CLIP) come backbone.

• Viene applicata l'adattamento a basso rango (LoRA) solo sui blocchi di attenzione multi-testa (MHSA) e sulle reti feed-forward (FFN) dei transformer visivi.
• Questo approccio permette di adattare il modello al compito di rilevazione AIGI con un minimo overhead computazionale, preservando le capacità di rappresentazione semantica generale apprese durante il pre-training.

C. Addestramento Pairwise (Coppie)

Per evitare che l'addestramento su dati distorti degradi le prestazioni su immagini pulite, viene introdotta una strategia di addestramento pairwise:

• Ogni batch di addestramento contiene coppie di immagini: una versione pulita e la sua controparte distorta.
• Un FFN ausiliario (rete neurale feed-forward) corregge dinamicamente le caratteristiche estratte dall'immagine distorta, forzandole a mappare nello stesso spazio semantico dell'immagine pulita.
• Funzione di Loss Combinata: L'ottimizzazione utilizza una funzione di perdita congiunta ($\mathcal{L}$) composta da:
  1. Cross-Entropy ($\mathcal{L}_{CE}$): Per la classificazione accurata.
  2. Divergenza KL ($\mathcal{L}_{KL}$): Per allineare le distribuzioni delle previsioni tra immagine pulita e distorta.
  3. Errore Quadratico Medio ($\mathcal{L}_{MSE}$): Per minimizzare la distanza tra le rappresentazioni delle caratteristiche (feature alignment).

3. Contributi Chiave

1. Backbone Robusto: Utilizzo di un modello di fondazione visuale (EVA-CLIP) con fine-tuning parametricamente efficiente (LoRA) per mantenere la generalizzazione senza perdere capacità di rilevazione.
2. Simulazione Realistica: Introduzione di una simulazione aggressiva di distorsioni e variazioni dimensionali per allineare la distribuzione dei dati di training a quella dei set di validazione/test reali.
3. Strategia di Ottimizzazione Decoupled: L'uso dell'addestramento pairwise con un FFN ausiliario e una loss multi-obiettivo per disaccoppiare l'ottimizzazione della generalizzazione da quella della robustezza, garantendo alte prestazioni sia su immagini pulite che degradate.

4. Risultati Sperimentali

Il metodo è stato testato nella sfida NTIRE 2026 Robust AI-Generated Image Detection in the Wild.

• Prestazioni: Il metodo LPT ha ottenuto il 3° posto nella classifica generale.
• Metriche: Ha raggiunto un AUC (Area Under the Curve) del 92.15% sul set di test pubblico e del 92.50% sul set privato "Hard" (solo immagini distorte), superando la maggior parte delle ensemble methods concorrenti.
• Ablation Study: Gli esperimenti di ablazione hanno dimostrato che:
  • La combinazione di simulazione di dimensioni e distorsioni è cruciale per la robustezza.
  • L'addestramento pairwise con allineamento delle feature (loss MSE e KL) migliora significativamente le prestazioni rispetto all'uso della sola loss di classificazione.
  • EVA-CLIP ha dimostrato prestazioni superiori rispetto ad altri modelli come CLIP standard o Meta-CLIP2 in questo contesto specifico.
  • Il metodo mantiene alte prestazioni anche su dataset standard come ForenSynths, superando gli stati dell'arte (SOTA) in condizioni di distorsione.

5. Significato e Impatto

Questo lavoro è significativo perché affronta direttamente il problema pratico più grande nella rilevazione delle deepfake: la mancanza di robustezza in scenari reali. Spostando il focus dall'analisi di artefatti ad alta frequenza (fragili) alla rappresentazione semantica ad alto livello (resiliente), combinata con tecniche di simulazione dati aggressive e ottimizzazione pairwise, gli autori dimostrano che è possibile costruire rilevatori AIGI affidabili per il mondo reale. La strategia proposta offre un percorso scalabile ed efficiente per adattare modelli di fondazione massicci a compiti di forensica digitale senza richiedere risorse computazionali proibitive.