The Deployment Gap in AI Media Detection: Platform-Aware and Visually Constrained Adversarial Evaluation

1. Il Problema: Il "Deployment Gap"

Il lavoro identifica una discrepanza critica, definita "Deployment Gap", tra le prestazioni dei rilevatori di media generati dall'AI (AI media detectors) in condizioni di laboratorio e la loro affidabilità nel mondo reale.

• Contesto: I rilevatori moderni riportano prestazioni quasi perfette (AUC $\approx$ 0.99) su immagini "pulite" (pristine) in ambienti di laboratorio.
• Realtà: Nella pratica, le immagini generate dall'AI subiscono trasformazioni prima di essere condivise sui social media (ridimensionamento, compressione JPEG, ricodifica, screenshot, modifiche visive).
• Il Gap: Le valutazioni attuali ignorano queste trasformazioni indotte dalla piattaforma e le possibili manipolazioni avversariali che ne derivano. Di conseguenza, la robustezza misurata in laboratorio sovrastima drasticamente la sicurezza reale. Inoltre, le valutazioni avversariali esistenti spesso utilizzano perturbazioni su tutta l'immagine (rumore globale) che non sono realistiche per l'utente finale.

2. Metodologia: Framework di Valutazione Consapevole della Piattaforma

Gli autori introducono un nuovo framework di valutazione avversariale che modella esplicitamente le condizioni di distribuzione reale.

A. Modello di Minaccia (Threat Model)

L'attaccante ottimizza le perturbazioni attraverso una pipeline di distribuzione $T$ che approssima le trasformazioni comuni delle piattaforme:

• Ridimensionamento (resizing).
• Compressione (stile JPEG).
• Distorsioni da screenshot.
  L'obiettivo è minimizzare la confidenza del rilevatore sull'input trasformato:
  $$\min_{\delta} \mathbb{E}_{t \sim T} [\ell(f_\theta(t(x + \delta)), y_{target})]$$
  dove $\delta$ è la perturbazione e $t$ è una trasformazione stocastica.

B. Vincoli Visivi (Visually Constrained Perturbations)

A differenza delle perturbazioni avversariali tradizionali che coprono l'intera immagine, questo studio vincola le modifiche a bande stilizzate da "meme" (strisce orizzontali in alto o in basso).

• Motivazione: Riflette le modifiche reali apportate dagli utenti (es. aggiunta di testo o filtri in bande) mantenendo la plausibilità visiva.
• Vincoli: Le perturbazioni sono limitate spazialmente a una banda (22% dell'altezza) e hanno una norma $L_\infty$ limitata ($\epsilon = 16/255$), garantendo che le modifiche siano sottili e localizzate.

C. Tipologie di Attacco

1. Attacchi per Immagine (Per-Image): Ottimizzazione di una perturbazione unica per ogni input.
2. Perturbazioni Universali: Ottimizzazione di una singola perturbazione condivisa tra più immagini, per rivelare direzioni di vulnerabilità comuni nel modello.
3. Ottimizzazione: Utilizzo della Projected Gradient Descent (PGD) con Expectation over Transformation (EOT) per garantire che gli attacchi rimangano efficaci dopo le trasformazioni stocastiche della piattaforma.

3. Esperimenti e Configurazione

• Dataset: Un dataset bilanciato con immagini reali (STL-10) e immagini sintetiche generate tramite Stable Diffusion su 10 prompt diversi (paesaggi urbani, fauna, sport, ritratti, ecc.).
• Rilevatori (Detectors):
  • Un modello basato su CLIP (ViT backbone con testa di classificazione lineare).
  • Un modello ResNet-18 fine-tunato.
• Metriche: AUC (Area Under the Curve), Tasso di Errori di Classificazione (Fake-to-Real), e Expected Calibration Error (ECE) per misurare l'affidabilità delle probabilità.

4. Risultati Chiave

I risultati dimostrano un crollo significativo delle prestazioni quando si applica il modello di minaccia realistico:

• Degradazione delle Prestazioni:
  • In condizioni pulite, il rilevatore CLIP raggiunge un AUC di 0.996.
  • Sotto attacco consapevole della piattaforma (con vincoli di banda), l'AUC crolla a 0.705.
  • Il tasso di classificazione errata (immagini fake classificate come reali) sale dal 5.5% al 78% per gli attacchi per immagine.
• Perturbazioni Universali: Anche sotto vincoli spaziali stretti, le perturbazioni universali riescono a ridurre l'AUC a 0.923 e a generare un tasso di errore del 34.5%, rivelando vulnerabilità condivise tra diversi input.
• Collasso della Calibrazione (Calibration Collapse):
  • Oltre alla perdita di accuratezza, i rilevatori diventano sicuri ma errati.
  • L'Expected Calibration Error (ECE) aumenta drasticamente (da 0.167 a 0.250), indicando che il modello assegna alte probabilità di "realtà" a immagini sintetiche manipolate, ingannando potenzialmente i sistemi di moderazione automatica.
• Sensibilità Semantica: La vulnerabilità varia a seconda della categoria semantica dell'immagine (es. ritratti vs paesaggi), suggerendo che la robustezza non è uniforme.

5. Contributi Principali

1. Framework di Valutazione: Introduzione di un framework di valutazione avversariale che integra trasformazioni di piattaforma e vincoli visivi realistici.
2. Dimostrazione del Gap: Prova empirica che la robustezza misurata in laboratorio è un indicatore fuorviante per la sicurezza reale.
3. Scoperta di Vulnerabilità Universali: Dimostrazione che esistono direzioni di vulnerabilità condivise anche quando le perturbazioni sono limitate a piccole regioni visive.
4. Analisi della Calibrazione: Evidenziazione del fatto che gli attacchi non solo riducono l'accuratezza, ma distruggono l'affidabilità delle stime di confidenza del modello.

6. Significato e Implicazioni

Il paper conclude che le attuali pratiche di benchmarking per la sicurezza dei media AI sono insufficienti.

• Necessità di Standardizzazione: Le future valutazioni di sicurezza devono includere test "consapevoli della piattaforma" (platform-aware) come componente obbligatoria, accanto all'accuratezza su dati puliti.
• Impatto sulla Sicurezza: La combinazione di alta confidenza errata e degradazione delle prestazioni in scenari reali rappresenta un rischio significativo per la diffusione di disinformazione e manipolazione dei media.
• Risorsa Aperta: Gli autori rilasciano il loro framework di valutazione per facilitare test standardizzati e comparabili nella comunità di ricerca.

In sintesi, il lavoro sposta il focus dalla semplice "accuratezza su dati puliti" alla "robustezza operativa", dimostrando che i rilevatori attuali sono estremamente fragili quando esposti alle normali trasformazioni dei social media e a manipolazioni avversariali realistiche.