NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection

Il paper presenta un modello multi-modale e multi-task che combina BERT e CLIP con una strategia di pseudo-etichettatura per rilevare immagini generate dall'IA e identificarne i modelli sottostanti, ottenendo il quinto posto nelle competizioni CT2 con punteggi F1 rispettivamente del 83,16% e del 48,88%.

L'essenziale

Immagina di essere in una grande fiera dell'arte digitale. Ci sono due tipi di artisti: umani e robot (le Intelligenze Artificiali). I robot sono diventati così bravi che dipingono quadri indistinguibili da quelli umani. Il problema? Come fai a sapere chi ha dipinto cosa? E, se è un robot, quale robot l'ha fatto?

Questo è esattamente il problema che NAU-QMUL (un team di ricercatori cinesi e britannici) ha cercato di risolvere con il loro progetto presentato in questo articolo.

Ecco come funziona il loro "super-occhio", spiegato in modo semplice:

1. Il Detective con Due Cervelli

Immagina il loro modello come un detective privato che ha due assistenti specializzati:

• L'Assistente "Lettore" (BERT): È un esperto di parole. Legge la descrizione del quadro (il testo) e capisce il contesto.
• L'Assistente "Osservatore" (CLIP): È un esperto di immagini. Guarda il quadro e ne analizza i dettagli visivi.

Invece di lavorare separatamente, questi due assistenti si siedono a un tavolo e condividono le loro note. L'osservatore dice: "Questo cielo sembra strano", e il lettore risponde: "Sì, la descrizione dice 'cielo perfetto', ma l'immagine non quadra". Unendo le informazioni, il detective diventa molto più intelligente.

2. La Missione Doppia (Due Compiti in Uno)

Il detective deve risolvere due casi contemporaneamente, come se avesse due distinti da compilare:

• Caso A (Vero o Falso?): "Questo quadro è stato fatto da un umano o da un robot?" (È una domanda Sì/No).
• Caso B (Chi è il colpevole?): Se la risposta al Caso A è "Robot", allora il detective deve dire esattamente quale robot è stato. È stato Midjourney? DALL-E 3? O Stable Diffusion?

3. L'Allenamento "Intelligente" (Pseudo-Labeling)

Qui c'è la parte più creativa. Immagina di allenare un atleta. Di solito, hai bisogno di un allenatore che ti dica subito se hai fatto bene o male. Ma qui, i ricercatori avevano pochi campioni da allenare.
Quindi, hanno usato una strategia astuta: hanno lasciato che il modello si allenasse da solo sui casi più facili.
Hanno fatto fare al modello delle previsioni su immagini "non etichettate". Quando il modello era sicurissimo (al 100% sicuro, o quasi) che una risposta fosse corretta, hanno detto: "Ok, questa risposta è giusta, aggiungila al nostro libro di esercizi!".
È come se un principiante di scacchi guardasse una partita di un maestro, e quando il maestro fa una mossa ovvia, il principiante la copia nel suo quaderno per impararla. Questo ha permesso di avere più "esercizi" per allenarsi senza spendere soldi in nuovi dati.

4. Il Risultato: Un Podio di Bronzo

Hanno messo alla prova il loro detective in una gara mondiale chiamata CT2.

• Nel Caso A (Vero o Falso), sono arrivati 5° al mondo. Hanno indovinato correttamente quasi l'83% delle volte.
• Nel Caso B (Chi è il robot?), sono arrivati di nuovo 5° al mondo. È più difficile perché ci sono molti tipi di robot diversi, ma hanno comunque ottenuto un ottimo risultato (quasi il 49% di precisione, che in questo campo è molto alto).

5. I Limiti e il Futuro

I ricercatori sono onesti: il loro metodo non è perfetto.

• Il rischio dell'auto-inganno: Se il modello si sbaglia su un'immagine "facile" e la usa come esempio per allenarsi, potrebbe imparare l'errore e ripeterlo all'infinito (come un bambino che impara una parola sbagliata perché l'ha sentita dire da un amico sicuro di sé).
• Il futuro: Vogliono rendere il detective ancora più intelligente, non solo unendo le note, ma facendo sì che le parole e le immagini "parlino" direttamente tra loro in modo più sofisticato, e vogliono assicurarsi di non favorire troppo i casi facili.

In sintesi: Hanno creato un sistema che legge e guarda allo stesso tempo per smascherare le immagini create dall'IA, usando un trucco intelligente per allenarsi meglio con meno dati, e si sono piazzati tra i migliori al mondo in questa sfida.

Sommario tecnico

1. Problema e Contesto

La rapida evoluzione dei sistemi di generazione di immagini da testo (come Stable Diffusion, DALL-E 3 e MidJourney) ha reso difficile distinguere tra immagini create da umani e quelle generate dall'IA. Questa sfida pone rischi significativi per l'autenticità dei media, la proprietà intellettuale e la disinformazione.
Il paper affronta due compiti specifici nel contesto della competizione CT2: AI-Generated Image Detection:

• Task A (Classificazione Binaria): Determinare se un'immagine è stata generata dall'IA o creata da un umano.
• Task B (Classificazione Multi-classe): Identificare il modello specifico di IA responsabile della generazione dell'immagine (es. Stable Diffusion 3, SDXL, DALL-E 3, MidJourney 6).

2. Metodologia

Gli autori propongono un modello multi-modale multi-task che integra l'elaborazione del testo e delle immagini per migliorare la robustezza della rilevazione.

Architettura del Modello

Il sistema utilizza due flussi di input paralleli:

1. Input Testuale: Le descrizioni (caption) vengono pre-elaborate da un tokenizer e processate da un encoder BERT pre-addestrato (bert-base-uncased) per estrarre caratteristiche contestuali del testo.
2. Input Visivo: Le immagini vengono convertite in valori di pixel e processate dall'encoder visivo CLIP (openai/clip-vit-base-patch32) per estrarre caratteristiche visive ad alto livello.

Fusione delle Caratteristiche

Le caratteristiche estratte da BERT e CLIP vengono concatenate e proiettate in uno spazio di caratteristiche condiviso tramite un livello completamente connesso. Questa rappresentazione condivisa alimenta due "testine" di classificazione distinte:

• Label_A Classifier: Esegue la classificazione binaria (Reale vs IA).
• Label_B Classifier: Esegue la classificazione multi-classe per identificare il modello generatore (solo per le immagini classificate come IA).

Funzione di Loss Multi-task

L'ottimizzazione si basa su una funzione di loss combinata:

• Binary Cross-Entropy Loss: Applicata al Task A per distinguere immagini reali da quelle fake.
• Conditional Cross-Entropy Loss: Applicata al Task B solo se il Task A classifica l'immagine come generata dall'IA (LABEL_A == 1). Questo approccio condizionale riduce il rumore computazionale per le immagini reali e migliora l'efficienza.

Strategia di Data Augmentation

Per espandere il dataset di addestramento, gli autori hanno implementato una strategia basata sul pseudo-labeling:

1. Il modello addestrato predice le etichette per i dati di test non etichettati.
2. Vengono selezionati solo i campioni con un punteggio di confidenza superiore a 0.8 per entrambe le previsioni (Task A e Task B).
3. Questi campioni ad alta confidenza vengono aggiunti al set di addestramento originale con un rapporto di split 8:2 (addestramento/validazione).

3. Contributi Chiave

• Integrazione Multi-modale: Dimostrazione dell'efficacia nel combinare encoder BERT e CLIP per catturare le relazioni tra testo e immagine nella rilevazione di contenuti generati dall'IA.
• Approccio Multi-task Condizionale: Progettazione di una funzione di loss che gestisce intelligentemente la dipendenza tra la rilevazione della presenza di IA e l'identificazione del modello specifico.
• Strategia di Pseudo-labeling: Utilizzo di dati non etichettati ad alta confidenza per migliorare la generalizzazione del modello, superando i limiti dei dataset di dimensioni ridotte.
• Performance Competitiva: Raggiungimento del 5° posto in entrambe le categorie della competizione CT2.

4. Risultati Sperimentali

Il modello è stato valutato su un dataset derivato da MS COCO, arricchito con immagini generate da 5 modelli diversi.

• Risultati sul Set di Validazione:
  • Task A: F1 Score del 99.58% (Accuratezza 99.24%, Precisione 99.44%, Recall 99.72%).
  • Task B: Weighted-F1 Score del 85.95% (Accuratezza 90.04%).
• Risultati sul Set di Test Ufficiale (Competizione):
  • Task A: F1 Score di 83.16% (5° posto).
  • Task B: F1 Score di 48.88% (5° posto).

5. Significato e Limitazioni

Significato:
Il lavoro conferma che l'uso combinato di modelli linguistici e visivi pre-addestrati, unito a strategie di ottimizzazione multi-task, è una direzione promettente per la rilevazione di contenuti sintetici. La capacità di identificare non solo la presenza di IA, ma anche il modello specifico, offre strumenti cruciali per la tracciabilità dei contenuti.

Limitazioni e Sfide Future:
Gli autori riconoscono diverse limitazioni legate alla strategia di pseudo-labeling:

• Propagazione degli Errori: Etichette pseudo errate possono rinforzare errori esistenti nel modello.
• Bias di Selezione: La soglia di confidenza di 0.8 potrebbe favorire campioni facili da classificare, sottorappresentando casi ambigui.
• Squilibrio delle Classi: Alcuni stili di immagini potrebbero ricevere pseudo-label più frequentemente, distorcendo la distribuzione.
• Contaminazione Train-Test: L'uso di dati di test per l'addestramento (tramite pseudo-labeling) potrebbe inflazionare le stime delle prestazioni.

Le ricerche future si concentreranno su strategie di fusione più avanzate (es. meccanismi di attenzione, transformer cross-modali) e su tecniche di addestramento consapevoli dell'incertezza per mitigare i bias introdotti dall'aumento dei dati.