Generating Attribution Reports for Manipulated Facial Images: A Dataset and Baseline

1. Il Problema

L'evoluzione rapida dei modelli generativi (in particolare i modelli di diffusione) ha reso le immagini sintetizzate o manipolate (deepfake) sempre più realistiche. Sebbene la ricerca sulla rilevazione delle falsificazioni sia passata dalla semplice classificazione binaria (vero/falso) alla localizzazione fine delle regioni manipolate, esistono limiti significativi:

• Mancanza di interpretabilità: Le maschere binarie tradizionali indicano dove è avvenuta la manipolazione, ma non spiegano perché è stata rilevata come tale.
• Insufficienza per la revisione umana: Le maschere pixel-level spesso non distinguono tra alterazioni sottili e significative, lasciando gli esaminatori umani senza prove descrittive per verificare le anomalie o fidarsi dei risultati.
• Divario semantico: I metodi attuali non forniscono insight semantici sulla natura della manipolazione (es. "la texture della pelle è assente" o "le ombre sono incoerenti").

Il paper propone di colmare questo divario introducendo un nuovo compito: la Generazione di Report di Attribuzione delle Falsificazioni (Forgery Attribution Report Generation).

2. Metodologia e Proposte Chiave

L'approccio si basa su tre pilastri principali: un nuovo dataset, un nuovo compito e un modello baseline unificato.

A. Il Dataset: MMTT (Multi-Modal Tamper Tracing)

Gli autori hanno creato il primo dataset su larga scala specifico per questo compito, contenente 152.217 campioni.

• Costruzione: Derivato da 100.000 immagini facciali di alta qualità (CelebAMask-HQ e FFHQ).
• Paradigmi di Manipolazione: Utilizza tre tecniche principali per generare dati realistici:
  1. Face Swapping: Sostituzione dell'intera faccia (usando E4S).
  2. Face Editing: Modifica semantica di attributi specifici (usando StyleCLIP e HFGI).
  3. Image Inpainting: Riparazione/ricreazione di regioni facciali (usando MAT e SDXL).
• Annotazioni di Alta Qualità:
  • Maschere Ground-Truth: Derivate programmaticamente dal processo di generazione, garantendo una perfetta allineamento pixel-per-pixel.
  • Descrizioni Testuali: Annotate manualmente da un team di esperti seguendo un protocollo rigoroso (controllo di qualità, tempo minimo di osservazione). Ogni descrizione (media di 27.4 parole) si concentra esclusivamente sulle incongruenze visive nelle regioni manipolate (es. texture della pelle, asimmetrie, contorni sfocati).

B. Il Modello: ForgeryTalker

È un framework end-to-end unificato progettato per generare simultaneamente la maschera di localizzazione e il report testuale. L'architettura si basa su InstructBLIP ed è strutturata come segue:

• Encoder Condiviso: Utilizza un Vision Transformer e un Q-Former per estrarre rappresentazioni multimodali che fondono profondamente le caratteristiche visive e semantiche.
• Forgery Prompter Network (FPN): Una rete ausiliaria che analizza l'immagine per identificare le regioni facciali manipolate (estrapolando parole chiave come "naso", "occhio") e genera prompt che guidano il ragionamento a valle.
• Decodificatori Duali:
  1. Mask Decoder: Basato sul Two-way Transformer di SAM (Segment Anything Model), genera la maschera binaria di localizzazione.
  2. Large Language Model (LLM): Genera il report testuale di attribuzione, guidato dai prompt della FPN e dalle caratteristiche visive.
• Fasi di Addestramento:
  1. Pre-addestramento Consapevole delle Falsificazioni: Ottimizzazione congiunta di quattro obiettivi (Modellazione Linguistica Mascherata, Modellazione Linguistica, Localizzazione della Falsificazione, Allineamento Cross-Modale) per costruire rappresentazioni robuste.
  2. Generazione del Report: Fissata la FPN, si affinano il decodificatore della maschera e il Q-Former per migliorare la localizzazione e la qualità del testo.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset MMTT, confrontando ForgeryTalker con modelli di stato dell'arte (SOTA) sia per la localizzazione che per la generazione di testo.

• Generazione di Report:
  • ForgeryTalker ottiene un punteggio CIDEr di 59.3, superando significativamente i competitor come InstructBLIP (51.7) e LISA-7B (44.1).
  • Dimostra una forte capacità di generalizzazione su dataset esterni (DQ_F++), ottenendo un CIDEr di 113.3 in setting zero-shot, molto superiore ai modelli LVLM generici.
• Localizzazione delle Falsificazioni:
  • Raggiunge un IoU (Intersection over Union) di 73.67 e una Precisione del 91.43%, superando tutti i modelli di localizzazione specializzati e i modelli multimodali di base.
  • La precisione elevata indica che il modello evita di sovrastimare le regioni manipolate (falsi positivi), a differenza di altri modelli che tendono a segmentare eccessivamente.
• Studi Ablativi:
  • La rimozione della FPN causa un crollo delle prestazioni (CIDEr scende a 51.7), dimostrando che i prompt di regione sono cruciali.
  • La fase di Pre-addestramento è essenziale: senza di essa, l'IoU scende del 7.8% e il CIDEr del 4.9%.

4. Contributi Chiave

1. Nuovo Compito e Dataset: Introduzione del compito di "Generazione di Report di Attribuzione" e rilascio di MMTT, il primo dataset su larga scala che combina maschere di precisione pixel-level con descrizioni testuali umane dettagliate.
2. Framework Unificato: Proposta di ForgeryTalker, un modello che integra localizzazione e spiegazione testuale, permettendo un ragionamento cross-modale coerente.
3. Benchmark Completo: Stabilimento di una baseline solida che dimostra come la combinazione di localizzazione e spiegazione porti a risultati superiori rispetto all'uso di compiti separati.

5. Significato e Impatto

Questo lavoro sposta il paradigma della forensica multimediale dalla semplice "verdetto" (vero/falso) alla fornitura di "prove interpretabili".

• Fiducia e Trasparenza: Fornire il "perché" insieme al "dove" aumenta la fiducia degli utenti umani nei sistemi di rilevamento, offrendo evidenze descrittive delle anomalie.
• Ricerca Futura: Il dataset MMTT e il codice di ForgeryTalker sono stati resi pubblici per favorire la ricerca su deepfake spiegabili e affidabili.
• Limitazioni: Il framework non include una classificazione binaria finale (poiché i detector binari sono già maturi) e richiede una fase di pre-addestramento aggiuntiva, aumentando leggermente la complessità computazionale.

In sintesi, il paper rappresenta un passo fondamentale verso sistemi di rilevamento delle manipolazioni facciali non solo precisi, ma anche comprensibili e giustificabili per l'analisi umana.