💻 computer science

CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection

Questo articolo introduce CUPID, un rilevatore di deepfake di persone di interesse robusto, efficiente e interpretabile che sfrutta mappe di texture UV e Autoencoder Mascherati per identificare video contraffatti senza richiedere dati deepfake o identità specifiche del target durante l'addestramento, fornendo al contempo mappe di residui visivi per evidenziare le regioni facciali manipolate.

Autori originali: Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

Pubblicato 2026-07-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di individuare una foto falsa di una celebrità. Di solito, potresti socchiudere gli occhi per guardare i loro occhi o controllare se i denti sembrano strani. Ma cosa succederebbe se il falso fosse così buono che anche un essere umano non riesce a distinguere la differenza? È qui che entra in gioco CUPID. È un nuovo detective digitale progettato per catturare i deepfake di "Persone di Interesse" (POI): quei video spaventosi in cui attori malintenzionati scambiano il volto di una persona reale su un corpo falso o la fanno dire cose che non ha mai detto.

Ecco il colpo di scena: CUPID non ha bisogno di vedere un singolo video falso per imparare come catturarli. Anzi, il documento argomenta esplicitamente contro il vecchio modo di fare le cose, in cui era necessario addestrare un robot separato e speciale per ogni singola celebrità usando migliaia di esempi falsi. Gli autori dimostrano che questo vecchio metodo è lento, richiede troppi dati e spesso fallisce quando il video viene compresso o ridimensionato (come quando guardi un video su una connessione telefonica instabile). Invece, CUPID impara da solo video reali di molte persone diverse per capire cosa sia un volto "autentico", e poi usa questa conoscenza per individuare i falsi, anche di persone che non ha mai incontrato prima.

La Mappa Magica: Svolgere il Volto

Quindi, come funziona? Immagina che il volto di una celebrità sia una scultura di argilla 3D. Se scatti una foto, il naso potrebbe sembrare diverso a seconda dell'angolazione, o l'illuminazione potrebbe rendere la guancia scura. Questo rende difficile per i computer confrontare i volti.

CUPID usa un trucco ingegnoso chiamato Mappa di Texture UV. Pensa a questo come al prendere quel volto di argilla 3D, sbucciare la pelle come un adesivo e stenderla piatta su un tavolo. Su questa mappa piatta, il naso è sempre nello stesso punto, gli occhi sono sempre nello stesso punto e la bocca è sempre nello stesso punto, indipendentemente da come la persona gira la testa o sorride. Questa "mappa piatta" elimina la confusione di angoli e illuminazione, fornendo al computer un modello pulito e standardizzato con cui lavorare.

Il Gioco del "Riempimento degli Spazi Vuoti"

Una volta che il volto è stato appiattito in questa mappa, CUPID gioca a un gioco chiamato "Masked Autoencoding" (Autoencoding Mascherato). Immagina di avere un puzzle, ma qualcuno ha coperto il 50% dei pezzi con del nastro adesivo nero. CUPID guarda i pezzi visibili e cerca di indovinare cosa c'è sotto il nastro.

Per diventare davvero bravo, CUPID si addestra su una vasta libreria di video reali (da un dataset chiamato VoxCeleb2 con oltre 6.000 persone diverse). Impara che se vede un occhio sinistro, il naso dovrebbe trovarsi a una certa distanza, e che la bocca dovrebbe avere una forma specifica. Impara le "regole" di come sono costruiti i veri volti umani. Il documento prova che, padroneggiando queste regole usando solo dati reali, il sistema diventa un esperto nel notare quando un volto rompe quelle regole.

Catturare l'Impostore

Quando arriva un nuovo video — ad esempio, un filmato di un politico che potrebbe essere falso — CUPID sbuccia quel volto in una mappa UV e cerca di inserirlo nel modello di "volto reale" che ha appreso.

Se è reale: Il volto si adatta perfettamente al modello. Il computer dice: "Sì, questo corrisponde al pattern di un vero essere umano".
Se è un deepfake: L'IA cerca di riempire i vuoti, ma il volto falso presenta glitch strani o forme impossibili. Il computer dice: "Ehi, il naso è nel posto sbagliato per questo modello! Questo è un falso".

Il documento dimostra che questo metodo è estremamente robusto. Anche quando i video vengono rimpiccioliti a dimensioni minuscole o schiacciati con una pesante compressione (come quando scarichi un video dai social media), CUPID continua a funzionare. In test su quattro diversi dataset, ha superato altri rilevatori di alto livello, specialmente in queste condizioni di "bassa qualità" in cui altri falliscono. Ad esempio, sul dataset "FakeAVCeleb", quando i video erano compressi, CUPID manteneva un punteggio di accuratezza elevato (circa l'87,5%), mentre altri metodi subivano un calo significativo.

Il "Perché" dietro il Verdetto

Una delle caratteristiche più interessanti è che CUPID è interpretabile. La maggior parte dei rilevatori IA fornisce solo una risposta "Sì/No". CUPID, tuttavia, può mostrarti perché pensa che un video sia falso. Genera una "mappa di calore" (heat map) che evidenzia esattamente quale parte del volto è sospetta.

Se il deepfake ha scambiato la bocca, la mappa di calore brilla di rosso intorno alle labbra.
Se gli occhi sembrano strani, il bagliore si sposta sugli occhi.
Il documento dimostra questo fatto mostrando che, per i video falsi, questi "punti di bagliore" sono molto più luminosi e concentrati rispetto ai video reali, fornendo agli investigatori un indizio visivo su cui fare affidamento.

Velocità ed Efficienza

Infine, CUPID è un velocista. Mentre altri metodi potrebbero scansionare ogni singolo fotogramma di un video lungo (il che richiede una vita), CUPID ha solo bisogno di guardare 10 fotogrammi dall'intero clip per prendere una decisione. Questo lo rende 32 volte più veloce del precedente miglior metodo per il rilevamento delle celebrità. Gli autori hanno misurato questo dato su oltre 2.000 video, riscontrando che CUPID impiega in media solo 0,155 secondi per video, rispetto ai quasi 5 secondi del concorrente.

Cosa Non Fa (Ancora)

È importante sapere che CUPID non è perfetto. Il documento nota che ha avuto un po' più di difficoltà con un dataset chiamato KoDF, che presenta soggetti coreani. Gli autori suggeriscono che ciò sia dovuto al fatto che i loro dati di addestramento non contenevano abbastanza persone di quella specifica etnia, mostrando che il sistema può ancora essere sensibile alle differenze etniche. Inoltre, sebbene sia ottimo nel rilevare scambi di volto, non modella esplicitamente come una persona si muove nel tempo (come il lip-syncing), quindi potrebbe non catturare ancora ogni singolo tipo di falso guidato dall'audio.

In breve, CUPID è un nuovo tipo di rilevatore di menzogne che non ha bisogno di vedere una menzogna per sapere che aspetto ha. Appiattendo i volti in mappe e giocando al "riempimento degli spazi vuoti" con dati reali, costruisce un senso super affilato di cosa sia un vero essere umano, permettendogli di individuare i falsi rapidamente, anche quando la qualità del video è terribile.

Riepilogo Tecnico: CUPID – Ricostruzione di Mappe di Texture UV per il Rilevamento di Deepfake di Persone di Interesse

Problematica

La proliferazione dell'IA generativa ha permesso la creazione di deepfake altamente realistici che prendono di mira specifiche persone di alto profilo, note come Persone di Interesse (POI - Person-of-Interest). Questi media sintetici rappresentano una significativa minaccia per i processi democratici e la fiducia sociale. Sebbene la comunità forense abbia sviluppato metodi specializzati per rilevare i deepfake di tipo POI, le soluzioni esistenti affrontano una triade critica di sfide:

Robustezza: Molti metodi faticano a mantenere le prestazioni sotto comuni operazioni di post-processing come la compressione e il ridimensionamento (downscaling).
Efficienza: Gli attuali rilevatori richiedono spesso un'inferenza computazionalmente costosa, in particolare quelli che utilizzano strategie a finestra scorrevole (sliding-window).
Interpretabilità: Pochi metodi forniscono spiegazioni visive intuitive sul perché un video venga segnalato come falso, limitando la loro utilità nell'analisi forense.

Inoltre, gli approveri approcci specifici per i POI spesso richiedono l'addestramento di un modello separato per ogni identità target (richiedendo grandi quantità di dati specifici) o non riescono a generalizzare bene su identità non viste senza un esteso calibramento.

Metodologia

Gli autori propongono CUPID (ReConstructing UV texture maps for Person-of-Interest Deepfake detection), un rilevatore puramente visivo che opera senza richiedere campioni di deepfake durante l'addestramento e rimane agnostico rispetto al POI durante la fase di addestramento. La pipeline consiste in tre fasi principali:

1. Estrazione della Mappa di Texture UV

Invece di elaborare i fotogrammi video grezzi, CUPID converte l'aspetto facciale in mappe di texture UV.

Processo: Per ogni fotogramma, un Modello Morfo-3D (3DMM) viene adattato al volto. Il modello proietta la texture facciale su uno spazio UV 2D canonico.
Vantaggio: Questa rappresentazione stabilisce una corrispondenza semantica densa; coordinate di pixel specifiche nella mappa UV corrispondono alla stessa regione facciale (ad esempio, punta del naso, occhi) attraverso tutte le identità, pose ed espressioni. Ciò disaccoppia le caratteristiche di identità dalle variazioni di posa ed espressione, fornendo un input standardizzato che migliora la robustezza al post-processing.

2. Addestramento di un Autoencoder con Mascheramento (MAE)

Un Autoencoder con Mascheramento (Masked Autoencoder) basato su Vision Transformer (ViT) viene addestrato esclusivamente su dati video reali (VoxCeleb2) per apprendere uno spazio latente generale dell'identità facciale.

Architettura: L'encoder elabora le patch visibili della mappa di texture UV, mentre un decoder leggero ricostruisce le patch mascherate.
Obiettivo di Addestramento: Il modello è ottimizzato utilizzando una funzione di perdita congiunta composta da:
- Perdita di Ricostruzione Mascherata ( $L_{rec}$ ): MSE per pixel sulle patch mascherate per apprendere rappresentazioni di texture ricche.
- Perdita Contrastiva ( $L_{cont}$ ): Una perdita NT-Xent multi-layer che raggruppa gli embedding della stessa identità e separa identità diverse attraverso molteplici profondità dell'encoder.
- Perdita Percezionale ( $L_{perc}$ ): Una perdita basata su VGG-16 per garantire ricostruzioni percettivamente coerenti e sopprimere gli artefatti di griglia.
Risultato: L'encoder risultante produce embedding discriminanti dell'identità che si generalizzano a soggetti non visti.

3. Inferenza e Rilevamento

Durante la fase di test, il sistema opera in uno scenario a set aperto:

Costruzione del Set di Riferimento: Un set di video di riferimento pristini per il target POI viene codificato nello spazio latente per formare una distribuzione di riferimento (rappresentata dal centroide degli embedding CLS).
Punteggio di Similiarità: Un video di test viene codificato e i suoi embedding vengono confrontati con la distribuzione di riferimento utilizzando una funzione di similarità a coppie (massimo prodotto interno).
Decisione: Se il punteggio di similarità scende al di sotto di una soglia $\gamma$ , il video viene classificato come falso.

4. Meccanismo di Interpretabilità

CUPID sfrutta la natura strutturata delle mappe UV e lo spazio latente per generare mappe di residuo:

Il sistema decodifica lo spostamento latente tra il video di test e il centroide di riferimento.
Sottraendo la variabilità "naturale" osservata nel set di riferimento, il metodo produce una mappa che evidenzia le regioni facciali specifiche in cui il video di test devia significativamente dall'identità genuina del POI. Ciò fornisce prove visive di manipolazione (ad esempio, anomalie intorno alla bocca o agli occhi).

Contributi Chiave

Nuovo Rilevatore POI: Introduzione di CUPID, che combina mappe di texture UV con un MAE addestrato esclusivamente su dati reali. Apprende una rappresentazione generale consapevole dell'identità applicabile a POI non visti al tempo dell'inferenza.
Framework di Interpretabilità: Una procedura che utilizza lo spazio UV e le rappresentazioni latenti per generare mappe di residuo a livello di soggetto, offrendo spiegazioni visive intuitive per le decisioni di rilevamento.
Valutazione Esaustiva: Benchmarking esteso rispetto ai rilevatori generali allo stato dell'arte e a un baseline specifico per i POI su quattro dataset (DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak) sia in configurazioni ad Alta Qualità (HQ) che a Bassa Qualità (LQ).

Risultati Sperimentali

Gli esperimenti dimostrano che CUPID raggiunge prestazioni superiori in diverse aree chiave:

Robustezza: CUPID supera gli attuali metodi allo stato dell'arte, in particolare sotto forte compressione e ridimensionamento (configurazioni LQ). Mentre i baseline generali subiscono un calo di prestazioni medio di circa 24 punti nelle impostazioni LQ, la performance di CUPID degrada di soli ~3,2 punti.
Prestazioni: Raggiunge la migliore robustezza complessiva e una precisione competitiva nelle impostazioni HQ, superando spesso il baseline specifico per i POI (POI-Forensics) in quasi tutti i dataset.
Efficienza: CUPID è significativamente più veloce, raggiungendo velocità di inferenza 32 volte superiori rispetto a POI-Forensics. Ciò è attribuito alla sua strategia di campionamento di un numero fisso e piccolo di fotogrammi (10) per video, indipendentemente dalla durata della clip, a differenza dei competitor che utilizzano approcci a finestra scorrevole che scalano con la lunghezza del video.
Stabilità della Soglia: Il metodo mostra una distribuzione più compatta di soglie decisionali ottimali tra i soggetti, indicando che richiede meno calibrazione per soggetto rispetto ai rilevatori POI esistenti.
Interpretabilità: L'analisi qualitativa delle mappe di residuo conferma che i video falsi producono valori di attivazione più elevati in specifiche regioni facciali coerentemente con le tecniche di manipolazione utilizzate (ad esempio, artefatti di blending nei face-swap).

Significato e Limitazioni

Il paper sostiene che CUPID dimostri che la ricostruzione contestuale dell'identità e i segnali di similarità derivati dalle rappresentazioni facciali UV forniscono un segnale forte per il rilevamento dei deepfake, anche senza esposizione a dati falsi durante l'addestramento. Ciò suggerisce che la natura strutturata delle mappe UV isoli efficacemente le caratteristiche di identità dagli artefatti di manipolazione.

Gli autori riconoscono due limitazioni primarie:

Dinamiche Temporali: La attuale rappresentazione puramente video è centrata sull'identità e non modella esplicitamente l'espressività temporale, il che potrebbe limitarne l'efficacia contro le manipolazioni di tipo LipSync.
Bias Etnico: Il metodo ha mostrato risultati leggermente più deboli sul dataset KoDF (focalizzato su soggetti coreani), suggerendo una sensibilità ai cambiamenti di distribuzione legati all'etnia a causa della mancanza di diversità demografica nel dataset di addestramento (VoxCeleb2).

Gli autori concludono che il lavoro futuro si concentrerà sull'incorporare dinamiche specifiche per il soggetto e sull'addestramento su dataset etnicamente più diversificati per migliorare l'equità e la generalizzazione.