All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark

Questo lavoro propone LIDMark, un framework proattivo unificato che sfrutta un innovativo filigrana basato su landmark e identità per rilevare, localizzare e tracciare in modo robusto i deepfake in un'unica soluzione.

L'essenziale

Immagina di essere un detective digitale che deve risolvere un caso molto complicato: qualcuno ha rubato la faccia di una persona famosa, l'ha incollata su un video falso e ora sta cercando di ingannare il mondo.

In passato, i detective avevano tre strumenti separati:

1. Uno per dire "È falso?" (Rilevamento).
2. Uno per dire "Dove hanno incollato la faccia?" (Localizzazione).
3. Uno per dire "Chi ha creato questo falso?" (Tracciamento).

Il problema? Questi strumenti non parlavano tra loro. Se ne usavi uno, gli altri due rimanevano spenti. Era come avere tre chiavi diverse per aprire tre serrature diverse, invece di avere una sola chiave universale.

Gli autori di questo studio, Junjiang Wu e Liejun Wang, hanno creato una soluzione rivoluzionaria chiamata LIDMark. Ecco come funziona, spiegato in modo semplice:

1. L'Impronta Digitale Invisibile (Il "LIDMark")

Immagina di avere una foto di una persona. Gli autori ci "nascondono" dentro un messaggio segreto invisibile all'occhio umano, come un'ombra che non vedi ma che c'è. Questo messaggio è composto da due parti mescolate insieme:

• La Mappa Geometrica (136 punti): È come un'impalcatura invisibile che traccia esattamente dove sono gli occhi, il naso e la bocca nella foto originale. È sensibile: se qualcuno prova a spostare l'occhio o a cambiare il naso, questa mappa si "rompe" o si deforma.
• Il Codice Segreto (16 bit): È come un numero di serie unico, come un codice fiscale digitale, che dice "Questa foto è nata dal computer di Mario". Questo codice è fatto di materiale molto resistente, come il diamante: anche se la foto viene manipolata, tagliata o compressa, questo codice sopravvive.

2. Il Detective Intelligente (Il "Decodificatore FHD")

Per leggere questo messaggio segreto, hanno costruito un nuovo tipo di detective chiamato FHD (Factorized-Head Decoder).
Immagina che questo detective abbia due "cervelli" che lavorano insieme partendo dalla stessa immagine:

• Il Cervello Matematico (Regressione): Guarda la foto e prova a ridisegnare la "mappa geometrica" originale. Se la mappa che ridisegna corrisponde perfettamente a quella che vede nella foto, allora la foto è vera. Se i punti non coincidono (ad esempio, il naso ridisegnato è in un punto diverso da quello reale), allora il detective grida: "FALSO!" e ti mostra esattamente dove è stato modificato.
• Il Cervello Archivista (Classificazione): Guarda la stessa foto e cerca il "codice segreto" resistente. Anche se la foto è stata distrutta o manipolata, questo cervello riesce a recuperare il nome di chi ha creato l'immagine originale.

3. La Magia del "Tutto in Uno"

La vera innovazione è che questo sistema fa tutto contemporaneamente con un solo controllo.

• Rilevamento: Se la mappa geometrica non corrisponde, è un falso.
• Localizzazione: Se solo una parte della mappa non corrisponde (es. solo la bocca), sai esattamente dove è stata manipolata.
• Tracciamento: Se riesci a leggere il codice segreto, sai chi ha generato l'immagine, anche se è un falso.

Perché è importante?

Prima, dovevi scegliere: o volevi sapere se era falso, o volevi sapere chi l'aveva fatto. Ora, con LIDMark, hai una soluzione "tutto incluso". È come avere un'auto che non solo ti dice se la strada è bloccata, ma ti dice anche esattamente dove è l'ostacolo e chi ha messo il cartello di "lavori in corso".

In sintesi, hanno creato un sistema che:

1. Non si vede: L'immagine rimane perfetta, senza macchie o distorsioni.
2. È resistente: Sopravvive anche se la foto viene modificata pesantemente dai software di Deepfake.
3. È completo: Risponde a tutte e tre le domande fondamentali: "È vero?", "Dove è falso?" e "Chi l'ha fatto?".

È un passo enorme per proteggere la nostra privacy e la verità nell'era dell'intelligenza artificiale, rendendo molto più difficile ingannare le persone con volti falsi.

Sommario tecnico

1. Il Problema

Con il rapido avanzamento delle tecnologie di deepfake, le manipolazioni facciali maliziose rappresentano una minaccia crescente per la privacy e la sicurezza sociale. Le attuali soluzioni di forensica proattiva (che incorporano segnali impercettibili nelle immagini per prevenire o rilevare manipolazioni) soffrono di due limitazioni principali:

• Frammentazione dei compiti: I metodi esistenti trattano la rilevazione dei deepfake, la localizzazione delle manipolazioni e la tracciabilità della fonte come compiti indipendenti o al massimo accoppiati (doppia funzione), richiedendo architetture complesse con decodificatori multipli.
• Mancanza di localizzazione: Anche i metodi a doppia funzione si concentrano sulla verifica dell'autenticità (reale/falso) e sull'identificazione della fonte, ma falliscono nel rispondere alla domanda cruciale: "Dove è stata manipolata l'immagine?". La capacità di individuare le regioni specifiche del volto alterate è essenziale per un'analisi forense granulare.

Non esiste attualmente un quadro unificato in grado di eseguire contemporaneamente queste tre funzioni fondamentali (rilevamento, localizzazione, tracciamento) con un singolo payload di watermark.

2. Metodologia Proposta: LIDMark

Gli autori propongono LIDMark, un framework proattivo unificato basato su un nuovo tipo di watermark e un'architettura di decodifica innovativa.

A. Il Watermark LIDMark (152-D)

Il cuore della soluzione è un payload composito di 152 dimensioni che intreccia strutturalmente due flussi di informazioni eterogenei:

1. Vettore di Landmark Facciali ($W_L$, 136-D): Un vettore che codifica la geometria fine-granulare del volto (68 punti landmark normalizzati). Questo componente è sensibile alle manipolazioni (semi-fragile) e serve per il rilevamento e la localizzazione.
2. Identificatore di Fonte ($W_{ID}$, 16-D): Un vettore bipolare robusto derivato da un hash SHA-256 del nome del file. Questo componente è robusto alle manipolazioni e serve per la tracciabilità della fonte.

B. Architettura di Rete: Factorized-Head Decoder (FHD)

Per incorporare e recuperare in modo robusto questo watermark complesso, gli autori progettano un framework end-to-end composto da:

• Encoder: Una rete a due flussi che fonde l'immagine originale e il watermark, preservando la fedeltà visiva.
• Stochastic Manipulation Operator: Simula durante l'addestramento una vasta gamma di distorsioni comuni (rumore, compressione JPEG) e manipolazioni deepfake (es. SimSwap, UniFace, StarGAN-v2) per garantire la generalizzazione.
• Factorized-Head Decoder (FHD): Un'architettura innovativa che, invece di utilizzare decodificatori separati, utilizza un backbone condiviso i cui feature vengono decomposti in due testine specializzate (factorized heads):
  • Testina di Regressione: Recupera il vettore continuo dei landmark facciali ($\hat{W}_L$).
  • Testina di Classificazione: Recupera l'identificatore di fonte ($\hat{W}_{ID}$).

C. Meccanismo di Rilevamento: "Intrinsic-Extrinsic" Consistency Check

Questa è la chiave per unificare rilevamento e localizzazione in modo "blind" (senza bisogno dell'immagine originale):

1. Il decoder FHD recupera i landmark "intrinseci" ($\hat{W}_L$) dall'immagine manipolata.
2. Un algoritmo esterno di allineamento facciale rileva i landmark "estrinseci" ($W_{new}$) direttamente dall'immagine manipolata.
3. Rilevamento: Se la distanza euclidea media (AED) tra i due set di landmark è alta, l'immagine è un deepfake.
4. Localizzazione: Calcolando l'AED per singole regioni semantiche (es. occhi, bocca), è possibile identificare esattamente quali parti del volto sono state alterate.

3. Contributi Chiave

1. Primo Framework "All-in-One": È la prima soluzione proattiva in grado di unificare rilevamento, localizzazione e tracciamento in un unico modello.
2. Nuovo Watermark Ibrido (LIDMark): Introduce il primo payload che combina strutturalmente un vettore geometrico sensibile alle modifiche (136-D) con un identificatore robusto (16-D).
3. Factorized-Head Decoder (FHD): Un'architettura che risolve il compromesso (trade-off) tra la natura diversa della regressione (landmark) e della classificazione (identificatore), permettendo l'ottimizzazione congiunta.
4. Meccanismo di Consistenza Intrinseca-Estrinseca: Abilita la localizzazione delle manipolazioni senza richiedere l'immagine originale o i landmark ground-truth durante l'inferenza.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset CelebA-HQ e LFW contro diversi stati dell'arte (es. SepMark, DiffMark, KAD-Net, LampMark).

• Qualità Visiva (Impercettibilità): LIDMark supera o eguaglia i metodi esistenti, ottenendo un PSNR di 44.31 e SSIM di 0.99 a 256x256, nonostante incorpori un payload molto più grande (152 bit vs 30-128 bit dei competitor).
• Robustezza alla Tracciabilità (BER): Sotto attacchi deepfake severi, LIDMark mantiene un tasso di errore dei bit (BER) medio significativamente più basso rispetto ai baselines. Ad esempio, contro SimSwap, LIDMark ottiene un BER dello 0.02% (vs >20% per molti baselines).
• Rilevamento e Localizzazione: La distribuzione della distanza euclidea media (AED) mostra una chiara separabilità tra distorsioni comuni (basso AED) e manipolazioni deepfake (alto AED). Il sistema raggiunge un punteggio AUC di 0.9388 per il rilevamento.
• Generalizzazione: Il modello addestrato su CelebA-HQ generalizza efficacemente su LFW (dataset non visto), mantenendo alta fedeltà e robustezza nella tracciabilità.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella forensica digitale proattiva. Superando la necessità di architetture duali o triple separate, LIDMark offre una soluzione compatta ed efficiente che risponde a tutte le domande fondamentali di un'indagine forense:

1. L'immagine è autentica? (Rilevamento)
2. Dove è stata manipolata? (Localizzazione)
3. Da dove proviene? (Tracciamento)

La capacità di fornire prove granulari sulla localizzazione delle manipolazioni, combinata con la tracciabilità della fonte, rende questo strumento potente non solo per la rilevazione automatica, ma anche per fornire evidenze oggettive in contesti legali e di verifica dei fatti, contrastando l'erosione della fiducia nel principio "vedere è credere".