Beyond Detection: Multi-Scale Hidden-Code for Natural Image Deepfake Recovery and Factual Retrieval

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere una foto digitale preziosa, come un ricordo di famiglia o un'opera d'arte. Oggi, con l'intelligenza artificiale, chiunque può modificare questa foto in pochi secondi: può cancellare una persona, cambiare lo sfondo o persino creare un'immagine falsa che sembra vera al 100%.

Fino ad ora, la tecnologia si è concentrata solo su due cose:

Dire "Ehi, questa foto è falsa!" (Rilevamento).
Indicare "Ecco dove è stata modificata" (Localizzazione).

Ma c'era un problema: nessuno sapeva come ripristinare la foto originale, quella vera, una volta che era stata rovinata. Era come avere un documento strappato e sapere solo dove era stato strappato, ma non avere i pezzi mancanti per ricucirlo.

Questo articolo presenta una soluzione rivoluzionaria: un sistema che non solo dice che una foto è stata manomessa, ma riesce a ricostruirla e a recuperare i dati originali, come se nulla fosse mai successo.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il "Segreto Nascosto" (Il Codice Invisibile)

Immagina di voler nascondere il contenuto di un libro dentro la copertina stessa, senza che si veda nulla.
Gli autori di questo studio hanno inventato un modo per comprimere l'intera "essenza" della foto (i suoi dettagli, i colori, le forme) in un codice segreto minuscolo, come un microchip invisibile.

Come fanno? Usano una tecnica chiamata "quantizzazione multi-scala". Pensa a un puzzle: invece di salvare ogni singolo tassello (che richiederebbe troppo spazio), salvano solo le "istruzioni" per ricomporre il puzzle a diversi livelli di dettaglio (prima la forma generale, poi i contorni, infine i dettagli fini).
Questo codice viene nascosto dentro la foto originale prima che venga distribuita. È come se la foto avesse un doppio fondo che contiene la ricetta segreta per tornare a essere se stessa.

2. Il "Detective" e il "Restauratore"

Quando qualcuno modifica la foto (ad esempio, cancella un oggetto), succede questo:

Il Detective (Localizzazione): Il sistema analizza la foto manomessa e disegna una mappa che dice: "Qui c'è stato un intervento". È come se un restauratore di quadri indicasse esattamente dove la vernice è stata rimossa.
Il Restoratore (Recupero): Il sistema estrae il "codice segreto" nascosto nella foto. Anche se la foto è stata rovinata, il codice è così robusto che sopravvive.
La Magia (Trasformazione): Usando l'intelligenza artificiale, il sistema prende il codice segreto (le istruzioni originali) e la mappa del danno. Immagina un architetto che ha i piani originali di una casa e sa esattamente quali muri sono stati abbattuti. Lui ricostruisce i muri mancanti basandosi sui piani, non su quello che vede ora.

3. Perché è diverso da prima?

In passato, per recuperare una foto, bisognava salvare tutti i pixel originali nascosti nella foto stessa. Era come cercare di nascondere un'intera biblioteca dentro un francobollo: o il francobollo si rompeva (la foto si rovinava) o non ci stava tutto.
Questo nuovo metodo è intelligente: non salva l'immagine "grezza", ma salva le istruzioni logiche per ricostruirla. È come salvare la ricetta di una torta invece di salvare la torta intera. Se la torta viene mangiata, puoi rifarla perfettamente seguendo la ricetta.

4. Il "Passaporto" per le Foto (Recupero Fattuale)

C'è un'altra funzione incredibile: il recupero fattuale.
Immagina di avere una foto di un uccello raro, ma qualcuno ha modificato l'immagine in modo che sembri un altro animale. Il sistema non solo ripara l'uccello, ma è così preciso che, se lo mostri a un archivio di milioni di foto, il sistema riesce a dire: "Ehi! Questa è esattamente la foto dell'uccello X, numero 12345 dell'archivio".
È come se la foto avesse un passaporto digitale che le permette di essere riconosciuta e ritrovata anche dopo essere stata pesantemente modificata.

In Sintesi

Questa ricerca ci dice che il futuro della sicurezza delle immagini non è solo dire "questa è una falsità", ma avere la capacità di riparare la verità.
È come avere un sistema di sicurezza che, se qualcuno rompe una finestra, non suona solo l'allarme, ma ha già in tasca i pezzi di vetro originali pronti per essere rimessi al loro posto, rendendo l'immagine indistruttibile e sempre riconoscibile per la sua verità.

Perché è importante?
Perché in un mondo dove le "fake news" visive sono facili da creare, questo sistema ci dà la possibilità di tornare alla realtà, garantendo che le immagini che vediamo possano essere verificate e, se necessario, riportate alla loro forma originale.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

L'avanzamento rapido degli strumenti di generazione e modifica delle immagini (come Stable Diffusion) ha reso la manipolazione digitale accessibile, sollevando gravi preoccupazioni sull'autenticità dei contenuti.
La ricerca attuale si concentra principalmente su due aspetti:

Rilevamento e Localizzazione: Identificare se un'immagine è falsa e dove sono state apportate le modifiche (es. EditGuard, FakeShield).
Recupero dei Contenuti: Ricostruire le parti originali e manomesse di un'immagine.

Tuttavia, il recupero dei contenuti per il reperimento fattuale (factual retrieval) è stato poco esplorato. I metodi esistenti di recupero automatico (self-recovery) soffrono di limitazioni critiche:

Richiedono l'incorporazione di grandi quantità di informazioni visive (pixel grezzi o coefficienti trasformata), il che richiede una capacità di watermarking elevata e degrada la qualità dell'immagine.
Sono fragili: anche una leggera compressione o rumore distruggono i dati incorporati, rendendo il recupero impossibile.
Spesso si basano su presupposti irrealistici, come la conoscenza preventiva delle regioni manomesse o l'addestramento su coppie di immagini "pulite-manomesse".

L'obiettivo di questo lavoro è superare queste limitazioni proponendo un framework unificato che permetta non solo di rilevare le manipolazioni, ma di recuperare l'immagine originale e reperirla (trovare l'immagine corretta in un database) anche dopo una manipolazione profonda (deepfake), senza conoscere a priori la natura dell'attacco.

2. Metodologia Proposta

Gli autori propongono un framework di recupero basato su codici nascosti multi-scala (Multi-Scale Hidden-Code) che integra quantizzazione vettoriale e modelli Transformer.

A. Rappresentazione Multi-Scala e Quantizzazione

Invece di nascondere i pixel grezzi, il metodo codifica l'immagine in una rappresentazione latente discreta e compatta utilizzando un VQ-VAE (Vector Quantized Variational Autoencoder) con strategia di previsione multi-scala (Next-Scale Prediction, simile a VAR):

L'immagine viene scomposta in una gerarchia di mappe di token quantizzati a diverse risoluzioni (dalla scala più grossolana a quella più fine).
Strategia di Dropout: Durante l'addestramento del VQ-VAE, viene applicato un dropout casuale sulle scale finali. Questo forza il modello a codificare informazioni semantiche significative anche nelle scale iniziali (più basse), distribuendo l'informazione in modo uniforme invece di concentrarla solo nelle scale finali.
I token quantizzati vengono convertiti in un flusso di bit binario ( $h$ ) che rappresenta la "sostanza" semantica dell'immagine, riducendo drasticamente il volume di dati da nascondere rispetto ai pixel grezzi.

B. Watermarking Plug-and-Play

Il framework è progettato per essere compatibile con diverse pipeline di watermarking:

Post-hoc: Il codice nascosto viene incorporato in un'immagine già esistente (es. utilizzando EditGuard).
In-Generation: Il codice viene incorporato durante la generazione dell'immagine (es. utilizzando Gaussian Shading su Stable Diffusion), ottimizzando il rumore iniziale per codificare l'informazione nascosta.
Il sistema estrae sia la mappa di localizzazione delle manipolazioni che il codice nascosto dall'immagine manomessa.

C. Recupero con Transformer Condizionale

Una volta estratto il codice nascosto parziale ( $h'$ ) e la mappa di localizzazione delle modifiche ( $M'_{loc}$ ), il sistema ricostruisce l'immagine originale:

Allineamento: La mappa di localizzazione a livello di pixel viene ridimensionata (patchification) per allinearsi con la risoluzione dei token quantizzati.
Predizione Condizionale: Un decoder Transformer (simile a VAR) predice le scale di token mancanti o corrotte.
Fusione: Per ogni scala, il modello combina i token "puliti" predetti con i token "corrotti" dell'immagine manomessa, guidato dalla maschera di localizzazione. Le aree non toccate vengono mantenute dall'immagine originale, mentre le aree manomesse vengono ricostruite utilizzando le informazioni semantiche estratte dal codice nascosto.

D. Reperimento Fattuale (Factual Retrieval)

Per valutare la qualità del recupero, non si usa solo la similarità visiva, ma si misura la capacità di reperire l'immagine originale in un dataset di riferimento (ImageNet-S). Si utilizza la similarità coseno CLIP tra l'immagine recuperata e le immagini del database per calcolare l'accuratezza Top-k (sia a livello di istanza che di etichetta semantica).

3. Contributi Chiave

Strategia di Watermarking Multi-Scala: Un approccio innovativo che utilizza la quantizzazione latente multi-scala per ottenere un recupero robusto con un sovraccarico (overhead) minimo, superando i limiti dei metodi self-recovery tradizionali basati su LSB (Least Significant Bits).
Meccanismo di Nascondimento Quantizzato: Un meccanismo che bilancia capacità, impercettibilità e robustezza contro compressione e rumore, codificando informazioni semantiche invece di dati grezzi.
Compatibilità Plug-and-Play: Il framework funziona sia con sistemi di watermarking post-hoc che in-generation, permettendo un'integrazione flessibile.
Benchmark ImageNet-S: Gli autori hanno creato un nuovo dataset di benchmark (ImageNet-S) che fornisce triplette (immagine pulita, etichetta, maschera di manipolazione) per valutare in modo standardizzato il recupero e il reperimento fattuale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet-S con manipolazioni generate tramite Stable Diffusion.

Accuratezza di Reperimento (Retrieval Accuracy): Il metodo proposto supera significativamente gli stati dell'arte (inclusi HiNet, RePaint, VQGAN, VAR).
- Con il modello completo (Hidden Code + Conditional Transformer), si ottiene un'accuratezza Top-1 di etichetta del 92,31% e un'accuratezza Top-1 di immagine del 87,44% nel caso in cui l'immagine originale sia presente nel dataset.
- Anche nel caso "Different samples" (l'immagine originale non è nel dataset, ma si cerca la classe corretta), l'accuratezza Top-1 di etichetta raggiunge il 49,68%, molto superiore ai baselines.
Qualità dell'Immagine: Il metodo ottiene punteggi SSIM e PSNR superiori rispetto ai metodi di inpainting tradizionali (RePaint) e di nascondimento dati (HiNet), preservando meglio la coerenza strutturale e contestuale.
Robustezza: Il sistema mantiene un'accuratezza dei bit (Bit Accuracy) vicina al 100% anche sotto attacchi comuni come compressione JPEG, sfocatura gaussiana e rumore, a differenza dei metodi self-recovery tradizionali che falliscono drasticamente.
Resistenza alla Forgery: Il sistema utilizza un "Watermark Dipendente dal Contenuto" (CDW). Gli esperimenti mostrano che tentativi di trasferire il watermark su altre immagini falliscono (l'attaccante non riesce a far corrispondere il codice nascosto all'immagine target), spingendo l'accuratezza dell'attacco verso il caso casuale (0.5).

5. Significato e Impatto

Questo lavoro sposta il paradigma dalla semplice rilevazione dei deepfake al recupero attivo e alla verifica fattuale.

Oltre la Localizzazione: Dimostra che è possibile non solo dire "questa immagine è stata modificata", ma anche "ecco come era prima" e "questa è l'immagine originale nel database".
Efficienza: Risolve il problema del compromesso tra capacità di recupero e robustezza, dimostrando che informazioni semantiche compatte (token quantizzati) sono più efficaci dei dati grezzi per il recupero in scenari reali.
Standardizzazione: L'introduzione di ImageNet-S fornisce una base solida per la ricerca futura sul recupero di immagini manomesse e sul ripristino basato su watermarking.

In sintesi, il paper propone una soluzione robusta e scalabile per la protezione dell'integrità delle immagini naturali, capace di ripristinare contenuti persi e verificare l'autenticità fattuale anche in presenza di manipolazioni complesse e degradazioni.