💻 computer science

Active Image Manipulation Detection and Localization using TransUNet for Fragile Watermarking

Questo articolo propone un nuovo framework di Active Image Manipulation Detection and Localization (AIMDL) che sfrutta TransUNet per una generazione e un recupero del watermark robusti, combinato con un modulo forense multi-head UNet, per ottenere un rilevamento delle manipolazioni ad alta precisione e una localizzazione a livello di pixel bilanciando dinamicamente la trasparenza e la robustezza del watermark.

Autori originali: Zohaib Hamdule, Venkatanareshbabu Kuppili

Pubblicato 2026-07-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zohaib Hamdule, Venkatanareshbabu Kuppili

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo digitale come una gigantesca e vivace galleria d'arte dove chiunque può entrare, prendere un capolavoro e segretamente ridipingere alcune pennellate prima di appenderlo di nuovo. Nell'era moderna, potenti strumenti di fotoritocco rendono incredibilmente facile alterare le immagini — rimuovere una persona da una folla, cambiare uno sfondo o scambiare un volto — lasciando spesso nessuna traccia ovvia per l'occhio nudo. Questo crea un problema complicato: come facciamo a sapere se una foto è la verità originale o un falso ingegnoso? Gli scienziati che studiano questo fenomeno sono chiamati esperti di "digital forensics" (forense digitale). Di solito cercano di risolvere l'enigma cercando piccoli indizi invisibili lasciati dal processo di editing, come un detective che cerca la polvere su il davanzale di una finestra. Questo è chiamato rilevamento "passivo", e sebbene sia utile, è spesso come cercare di indovinare chi ha toccato il vetro guardando solo la macchia; non è sempre preciso.

Per ottenere una risposta migliore, alcuni esperti utilizzano una strategia diversa chiamata rilevamento "attivo". Invece di aspettare i segnali, inseriscono una "impronta digitale" segreta e invisibile direttamente nella foto nel momento stesso in cui viene creata. Pensate a questo come a una guardia giurata che appone un piccolo segno d'inchiostro invisibile su un dipinto prima che lasci lo studio. Se qualcuno tenta di manomettere il dipinto in seguito, quell'inchiostro invisibile si macchia o si rompe. Controllando l'inchiostro, la guardia può non solo dire: "Questo dipinto è stato toccato", ma può anche indicare esattamente il punto in cui è avvenuto il danno. La grande sfida, tuttavia, è che questo inchiostro invisibile è un po' un gioco di equilibrio. Se l'inchiostro è troppo tenue per essere visto, si rompe facilmente quando la foto viene compressa o ridimensionata per internet. Se è troppo forte per sopravvivere a questi cambiamenti, diventa visibile e rovina la bellezza dell'immagine. L'obiettivo è trovare la zona perfetta di "Goldilocks" (il giusto mezzo) dove l'inchiostro sia invisibile agli umani ma abbastanza resistente da sopravvivere a internet, pur essendo abbastanza fragile da frantumarsi se un criminale tenta di modificare l'immagine.

Questo articolo presenta un nuovo sistema ad alta tecnologia progettato per risolvere questo equilibrio utilizzando un tipo intelligente di intelligenza artificiale chiamato TransUNet. I ricercatori, Zohaib Hamdule e Venkatanareshbabu Kuppili del National Institute of Technology Goa, hanno costruito una pipeline digitale che agisce come un maestro falsario e un super-detective uniti in uno. Il loro sistema prende prima un'immagine pulita e utilizza l'architettura TransUNet per incorporare un watermark (filigrana) fragile e invisibile. Questo non è solo un timbro statico; è un segnale dinamico che il sistema impara a proteggere contro il normale traffico internet (come la compressione JPEG), ma che lascia rompere istantaneamente se qualcuno prova a tagliare o copiare e incollare parti dell'immagine.

La magia avviene durante la fase di addestramento. I ricercatori hanno insegnato alla loro IA simulando un ambiente caotico. Prendevano un'immagine, applicavano "rumore benigno" (come innocenti regolazioni della luminosità o ridimensionamenti) per insegnare al watermark a essere resistente, e poi applicavano "manipolazioni maliziose" (come il taglio e l'incollamento di oggetti) per insegnare al sistema a individuare il crimine. Crucialmente, hanno anche insegnato all'IA a ignorare qualsiasi modifica effettuata prima che il watermark venisse aggiunto, assicurandosi che tracci solo le manipolazioni che avvengono dopo che l'immagine è stata messa in sicurezza. Una volta incorporato il watermark, una seconda parte del sistema, un "Modulo Forense", agisce come il detective. Tenta di recuperare il watermark e, se il watermark è rotto o mancante in certe zone, individua esattamente dove è avvenuta la manipolazione, fino al singolo pixel.

I risultati di questo studio dimostrano che il sistema è altamente efficace. Quando testato, il framework ha raggiunto un'accuratezza di autenticazione (sapere se un'immagine è reale o falsa) e un'accuratezza di rilevamento superiori a 0,95 (o 95%). Ancora più impressionante, quando si è trattato di localizzare esattamente dove è avvenuta la manipolazione, il sistema ha ottenuto un punteggio di Intersection over Union (IoU) superiore a 0,85, il che significa che l'area segnalata come "manomessa" corrispondeva molto da vicino all'area effettivamente manomessa. I ricercatori hanno anche scoperto di poter regolare il sistema per adattarlo a diverse esigenze. Regolando un "fattore di scala del watermark" (testando specificamente i valori di 0,10 e 0,05), potevano scambiare tra quanto l'acqua fosse invisibile e quanto fosse forte la protezione forense. Ad esempio, con un fattore di scala di 0,10, il sistema ha raggiunto un'accuratezza di rilevamento di 0,9683 e un F1-score di localizzazione di 0,9123, sebbene la qualità dell'immagine (misurata tramite PSNR) sia scesa a 36,7034. Al contrario, un fattore di scala inferiore di 0,05 offriva un migliore equilibrio per alcune applicazioni, raggiungendo la massima performance forense a scale di test inferiori mantenendo l'immagine più pulita.

L'articolo esclude esplicitamente l'idea che questo sistema funzioni su immagini che sono già state modificate prima che il watermark venisse aggiunto; esso rileva solo i cambiamenti avvenuti dopo che il watermark è stato incorporato. Chiarisce inoltre che, sebbene il sistema sia robusto contro le trasformazioni routinarie di internet come la compressione e il ridimensionamento, è progettato per essere "semi-fragile", ovvero è destinato a rompersi sotto manipolazioni maliziose. Gli autori non sostengono che questo sia una soluzione perfetta e insolubile per sempre, quanto piuttosto un framework robusto che dimostra con successo un alto livello di accuratezza e una precisa localizzazione. Suggeriscono che, permettendo agli utenti di regolare dinamicamente la forza del watermark, questo approccio offre un modo affidabile per proteggere le immagini digitali contro la crescente minaccia delle sofisticate manipolazioni fotografiche.

Sintesi Tecnica: Rilevamento e Localizzazione di Manipolazioni d'Immagine Attive tramite TransUNet per Watermarking Fragile

Problematica
La proliferazione di strumenti avanzati di editing fotografico ha creato una necessità critica di forense digitale robusta. Mentre i metodi forensi passivi (forensics cieca) analizzano gli artefatti statistici per rilevare le manipolazioni, essi spesso mancano della precisione necessaria per una localizzazione spaziale accurata. Il Rilevamento e la Localizzazione di Manipolazioni d'Immagine Attive (AIMDL) offre un'alternativa superiore incorporando dati di autenticazione al momento della creazione dell'immagine. Tuttavia, l'AIMDL affronta un compromesso fondamentale: la trasparenza del watermark (invisibilità) rispetto alla robustezza. I watermark altamente invisibili sono spesso fragili e facilmente distrutti da trasformazioni benigne come la compressione JPEG, mentre i watermark robusti possono introdurre artefatti visibili. Inoltre, i sistemi esistenti faticano a distinguere tra le caratteristiche preesistenti dell'immagine e le manipolazioni post-watermarking, o a scalare efficacemente su media ad alta risoluzione senza compromettere l'accuratezza forense.

Metodologia
Gli autori propongono un nuovo framework AIMDL che integra architetture TransUNet per la generazione e il recupero del watermark con un Modulo Forense basato su Multi-Head UNet per l'autenticazione e la localizzazione. Il sistema opera attraverso il seguente processo:

Architettura:
- Moduli Encoder/Recupero: Utilizzano TransUNet per combinare le capacità di estrazione delle caratteristiche spaziali delle CNN con la modellazione delle dipendenze globali dei Transformer. Ciò consente la generazione di watermark specifici per l'immagine e il loro successivo recupero anche dopo l'elaborazione dell'immagine.
- Modulo Forense: Una Multi-Head UNet che elabora il watermark recuperato per eseguire simultaneamente tre compiti: autenticazione (verifica della sorgente dell'immagine), rilevamento della manipolazione (identificazione se è avvenuta una manipolazione) e localizzazione spaziale (individuazione esatta dei pixel manipolati).
Strategia di Addestramento:
- Moduli di Rumore Benigno e Manipolazione: Durante l'addestramento, il sistema simula un ambiente realistico. Un "Modulo di Rumore Benigno" applica trasformazioni non maligne (compressione, regolazioni di luminosità/contrasto) per garantire che il watermark sopravviva all'elaborazione di routine. Un "Modulo di Manipolazione" applica modifiche maligne (splicing, copy-move, cancellazione casuale) dopo l'incorporazione del watermark.
- Manipolazione Pre-Watermarking: Fondamentalmente, le manipolazioni vengono applicate anche prima del watermarking durante l'addestramento. Ciò assicura che il modello impari a ignorare le caratteristiche preesistenti dell'immagine e a tracciare solo le manipolazioni che avvengono dopo l'incorporazione del watermark.
- Funzioni di Perdita (Loss Functions): L'addestramento è guidato da un set curato di 12 funzioni di perdita categorizzate in quattro gruppi:
  - Encoder Losses: Garantiscono la somiglianza strutturale e visiva tra le immagini originali e quelle con watermark (SSIM, MAE).
  - Watermark Quality Losses: Prevengono artefatti come "macchie" o bande, garantiscono la diversità di frequenza e impongono l'equilibrio dei canali.
  - Recovery Losses: Massimizzano la somiglianza tra i watermark incorporati e quelli recuperati sia nel dominio spaziale che in quello della frequenza.
  - Forensic Losses: Ottimizzano l'accuratezza di autenticazione, rilevamento e localizzazione (Binary Cross Entropy, IoU Loss).
Scalabilità Dinamica:
Il framework introduce un fattore di scala del watermark ( $wm\_scale$ ). Questo parametro permette agli utenti di bilanciare dinamicamente il compromesso tra impercettibilità e forza forense al momento del test. Sono stati addestrati due modelli con valori di $wm\_scale$ di 0.10 e 0.05 per valutare questa flessibilità.

Contributi Chiave

Framework Unificato: Il documento presenta una pipeline unificata che esegue autenticazione, rilevamento e localizzazione utilizzando un'unica architettura neurale, allontanandosi dai metodi di localizzazione "black-box" che non si affidano esplicitamente all'integrità del watermark.
Integrazione TransUNet: L'applicazione di TransUNet sia per l'incorporazione che per il recupero del watermark sfrutta il contesto globale per creare firme specifiche per l'immagine e robuste.
Ambiente di Addestramento Controllato: Modellando esplicitamente il rumore benigno e le manipolazioni pre-watermarking, il sistema evita di apprendere correlazioni spurie e si concentra esclusivamente sulle manipolazioni post-incorporazione.
Compromesso Regolabile: Il framework fornisce un meccanismo per permettere agli utenti di calibrare il bilanciamento tra qualità visiva (PSNR/SSIM) e prestazioni forensi (Accuratezza/IoU) in base alle specifiche esigenze di sicurezza dell'applicazione.

Risultati
I risultati sperimentali sono stati valutati su un dataset derivato da MSCOCO e OpenImageV7, suddiviso in set di addestramento (2100), validazione (300) e test (600).

Prestazioni: La pipeline proposta ha raggiunto un'elevata accuratezza di autenticazione e rilevamento (> 0.95) e una precisa localizzazione a livello di pixel con un IoU > 0.85 utilizzando fattori di scala ottimali.
Robustezza: Il sistema è rimasto robusto contro le trasformazioni benigne (compressione, scaling) pur riuscendo a fratturarsi sotto le modifiche maligne.
Compromesso di Scalabilità:
- All'aumentare del $wm\_scale$ al momento del test, le prestazioni forensi (Accuratezza, IoU, F1-Score) migliorano, ma le metriche di trasparenza (PSNR, SSIM) degradano.
- Il modello addestrato con un $wm\_scale$ iniziale più basso (0.05) ha raggiunto la massima efficacia forense a scale di test inferiori, offrendo un bilanciamento più ottimizzato tra sicurezza e impercettibilità rispetto al modello 0.10.
- Al valore $wm\_scale = 0$ (nessun watermark), le prestazioni forensi sono diminuite significativamente, confermando che le capacità di rilevamento e localizzazione dipendono dal watermark piuttosto che da artefatti d'immagine ciechi.

Significatività e Rivendicazioni
Gli autori affermano che questo framework offre una soluzione affidabile per la forense d'immagine attiva che affronta l'antagonismo intrinseco tra trasparenza e robustezza. Consentendo agli utenti di regolare il fattore di scala del watermark, il sistema può essere adattato a specifiche esigenze applicative — che vanno da ambienti ad alta sicurezza che richiedono il massimo rilevamento delle manipolazioni (accettando una leggera degradazione visiva) a scenari in cui la fedeltà visiva è fondamentale. Lo studio conclude che l'integrazione di TransUNet con funzioni di perdita specializzate e una strategia di addestramento a doppio modulo consente efficacemente una precisa localizzazione a livello di pixel delle modifiche maligne, mantenendo al contempo la resilienza del watermark rispetto all'elaborazione standard dell'immagine.

Articoli simili