SKeDA: A Generative Watermarking Framework for Text-to-video Diffusion Models

Il paper propone SKeDA, un framework di watermarking generativo per modelli di diffusione testo-video che garantisce alta fedeltà e robustezza attraverso il campionamento basato su chiavi mescolate (SKe) per tollerare la perdita di sincronizzazione e l'attenzione differenziale (DA) per resistere alle distorsioni temporali.

L'essenziale

Immagina che l'Intelligenza Artificiale (AI) sia un cuoco geniale capace di creare filmati incredibili partendo solo da una descrizione scritta (ad esempio: "un gatto che vola nello spazio"). Il problema? Chiunque può copiare questi filmati, rubarli, modificarli o dire "li ho fatti io", senza che nessuno possa dimostrarlo.

Il paper propone una soluzione chiamata SKeDA, che è come un sistema di sicurezza invisibile cucito direttamente nella "pasta" del video mentre viene creato, non aggiunto dopo.

Ecco come funziona, diviso in due parti magiche:

1. Il Problema: I Video sono come un Muro di Mattoni che cade

Nei metodi vecchi, se volevi mettere un'etichetta di copyright su un video, lo facevi dopo averlo creato. Era come dipingere un numero di serie su un muro di mattoni già costruito.

• Il difetto: Se qualcuno toglieva un mattone (un fotogramma), spostava i mattoni (cambiava l'ordine) o schiacciava il muro (compressione video), l'etichetta si rompeva e spariva.
• Il nuovo approccio: SKeDA non dipinge sul muro. Invece, mischia l'etichetta nella pasta dell'impasto prima di cuocere il pane. Anche se il pane viene tagliato, schiacciato o spostato, l'etichetta è ancora lì dentro, perché fa parte della struttura stessa.

2. La Soluzione: Due Super-Poteri

SKeDA usa due trucchi intelligenti per rendere questa "pasta" sicura:

A. SKe: Il "Mazzo di Carte Mescolato" (Shuffle-Key)

Immagina di dover nascondere un messaggio segreto in una serie di 16 foto.

• Il vecchio modo: Scrivevi la lettera "A" sulla prima foto, la "B" sulla seconda, la "C" sulla terza. Se qualcuno rubava la seconda foto o ne scambiava l'ordine, il messaggio diventava "A C B..." e non aveva più senso.
• Il metodo SKe: Prende il messaggio segreto e lo mescola come un mazzo di carte. Poi, invece di scrivere una lettera per foto, distribuisce i pezzi del messaggio in modo casuale ma controllato su tutte le foto.
• Perché è geniale: Anche se qualcuno ruba 5 foto, le cambia d'ordine o ne cancella alcune, il sistema può comunque riassemblare il puzzle. Non ha bisogno che le foto siano in ordine perfetto; basta che abbia abbastanza "pezzi" del puzzle per ricostruire il messaggio originale. È come se il messaggio fosse fatto di polvere d'oro sparsa su tutto il video: anche se perdi un po' di polvere, ne trovi ancora abbastanza per vederlo brillare.

B. DA: L'"Occhio che Guarda le Differenze" (Differential Attention)

Quando estraiamo il messaggio dal video, a volte il video è stato "maltrattato" (compressa, sgranata, con rumore).

• Il vecchio modo: Guardava tutte le foto allo stesso modo, come se fossero tutte ugualmente importanti. Se una foto era molto rovinata, il sistema si confondeva.
• Il metodo DA: È come avere un detective esperto. Il detective guarda il video e dice: "Questa foto è molto nitida e stabile, ascolta di più quello che dice. Questa altra è molto sgranata e confusa, ignorala un po'".
• Perché è geniale: Assegna più "peso" alle parti del video che sono rimaste intatte e meno peso a quelle rovinate. In questo modo, riesce a leggere il messaggio segreto anche se il video ha subito danni pesanti, come una forte compressione (come quando invii un video su WhatsApp).

In Sintesi: Perché è importante?

1. Invisibile: Il video sembra perfetto. Nessuno vede l'etichetta, non perde qualità.
2. Indistruttibile: Puoi tagliare il video, comprimerlo, cambiarne l'ordine o aggiungere rumore, e il sistema riesce ancora a leggere il messaggio nascosto.
3. Giusto: Se qualcuno ruba un video generato dall'AI, puoi dimostrare che è stato fatto da un certo modello o da un certo utente, proteggendo il copyright.

L'analogia finale:
Se i vecchi metodi di watermarking erano come mettere un adesivo su una bottiglia d'acqua (che si stacca se la bottiglia viene schiacciata), SKeDA è come aver mescolato un sapore unico nell'acqua stessa. Anche se cambi la bottiglia, la schiacci o la congeli, il sapore rimane lì, e chiunque assaggi l'acqua saprà esattamente da dove viene.

Sommario tecnico

Titolo

SKeDA: Un Framework di Watermarking Generativo per Modelli di Diffusione Text-to-Video

1. Il Problema

L'ascesa dei modelli di generazione video basati su testo (Text-to-Video o T2V), come CogVideo e Make-A-Video, ha sollevato preoccupazioni critiche riguardo all'autenticità dei contenuti, alla protezione del copyright e all'uso malevolo (es. deepfake). Sebbene esistano metodi di watermarking per immagini generative, la loro estensione diretta alla generazione video presenta due limitazioni fondamentali:

1. Dipendenza dall'allineamento temporale: I metodi esistenti si basano su sequenze pseudo-casuali binarie strettamente allineate a ogni singolo frame. Operazioni comuni sui video (come la cancellazione di frame, il riordinamento o la ricodifica) rompono questo allineamento, rendendo il recupero del watermark inaffidabile.
2. Distorsioni specifiche del video: Compressione inter-frame, jitter temporale e altre manipolazioni degradano significativamente l'affidabilità del segnale del watermark, che viene spesso perso o corrotto.

I metodi tradizionali di watermarking (post-hoc) introducono artefatti visivi e hanno una robustezza limitata contro queste trasformazioni complesse.

2. Metodologia: SKeDA

Il framework proposto, SKeDA, è progettato specificamente per i modelli di diffusione text-to-video. Embedda il watermark direttamente nello spazio latente durante il processo di generazione, garantendo un'integrazione invisibile e robusta. Il sistema si compone di due moduli principali:

A. SKe (Shuffle-Key-based Distribution-preserving Sampling)

Questo modulo gestisce l'embedding del watermark durante la fase di campionamento del rumore iniziale.

• Meccanismo: Invece di utilizzare sequenze diverse per ogni frame, SKe genera una singola sequenza pseudo-casuale di base per la crittografia del messaggio. Le variazioni a livello di frame sono ottenute esclusivamente tramite permutazione (shuffling) di questa sequenza base.
• Vantaggio: Questo approccio trasforma il problema del recupero del watermark da una "decodifica di sequenza sensibile alla sincronizzazione" a una "aggregazione a livello di set tollerante alle permutazioni".
• Risultato: Il sistema diventa robusto al riordinamento dei frame e alla perdita di frame, mantenendo al contempo la distribuzione del rumore Gaussiano necessaria per la qualità visiva del modello di diffusione (fidelity lossless).

B. DA (Differential Attention)

Questo modulo opera durante la fase di estrazione (decodifica) per migliorare la robustezza contro le distorsioni temporali.

• Meccanismo: Calcola le differenze inter-frame per identificare le regioni stabili del video. Utilizza queste informazioni per assegnare dinamicamente pesi di attenzione a ciascun frame durante il processo di inversione DDIM.
• Funzionamento: I frame con alta similarità (bassa variazione di movimento) ricevono pesi maggiori, mentre quelli con alta variazione o distorsione ricevono pesi minori.
• Risultato: Questo adattamento dinamico mitiga l'impatto di compressioni, cancellazioni di frame e rumore, migliorando l'accuratezza del recupero senza richiedere il riaddestramento del modello generativo.

Il processo di estrazione utilizza l'inversione DDIM per ricostruire lo stato di rumore iniziale, dove il watermark è stato nascosto, e aggrega le informazioni dai frame pesati per recuperare il messaggio binario originale.

3. Contributi Chiave

1. Nuovo metodo generativo video: Propone un approccio che preserva la qualità di generazione nativa dei modelli T2V mentre migliora la robustezza, introducendo il modulo SKe per un embedding latente impercettibile.
2. Modulo DA per l'estrazione: Introduce un meccanismo di attenzione basato sulle differenze inter-frame che adatta dinamicamente i pesi di estrazione, aumentando significativamente la resilienza a distorsioni come compressione e perdita di frame.
3. Validazione sperimentale: Dimostra che il metodo resiste a vari attacchi (compressione H.264/H.265, manipolazione dei frame, rumore) mantenendo alta qualità visiva e accuratezza di estrazione, superando i metodi esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset di video (WebVid-10M) confrontando SKeDA con metodi baselines come HiDDeN, REVMark, Video Seal e DVMark.

• Qualità Visiva (Fidelity): SKeDA ottiene un punteggio FVD (Fréchet Video Distance) di 361.3 (più basso è meglio), superando i baselines (es. DVMark: 382.8). Il punteggio CLIP-score è 0.3345 e la qualità video percepita è 0.7898, indicando che il watermark non degrada la coerenza semantica o estetica del video.
• Robustezza:
  • Compressione: Sotto compressione H.264 con CRF=30 (riduzione delle dimensioni all'8.3% dell'originale), SKeDA raggiunge un'accuratezza dei bit del 96.87%, superando di oltre il 10% i metodi migliori (DVMark: 79.96%).
  • Manipolazione dei Frame: Mantiene un'accuratezza superiore al 99% in caso di cancellazione (drop) o scambio (swap) di frame.
  • Rumore e Distorsioni: Resiste efficacemente a rumore Gaussiano, sfocatura e crop casuale, mantenendo un'accuratezza media del 98.53% su tutti i test, contro una media dei baselines di circa 95-97%.
• Ablation Study: Conferma che l'uso del campionatore DPMSolver e del modulo DA sono cruciali per le prestazioni ottimali.

5. Significato e Impatto

SKeDA rappresenta un passo avanti significativo nella protezione dei contenuti generati dall'IA.

• Protezione del Copyright: Permette di tracciare l'origine del modello e l'utente che ha generato il video, anche dopo manipolazioni aggressive.
• Tracciabilità Senza Perdita di Qualità: A differenza dei metodi post-hoc, SKeDA non introduce artefatti visivi, rendendolo ideale per applicazioni commerciali dove la qualità è prioritaria.
• Resilienza Reale: La capacità di recuperare il watermark anche dopo compressione pesante o perdita di frame lo rende adatto a scenari reali di distribuzione video (streaming, social media), dove i file subiscono inevitabilmente trasformazioni.

In sintesi, SKeDA offre una soluzione tecnica robusta per bilanciare la necessità di tracciabilità dei contenuti AI con la richiesta di alta fedeltà visiva, colmando il divario tra watermarking generativo per immagini e video.