SPDMark: Selective Parameter Displacement for Robust Video Watermarking

1. Il Problema

La rapida evoluzione dei modelli di generazione video (come Sora, Stable Video Diffusion) ha reso necessario sviluppare sistemi di filigrana (watermarking) robusti per tracciare l'origine dei contenuti generati dall'IA e prevenirne l'uso improprio. Le soluzioni esistenti affrontano compromessi significativi tra tre requisiti fondamentali:

• Impercettibilità: Il video non deve mostrare artefatti visibili.
• Robustezza: La filigrana deve resistere a modifiche comuni (compressione, ritaglio, cambio di formato, manipolazioni temporali come scambio o rimozione di frame).
• Efficienza Computazionale: Il processo non deve richiedere tempi di inferenza eccessivi o costi di addestramento proibitivi.

Le metodologie attuali soffrono di limitazioni specifiche:

• I metodi post-hoc (applicati dopo la generazione) aggiungono latenza e non sfruttano le priorità generative del modello.
• I metodi in-generation basati sullo spazio del rumore (noise-space) richiedono costose inversioni DDIM e sono fragili.
• I metodi basati sul fine-tuning del modello spesso applicano modulazioni uniformi o firme fisse, limitando il controllo per frame e la capacità di rilevare manipolazioni temporali.

2. Metodologia: SPDMark

SPDMark (pronunciato "SpeedMark") è un framework di filigrana in-generation basato sul concetto di Spostamento Selettivo dei Parametri (Selective Parameter Displacement - SPD).

Concetto Fondamentale

Invece di perturbare i pixel o il rumore di diffusione, SPDMark modifica selettivamente i parametri del modello generativo per incorporare il messaggio di filigrana.

• Spostamento Parametrico: I parametri del modello ($\Phi$) vengono modificati aggiungendo uno spostamento ($\Delta\Phi$) che codifica la chiave di filigrana $\kappa$.
• Adattamento a Bassa Rango (LoRA): Per rendere il problema trattabile ed efficiente, lo spostamento è modellato come una composizione additiva di spostamenti di base a basso rango (low-rank basis shifts).
• Dizionario Condiviso: Viene addestrato un unico dizionario di basi a basso rango. Ogni chiave di filigrana diversa seleziona una combinazione specifica di queste basi, permettendo la generazione di filigrane multiple senza bisogno di ri-addestrare il modello per ogni chiave.

Implementazione Tecnica

1. Selezione del Livello: Lo spostamento viene applicato esclusivamente al decodificatore (decoder) del modello di diffusione latente, lasciando encoder e denoiser intatti per preservare la qualità della generazione.
2. Mappatura Chiave-Parametri:
   • Una chiave di filigrana $\kappa$ viene suddivisa in blocchi.
   • Ogni blocco seleziona un singolo spostamento di base ($\zeta_{\ell, p}$) tra $P$ opzioni disponibili per ciascuno dei $L$ livelli del decoder.
   • La formula dello spostamento è: $\Delta\phi_\ell = \sum b_{\ell,p} \zeta_{\ell,p}$, dove $b$ è una maschera binaria determinata dalla chiave.
3. Filigrana per Frame: Per rilevare manipolazioni temporali, ogni frame riceve un messaggio unico derivato da una chiave segreta di base ($K_{base}$) tramite una funzione hash crittografica (es. HMAC-SHA256).
4. Estrazione e Verifica:
   • Un estrattore (basato su ResNet-50) recupera il messaggio per ogni frame.
   • Per gestire frame mancanti, scambiati o inseriti, viene utilizzato un matching bipartito massimo (algoritmo ungherese) per allineare i messaggi estratti con quelli attesi.
   • Viene applicato un test statistico di ipotesi per determinare la validità della filigrana e localizzare le modifiche temporali.

Funzione di Perdita (Loss Function)

Durante l'addestramento, il modello minimizza una combinazione di:

• Recupero del messaggio: Cross-entropy binaria per garantire l'accuratezza della decodifica.
• Impercettibilità: Una combinazione di similarità percettiva (LPIPS) e coerenza temporale (conservazione della differenza di luminanza tra frame consecutivi) per evitare sfarfallii.

3. Contributi Chiave

1. Framework SPD: Introduzione di un nuovo paradigma per il watermarking video basato sulla modifica selettiva dei parametri del modello invece che sul rumore o sui pixel.
2. Efficienza e Scalabilità: Utilizzo di LoRA per creare un dizionario di basi condivise che supporta chiavi arbitrarie senza ri-addestramento per chiave, con overhead di inferenza trascurabile.
3. Rilevamento Temporale: Meccanismo che permette di localizzare frame specifici manipolati (drop, swap, insert) grazie a messaggi unici per frame e allineamento grafico.
4. Robustezza Dimostrata: Validazione su due architetture diverse (SVD-XT e ModelScope) contro un ampio spettro di attacchi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Stable Video Diffusion (SVD-XT) e ModelScope.

• Qualità del Video: SPDMark mantiene metriche di qualità superiori o competitive rispetto agli stati dell'arte (VideoShield, VideoSeal, VidSig). In particolare, ottiene i punteggi più alti per Subject Consistency (SC) e Motion Smoothness (MS), indicando che la struttura temporale del video è preservata.
• Accuratezza di Estrazione:
  • SVD-XT: Accuratezza dei bit del 99.5%.
  • ModelScope: Accuratezza dei bit del 98.8%.
• Robustezza agli Attacchi:
  • SPDMark supera i metodi concorrenti in media (93.5% su SVD-XT e 93.9% su ModelScope) attraverso 16 tipi di attacchi (fotometrici, geometrici, temporali e post-processing).
  • Eccelle in particolare contro manipolazioni geometriche (rotazione, ritaglio) e temporali (scambio frame), dove i metodi basati sullo spazio del rumore falliscono.
  • Mantiene prestazioni elevate anche dopo ricompressione, registrazione dello schermo e rimozione del rumore.
• Forensics Temporale: Il sistema raggiunge un'accuratezza di ordinamento del 100% e un F1-score superiore al 99% nel rilevare frame cancellati o inseriti.

5. Significato e Impatto

SPDMark rappresenta un passo avanti significativo nel campo della sicurezza dei contenuti generati dall'IA.

• Superamento dei Compromessi: Risolve il classico trade-off tra impercettibilità, robustezza ed efficienza, offrendo una soluzione che non richiede inversioni costose né post-processing pesante.
• Praticità: La capacità di supportare molteplici chiavi con un unico modello addestrato lo rende scalabile per applicazioni reali.
• Forensics Avanzato: La capacità di non solo rilevare la presenza della filigrana, ma anche di localizzare le manipolazioni temporali, fornisce uno strumento potente per l'analisi forense e la verifica dell'integrità dei video.
• Futuro: Il lavoro apre la strada all'applicazione di tecniche di spostamento parametrico selettivo anche in altri domini generativi, offrendo un equilibrio ottimale tra accuratezza di rilevamento e coerenza temporale.

In sintesi, SPDMark dimostra che la modifica controllata e selettiva dei parametri interni di un modello di diffusione è una strategia efficace e pratica per proteggere l'autenticità dei video generati dall'IA.