Riepilogo Tecnico: Pulling The REINS: Allineamento della Sicurezza Senza Addestramento per Modelli di Diffusione Video tramite Steering delle Rappresentazioni

Problematica

I modelli di diffusione video (VDM) a pesi aperti hanno democratizzato la sintesi video ad alta fedeltà, ma pongono significativi rischi per la sicurezza, essendo capaci di generare contenuti fotorealistici che ritraggono violenza, materiale sessualmente esplicito e disinformazione. I meccanismi di difesa esistenti soffrono di limitazioni fondamentali:

1. Filtraggio a livello di prompt: Facilmente aggirabile tramite riformulazioni avversarie, jailbreaking o formulazioni indirette.
2. Filtraggio a livello di output: Spreca risorse computazionali generando contenuti non sicuri solo per poi scartarli, e rimane vulnerabile a interventi manuali.
3. Fine-tuning della sicurezza: Richiede un addestramento costoso su grandi dataset annotati, rischia di degradare le capacità di generazione generale e non è fattibile per tutti i modelli a pesi aperti.

Crucialmente, gli attuali metodi non intervengono nel processo di generazione interno del modello. Il contenuto non sicuro continua a essere codificato e propagato attraverso i blocchi transformer e i passi di denoising, indipendentemente dal fatto che l'output finale venga filtrato.

Metodologia: REINS

Gli autori propongono REINS (REpresentation-space INference-time Safety steering), un metodo senza addestramento che allinea i VDM guidando (steering) le loro rappresentazioni degli stati latenti interni verso traiettorie di generazione sicure durante l'inferenza.

Ipotesi Centrale

La struttura rilevante per la sicurezza nei VDM è codificata linearmente nelle attivazioni degli stati latenti dei layer transformer. Una singola direzione nello spazio delle attivazioni può separare le traiettorie di generazione sicure da quelle non sicure.

Workflow Tecnico

1. Calibrazione Offline (Senza Addestramento):

   • Generazione Dati: Viene generato un piccolo set di video partendo da prompt critici per la sicurezza utilizzando il VDM base.
   • Etichettatura: Un classificatore di sicurezza pre-addestrato assegna etichette binarie (sicuro/non sicuro) a questi video.
   • Estrazione delle Caratteristiche: Le attivazioni degli stati latenti vengono registrate nei layer intermedi dei transformer durante i primi passi di denoising.
   • Scoperta della Direzione (SPCA): Gli autori impiegano la Principal Component Analysis Supervisionata (SPCA) per trovare una direzione $\delta$ nello spazio delle attivazioni che separi massimamente le generazioni sicure da quelle non sicure sulla base delle etichette binarie. Questo è formulato come la massimizzazione del criterio di indipendenza di Hilbert-Schmidt (HSIC) tra le rappresentazioni proiettate e le etichette di sicurezza.
   • Selezione del Layer: L'ottimale layer di intervento $l^*$ viene selezionato bilanciando lo "score SPCA" (forza della struttura lineare di sicurezza) rispetto alla capacità di propagazione a valle. Empiricamente, l'efficacia raggiunge il picco nei layer intermedi ($\sim$50% della profondità), rivelando un compromesso tra disponibilità di informazioni e capacità di propagazione.

2. Steering durante l'Inferenza:

   • Perturbazione: Durante la prima metà del processo di denoising, la direzione precomputata $\delta$ viene aggiunta agli stati latenti del layer selezionato $l^*$.
   • Preservazione della Norma: Per evitare artefatti visivi (es. saturazione eccessiva, deriva del colore) causati da perturbazioni additive grezze, il metodo riscala le attivazioni perturbate per preservare la norma $\ell_2$ per canale degli stati latenti originali.
   • Consistenza CFG: Quando si utilizza la Classifier-Free Guidance (CFG), la perturbazione viene applicata identicamente sia ai rami condizionali che a quelli incondizionali prima della combinazione, per mantenere la coerenza visiva.
   • Calibrazione della Forza: Un euristica basata sul rapporto tra la norma dello stato latente e l'allineamento del coseno con la direzione di steering permette di stimare la forza di steering ottimale $\lambda$ senza una ricerca esaustiva degli iperparametri.

Contributi Chiave

1. Primo Allineamento della Sicurezza per Video Senza Addestramento: REINS è il primo metodo che allinea i modelli di diffusione video al momento dell'inferenza senza modificare i pesi, riaddestrare o enumerare concetti.
2. Insight Meccanicistico: Il paper rivela che, sebbene l'informazione sulla sicurezza si accumuli monotonicamente con la profondità del transformer, l'efficacia dello steering è non monotona, con un picco nei layer intermedi. Ciò espone un compromesso fondamentale tra disponibilità di informazioni e capacità di propagazione a valle.
3. Generalizzabilità: Il metodo è validato su 9 diversi VDM (inclusi CogVideoX, Wan2.1, Mochi-1, Allegro, LTX-Video) che variano da 1.3B a 5B di parametri, coprendo sia i paradigmi Text-to-Video (T2V) che Image-to-Video (I2V).
4. Robustezza: A differenza dei filtri per i prompt, REINS opera sulle rappresentazioni interne, rendendolo robusto ai prompt avversari (es. attacchi MMA-Diffusion) che aggirano le difese superficiali.

Risultati Sperimentali

Valutato su SafeSora e SafeWatch-Bench, REINS dimostra miglioramenti costanti:

• Tasso di Sicurezza: Ha ottenuto guadagni medi nel tasso di sicurezza di +0.22 su SafeSora e +0.21 su SafeWatch-Bench in tutti i modelli. In casi estremi (es. Wan2.2-TI2V-5B), i tassi di sicurezza sono passati da quasi zero a livelli significativi.
• Preservazione della Qualità: A differenza dello steering nello spazio del rumore (che collassa la qualità della generazione) o del filtraggio dei prompt (che blocca output validi), REINS preserva la qualità visiva e del movimento. Su SafeWatch-Bench, lo steering verso il manifold sicuro ha incidentalmente migliorato la qualità del movimento nei casi in cui i prompt avversari causavano movimenti incoerenti.
• Confronto: REINS ha superato lo steering nello spazio del rumore (stile PolyJuice) e il filtraggio a livello di prompt (LlamaPromptGuard-2), particolarmente in condizioni avversarie dove il filtraggio falliva.

Significato e Rivendicazioni

Il paper sostiene che REINS rappresenti un cambiamento fondamentale nell'allineamento della sicurezza, passando dal controllo degli input/output all'intervento all'interno del processo di generazione.

• Accessibilità Lineare: Stabilisce che la sicurezza nei transformer di diffusione video è una proprietà a bassa dimensionalità e linearmente accessibile degli stati latenti, analogamente alle scoperte nei Large Language Models (LLM).
• Efficienza: Il metodo richiede un overhead computazionale trascurabile, nessun aggiornamento dei pesi e nessun dato di addestramento oltre a un piccolo set di calibrazione.
• Robustezza: Mirando alla rappresentazione interna piuttosto che alla superficie del prompt, REINS offre un meccanismo di difesa che è strutturalmente resistente agli attacchi avversari basati sui prompt.

Gli autori segnalano dei limiti, specificamente che il metodo si basa sulla dipendenza lineare (una codifica della sicurezza non lineare richiederebbe formulazioni kernel) e che il framework potrebbe teoricamente essere invertito per scopi malevoli, sebbene si oppongano esplicitamente a tale uso e non rilascino set di calibrazione non sicuri.