Riepilogo Tecnico: Steering delle Attivazioni di Modelli di Generazione Video tramite Controllo Ottimale Lineare a Ordine Ridotto

Definizione del Problema

I modelli Text-to-Video (T2V) addestrati su dati web su larga scala ereditano spesso concetti indesiderati, tra cui nudità, violenza grafica, materiale protetto da copyright e rappresentazioni di personaggi pubblici. Questi rischi per la sicurezza richiedono interventi che limitino gli output senza sacrificare la qualità visiva o la fedeltà al prompt. Le strategie di mitigazione esistenti presentano significative limitazioni:

• Il Fine-tuning richiede risorse di addestramento estese.
• L'editing del modello (modifica dei pesi) può degradare la qualità dell'output e indurre comportamenti imprevedibili.
• Il filtraggio dei prompt è vulnerabile ai jailbreak e ai prompt indiretti.
• I metodi di steering delle attivazioni esistenti sono tipicamente non anticipativi, applicando interventi fissi o miopi che non tengono conto di come le perturbazioni si propagano attraverso il modello. Ciò porta spesso a un eccessivo steering (over-steering), degradazione del contenuto o sensibilità ai prompt avversari.

Inoltre, l'applicazione del controllo ottimale direttamente agli spazi di attivazione ad alta dimensionalità dei modelli T2V (che possono superare gli 80 milioni di dimensioni) è computazionalmente intrattabile, richiedendo petabyte di memoria per le matrici Jacobiane a spazio completo.

Metodologia: LA-LQR

Gli autori propongono il Latent Activation Linear-Quadratic Regulator (LA-LQR), un framework di controllo ottimale a ordine ridotto progettato per uno steering dei modelli T2V minimamente invasivo. Il metodo formalizza l'inferenza T2V come un sistema dinamico e calcola interventi di feedback a ciclo chiuso.

1. Formalizzazione del T2V come Sistema Dinamico

Il processo di generazione T2V (basato su Diffusion Transformers, o DiT) viene ricanalizzato come un sistema dinamico a orizzonte finito in cui le attivazioni interne fungono da stati. Il sistema evolve su timestep di diffusione $t \in [T]$ e layer del transformer $l \in [L]$. La transizione di stato è governata dai pesi e dall'architettura del modello, con segnali di steering che agiscono come input di controllo ($u_s$) applicati alle attivazioni dei token video o agli embedding testuali.

2. Costruzione dello Spazio Latente a Ordine Ridotto

Per rendere fattibile il controllo, LA-LQR proietta le attivazioni grezze ad alta dimensionalità ($x \in \mathbb{R}^{D_{act}}$) su uno spazio latente a bassa dimensionalità e rilevante per il compito ($z \in \mathbb{R}^{D_{lat}}$), dove $D_{lat} \ll D_{act}$.

• Base Contrastiva: Lo spazio è derivato da coppie di prompt contrastivi ($D^+$ contenente la caratteristica target, $D^-$ senza di essa).
• SVD Randomizzata: Gli autori utilizzano la decomposizione singolare (SVD) randomizzata in streaming sui vettori di differenza di queste coppie di prompt per identificare le direzioni dominanti delle caratteristiche senza materializzare enormi matrici Jacobiane.
• Proiezione: Le attivazioni vengono proiettate su questa base ($P_s$), e la dinamica lineare locale viene stimata in questo spazio latente utilizzando prodotti Jacobiano-vettore (JVP).

3. Latent Linear Feature Setpoints (LLFS)

All'interno dello spazio latente, il metodo definisce un Latent Linear Feature Setpoint (LLFS) che rappresenta la forza desiderata della caratteristica.

• Una direzione della caratteristica $v^z_s$ viene calcolata mediando i vettori contrastivi proiettati.
• Una forza target $\beta^*_s$ è impostata tramite un iperparametro $\lambda$.
• L'errore di inseguimento $\alpha_s$ è calcolato come la differenza tra la forza target e l'attuale forza della caratteristica proiettata.

4. Controllo Ottimale tramite LQR

LA-LQR risolve un problema di Linear-Quadratic Regulator (LQR) nello spazio latente per determinare il segnale di controllo ottimale $u^*_s$.

• Obiettivo: Minimizzare una funzione di costo che penalizza le deviazioni dal setpoint della caratteristica desiderata e, contemporaneamente, penalizza le perturbazioni non necessarie (sforzo di controllo).
• Feedback a Ciclo Chiuso: A differenza dei metodi open-loop, LA-LQR calcola un guadagno di feedback $K_s$ tramite ricorsioni di Riccati. L'intervento è $u^*_s = \bar{u}_s - K_s \delta z_s$, dove $\delta z_s$ è la deviazione dalla traiettoria nominale.
• Adattività: Il controllore si adatta online alla attivazione latente realizzata ad ogni timestep e layer, anticipando l'evoluzione naturale delle attivazioni e intervenendo solo quando necessario per raggiungere il setpoint.

5. Garanzie Teoriche

Il documento fornisce limiti teorici che mettono in relazione l'inseguimento del setpoint latente con il controllo delle caratteristiche nello spazio delle attivazioni grezze. Dimostra che se la proiezione conserva l'energia dominante della caratteristica (quantificata da $\rho_s$) e la dinamica proiettata è localmente lineare, l'errore di inseguimento della caratteristica nello spazio grezzo è limitato dall'errore di inseguimento latente, dalla perdita di proiezione e dai residui di linearizzazione.

Contributi Chiave

1. Formalizzazione: Gli autori formalizzano la generazione T2V come un sistema dinamico a orizzonte finito e propongono un framework di controllo ottimale lineare per lo steering durante l'inferenza, derivando interventi di feedback online minimamente invasivi.
2. Trattabilità: Introducono una costruzione di uno spazio latente a ordine ridotto utilizzando vettori contrastivi, rendendo fattibile il controllo ottimale per i modelli T2V evitando le matrici Jacobiane complete dello spazio di attivazione.
3. Giustificazione Teorica: Il documento quantifica la perdita di informazione delle caratteristiche durante la proiezione e valida la linearità locale dello spazio latente, fornendo limiti sulle prestazioni del controllore a ordine ridotto.
4. Validazione Empirica: Una valutazione estesa sullo steering dei concetti e sui benchmark di sicurezza video dimostra che LA-LQR riduce le generazioni non sicure preservando la fedeltà al prompt e la qualità visiva, superando gli esistenti baseline di sicurezza e steering T2V.

Risultati

Il metodo è stato valutato su due modelli T2V allo stato dell'arte: Wan2.1-T2V-14B e HunyuanVideo-1.5, utilizzando i benchmark T2VSafetyBench e SafeSora.

• Performance di Sicurezza: LA-LQR ha ottenuto i tassi di violazione più bassi in diverse categorie (es. Pornografia, Gore, Personaggi Pubblici, Copyright) rispetto ai baseline come SAFREE [10], l'unlearning dei pesi [9] e lo steering assistito da LLM [69]. Ad esempio, su Wan2.1, il tasso medio di violazione è sceso da circa il 36,9% (baseline) al 14,6% con LA-LQR.
• Preservazione della Qualità: Il metodo ha mantenuto punteggi di Coerenza Soggettiva elevati (VBench), spesso eguagliando o superando i baseline (es. 0,971 contro 0,964 in media per Wan2.1), indicando che gli interventi di sicurezza non hanno degradato la coerenza visiva.
• Steering dei Concetti: I risultati qualitativi hanno mostrato uno steering efficace dei concetti (es. rendere "rosso" prominente in una scena) con l'aumentare della forza di controllo, dimostrando una precisa modulazione delle caratteristiche.
• Confronto: A differenza dei baseline che falliscono su prompt con jailbreak (filtraggio) o introducono gravi artefatti quando configurati aggressivamente (editing dei pesi), LA-LQR ha bilanciato con successo sicurezza e qualità attraverso perturbazioni a norma minima.

Significato e Rivendicazioni

Il documento afferma che LA-LQR rappresenta un passo avanti significativo nella interpretabilità meccanicistica e nell'allineamento della sicurezza per i modelli video generativi. Trattando l'inferenza come un problema di controllo e utilizzando il controllo ottimale a ordine ridotto, il metodo ottiene:

• Affidabilità: Fornisce una soluzione senza addestramento, durante l'inferenza, che è robusta contro i prompt avversari dove il filtraggio a livello di input fallisce.
• Precisione: Consente interventi minimamente invasivi, evitando l' "over-steering" e la degradazione visiva comuni nelle precedenti tecniche di steering delle attivazioni.
• Scalabilità: Risolve l'intrattabilità computazionale del controllo delle attivazioni video ad alta dimensionalità sfruttando la dinamica latente a bassa dimensionalità derivata dall'apprendimento contrastivo.

Gli autori posizionano LA-LQR come una direzione promettente per l'allineamento affidabile e senza addestramento dei modelli T2V, suggerendo che lo steering delle attivazioni basato sulla teoria del controllo possa efficacementmente vincolare gli output dannosi preservando al contempo l'utilità e la qualità dei modelli generativi. Essi notano esplicitamente che il metodo dovrebbe essere accoppiato al filtraggio dei prompt o alla moderazione dell'output, poiché assume l'accesso white-box e non garantisce la sicurezza contro tutti i possibili input avversari.