🤖 AI

Jailbreaking on Text-to-Video Models via Scene Splitting Strategy

Questo articolo introduce SceneSplit, un nuovo metodo di jailbreak black-box che frammenta narrazioni dannose in scene singolarmente innocue per manipolare lo spazio di output generativo dei modelli Text-to-Video, ottenendo alti tassi di successo dell'attacco su più sistemi all'avanguardia e rivelando vulnerabilità critiche nei loro meccanismi di sicurezza.

Autori originali: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Pubblicato 2026-05-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di passare un oggetto pericoloso di nascosto davanti a una guardia di sicurezza in un aeroporto. Se provi a passare attraverso il rilevatore di metalli tenendo in mano una spada gigante e ovvia, l'allarme suonerà immediatamente e verrai fermato. È così che funzionano i modelli attuali di intelligenza artificiale "Text-to-Video": dispongono di filtri di sicurezza che scansionano la tua richiesta (prompt) e bloccano tutto ciò che sembra poter generare contenuti dannosi, come violenza o nudità.

Questo articolo introduce un trucco astuto chiamato SceneSplit che aggira queste guardie. Invece di cercare di passare l'intera spada in una volta sola, gli attaccanti smontano la spada in pezzi innocui, li fanno passare uno alla volta e poi lasciano che l'intelligenza artificiale li riassembli nell'oggetto pericoloso.

Ecco come funziona il metodo, suddiviso in tre semplici passaggi:

1. Il trucco dei "Lego" (Divisione della scena)

Immagina di voler generare un video di una rissa violenta. Se scrivi "Due uomini che lottano con coltelli", la guardia di sicurezza dell'intelligenza artificiale risponde: "No, è pericoloso" e lo blocca.

SceneSplit prende quell'idea pericolosa e la taglia in 3 o 5 scene separate e minuscole che appaiono completamente innocue da sole:

Scena 1: "Un uomo che tiene un oggetto metallico lucido." (Sicuro)
Scena 2: "Una donna sdraiata su una sedia, che sembra rilassata." (Sicuro)
Scena 3: "Una telecamera che fa uno zoom su un liquido rosso che cola sul pavimento." (Sicuro)

Singolarmente, nessuno di questi prompt fa scattare l'allarme. Sono come mattoncini Lego innocui. Tuttavia, quando all'intelligenza artificiale viene detto di riprodurre queste scene in ordine, essa collega i puntini. L'"oggetto lucido" diventa un coltello, la "donna rilassata" diventa una vittima e il "liquido rosso" diventa sangue. La combinazione costringe l'intelligenza artificiale a creare il video violento per cui era stata originariamente richiesta, anche se non ha mai visto le parole pericolose "lotta" o "coltello" in un singolo prompt.

2. Il "Fine-Tuning" (Manipolazione della scena)

A volte, anche con i mattoncini Lego, l'intelligenza artificiale potrebbe ancora confondersi e generare un video sicuro (come un uomo che tiene un cucchiaio invece di un coltello).

Per risolvere questo problema, il metodo utilizza un ciclo di feedback. Esamina il video creato dall'intelligenza artificiale e chiede: "Quale scena specifica ha causato la confusione dell'intelligenza artificiale?". Se l'intelligenza artificiale ha prodotto un cucchiaio invece di un coltello, il sistema identifica che la Scena 1 era troppo vaga. Chiede quindi a un assistente di intelligenza artificiale intelligente di riscrivere solo quella specifica scena per renderla leggermente più esplicita, mantenendo le altre scene invariate. Continua a modificare quella singola scena finché l'intelligenza artificiale non genera finalmente il video dannoso, "cacciando" efficacemente la linea esatta in cui il filtro di sicurezza fallisce.

3. La "Scheda Trucco" (Libreria di strategie)

Ogni volta che i ricercatori riescono a ingannare l'intelligenza artificiale, salvano la "ricetta" che hanno utilizzato. Se sono riusciti a spezzare un prompt sulla violenza in 4 scene utilizzando un tipo specifico di formulazione, salvano quel pattern.

La prossima volta che vogliono attaccare l'intelligenza artificiale con un diverso prompt violento, guardano la loro "Scheda Trucco". Vedono: "Oh, dividerlo in 4 scene ha funzionato l'ultima volta", e usano immediatamente quella stessa strategia. Questo rende l'attacco più veloce ed efficace nel tempo, poiché il sistema impara dai propri successi.

Cosa hanno scoperto?

I ricercatori hanno testato questo "trucco dei Lego" su diversi generatori di video commerciali e importanti (come Veo2, Hailuo e Luma Ray2). Hanno scoperto che:

Funziona molto bene: Il metodo ha generato con successo video dannosi circa il 77% - 84% delle volte su diversi modelli.
Le difese esistenti sono deboli: I filtri di sicurezza attuali sono bravi a individuare parole cattive ovvie, ma sono terribili nel comprendere come una serie di scene dall'aspetto innocuo possa combinarsi per raccontare una storia pericolosa.
Il "divario di sicurezza": L'articolo conclude che, mentre abbiamo buone guardie per singole frasi, non abbiamo buone guardie per le sequenze di eventi.

In breve: L'articolo dimostra che si può ingannare l'intelligenza artificiale per i video spezzando un'idea cattiva in molti piccoli pezzi dall'aspetto buono, lasciando che l'intelligenza artificiale li assembli e quindi modificando i pezzi finché non emerge l'idea cattiva. Questo rivela un vuoto significativo nel modo in cui proteggiamo attualmente questi sistemi di intelligenza artificiale.

Riepilogo Tecnico: Jailbreaking dei Modelli Text-to-Video tramite Strategia di Scissione delle Scene

Enunciato del Problema

I recenti avanzamenti nei modelli Text-to-Video (T2V), come Veo2, Luma Ray2 e Hailuo, hanno permesso la generazione di video di alta qualità e realistici partendo da prompt testuali. Tuttavia, questi modelli affrontano sfide significative in termini di sicurezza, poiché possono essere manipolati per generare contenuti illegali, non etici o dannosi. Sebbene ricerche estese abbiano esplorato le vulnerabilità di jailbreak nei Modelli Linguistici su Grande Scala (LLM), nei Modelli Linguistici Visivi (VLM) e nei modelli Text-to-Image (T2I), i modelli T2V rimangono in gran parte inesplorati. I meccanismi di sicurezza esistenti spesso non riescono a far fronte alle vulnerabilità uniche che derivano dalla natura temporale della generazione video, in particolare il rischio che eventi individualmente benigni, quando sequenziati, possano formare una narrazione dannosa. Questo documento identifica un vuoto critico nella sicurezza: la mancanza di difese robuste contro attacchi che sfruttano la struttura narrativa e la sequenzialità temporale nei modelli T2V.

Metodologia: SceneSplit

Per colmare questo vuoto, gli autori propongono SceneSplit, un nuovo metodo di jailbreak black-box progettato per aggirare i filtri di sicurezza dei modelli T2V. L'ipotesi di fondo è che i filtri di sicurezza siano più propensi a bloccare prompt con un'alta dannosità diretta. SceneSplit aggira questo ostacolo frammentando una narrazione dannosa in una sequenza di scene individualmente benignhe. Il metodo opera sul principio che, mentre ogni singola scena corrisponde a un ampio spazio generativo sicuro, la loro combinazione sequenziale agisce come un potente vincolo reciproco, restringendo lo spazio di output totale a una regione in cui la probabilità di generare un video dannoso è elevata.

La metodologia è composta da tre componenti chiave:

Scissione delle Scene:
- Processo: Un prompt dannoso viene trasformato in un insieme di 2-5 scene procedurali.
- Tecnique:
  - Divisione della Scena: La narrazione viene scomposta in una sequenza di azioni.
  - Parafrasi: Il linguaggio di ogni scena viene riscritto per essere più benigno e meno direttamente dannoso, abbassando il punteggio di dannosità misurabile dei singoli prompt.
- Meccanismo: Un LLM esegue questa trasformazione, eventualmente guidato da una strategia recuperata da una libreria. L'insieme risultante di prompt per le scene supera individualmente i filtri di sicurezza, ma collettivamente vincola il modello a generare l'intento dannoso originale.
Manipolazione delle Scene:
- Scopo: Aggirare i filtri di sicurezza visivi post-elaborazione se la scissione iniziale è insufficiente o se il video generato è considerato sicuro.
- Processo: Si tratta di un processo iterativo (ciclo interno) che modifica il prompt per cercare un punto di attacco ottimale all'interno dello spazio generativo vincolato.
- Selezione della Scena: Se viene generato un video ma è considerato sicuro, un Modello di Comprensione Video (VLM) analizza l'output per identificare la "scena più influente"—il prompt specifico della scena la cui rappresentazione visiva correla più fortemente con il contenuto del video. Se il prompt viene bloccato da un filtro, una scena viene selezionata casualmente.
- Modifica Iterativa: L'LLM modifica solo la scena influente selezionata in base al feedback (ad esempio, punteggi di ricompensa per la sicurezza). Esegue una ricerca bidirezionale: rendendo l'espressione più esplicita se l'attacco era troppo debole, o più implicita se è stato bloccato. Questo continua per un numero prestabilito di iterazioni ( $I$ ) per trovare una configurazione che eluda il rilevamento mantenendo la narrazione dannosa.
Aggiornamento della Strategia:
- Scopo: Migliorare robustezza ed efficienza riutilizzando pattern di attacco di successo (ciclo esterno).
- Meccanismo: Una Libreria di Strategie memorizza coppie di strategie di successo e gli embedding dei prompt dannosi originali.
- Processo: Prima di avviare un nuovo attacco, il sistema calcola l'embedding del prompt dannoso corrente e lo confronta con la libreria. Se viene trovato un successo passato semanticamente simile (sopra una soglia $\lambda$ ), la strategia di scissione corrispondente viene riutilizzata. In caso di attacco riuscito, la nuova sequenza di prompt viene riassunta in una nuova strategia e aggiunta alla libreria. Ciò permette al metodo di adattarsi a vulnerabilità specifiche del modello senza intervento manuale.

Contributi Chiave

Il documento delinea tre contributi principali:

Metodologia Innovativa: La proposta di SceneSplit, il primo metodo di jailbreak black-box specificamente progettato per i modelli T2V che sfrutta la frammentazione narrativa e la scissione delle scene.
Identificazione della Vulnerabilità: L'identificazione di una vulnerabilità specifica in cui la combinazione sequenziale di prompt di scene individualmente sicuri vincola lo spazio di output generativo del modello T2V, costringendolo a convergere su una narrazione dannosa che aggira i filtri di sicurezza standard.
Validazione Empirica: Esperimenti completi che dimostrano come SceneSplit aggiri efficacemente i filtri di sicurezza su molteplici modelli T2V commerciali con alti Tassi di Successo dell'Attacco (ASR).

Risultati Sperimentali

Gli autori hanno valutato SceneSplit su 11 categorie di sicurezza del T2VSafetyBench su cinque modelli T2V commerciali: Luma Ray2, Hailuo, Veo2, Kling V1.0 e Sora2.

Prestazioni: SceneSplit ha raggiunto ASR significativamente più elevati rispetto alle linee di base esistenti (T2VSafetyBench e RPG-RT).
- Luma Ray2: 77,2% ASR
- Hailuo: 84,1% ASR
- Veo2: 78,2% ASR
- Kling V1.0: 78,6% ASR
- Sora2: 68,6% ASR
Studi di Ablazione:
- Scissione delle Scene: La combinazione di divisione delle scene e parafrasi ha prodotto l'ASR più alto, dimostrando che la scissione del prompt è il fattore chiave nel vincolare lo spazio di output.
- Manipolazione delle Scene: L'aggiunta della manipolazione iterativa ha aumentato l'ASR di circa il 18% rispetto alla linea di base della scissione one-shot.
- Aggiornamento della Strategia: L'utilizzo della libreria di strategie ha migliorato l'ASR di circa il 9% e ha ridotto il numero medio di tentativi di attacco necessari.
Coerenza Semantica: Nonostante la parafrasi e la scissione, i video generati hanno mantenuto un'alta similarità semantica (media 0,53) rispetto ai prompt dannosi originali, confermando che l'attacco preserva la narrazione dannosa intesa.

Significato e Affermazioni

Il documento afferma che i meccanismi di sicurezza attuali dei modelli T2V sono fondamentalmente vulnerabili ad attacchi che sfruttano la struttura narrativa e la sequenzialità temporale. Dimostrando che scene individualmente benignhe possono essere combinate per generare contenuti dannosi, gli autori sostengono che i filtri di sicurezza devono evolvere per valutare i rischi contestuali attraverso le scene anziché limitarsi a valutare singoli prompt o fotogrammi statici.

Gli autori collocano questo lavoro come un passo proattivo verso il miglioramento della sicurezza dell'IA. Affermano che esporre questa vulnerabilità è essenziale affinché ricercatori e sviluppatori costruiscano meccanismi di sicurezza più sofisticati, capaci di comprendere il contesto inter-scena. Pur riconoscendo il potenziale di abuso, il documento sottolinea che la vulnerabilità esiste all'interno dei modelli indipendentemente dall'attacco, e che la sua scoperta è un prerequisito necessario per garantire l'affidabilità a lungo termine e il dispiegamento etico della tecnologia T2V.