Technische Samenvatting: Jailbreaken van Tekst-naar-Video-modellen via een Strategie voor Scènesplitsing

Probleemstelling

Recente vooruitgang in Tekst-naar-Video (T2V)-modellen, zoals Veo2, Luma Ray2 en Hailuo, heeft de generatie van hoogwaardige, realistische video's vanuit tekstprompts mogelijk gemaakt. Deze modellen staan echter voor aanzienlijke veiligheidsuitdagingen, aangezien ze kunnen worden gemanipuleerd om illegale, onethische of schadelijke content te genereren. Hoewel uitgebreid onderzoek is gedaan naar jailbreak-kwetsbaarheden in Large Language Models (LLM's), Vision Language Models (VLM's) en Tekst-naar-Afbeelding (T2I)-modellen, blijven T2V-modellen grotendeels onontgonnen terrein. Bestaande veiligheidsmechanismen slagen er vaak niet in om de unieke kwetsbaarheden aan te pakken die voortvloeien uit de temporele aard van video-generatie, specifiek het risico dat afzonderlijk onschadelijke gebeurtenissen, wanneer ze in een volgorde worden geplaatst, een schadelijk verhaal kunnen vormen. Dit artikel identificeert een kritieke veiligheidskloof: het ontbreken van robuuste verdedigingen tegen aanvallen die de narratieve structuur en temporele volgorde in T2V-modellen exploiteren.

Methodologie: SceneSplit

Om deze kloof op te vullen, stellen de auteurs SceneSplit voor, een nieuwe black-box jailbreak-methode die is ontworpen om T2V-veiligheidsfilters te omzeilen. De kernhypothese is dat veiligheidsfilters prompts met een hoge directe schadelijkheid waarschijnlijker blokkeren. SceneSplit omzeilt dit door een schadelijk verhaal te fragmenteren in een reeks afzonderlijk onschadelijke scènes. De methode werkt op het principe dat hoewel elke individuele scène overeenkomt met een breed, veilig generatief output-ruimte, hun sequentiële combinatie fungeert als een krachtige wederzijdse beperking, waardoor de totale output-ruimte wordt ingeperkt tot een gebied waar de kans op het genereren van een schadelijke video groot is.

De methodologie bestaat uit drie kerncomponenten:

1. Scènesplitsing:

   • Proces: Een schadelijke prompt wordt omgezet in een set van 2 tot 5 procedurele scènes.
   • Technieken:
     • Scèneverdeling: Het verhaal wordt opgesplitst in een reeks acties.
     • Parafraseren: De taal van elke scène wordt herschreven om onschadelijker en minder direct schadelijk te zijn, waardoor de meetbare schadelijkheidsscore van individuele prompts wordt verlaagd.
   • Mechanisme: Een LLM voert deze transformatie uit, optioneel geleid door een strategie die uit een bibliotheek wordt opgehaald. Het resulterende setje scène-prompts passeert individueel de veiligheidsfilters, maar beperkt collectief het model om het oorspronkelijke schadelijke doel te genereren.

2. Scènemanipulatie:

   • Doel: Om post-processing visuele veiligheidsfilters te omzeilen als de initiële splitsing onvoldoende is of als de gegenereerde video als veilig wordt beschouwd.
   • Proces: Dit is een iteratief proces (binnenste lus) dat de prompt aanpast om een optimaal aanvalspunt te zoeken binnen de beperkte generatieve ruimte.
   • Scèneselectie: Als er een video is gegenereerd maar als veilig wordt beoordeeld, analyseert een Video Understanding Model (VLM) de output om de "meest invloedrijke scène" te identificeren—de specifieke scène-prompt waarvan de visuele weergave het sterkst correleert met de inhoud van de video. Als de prompt door een filter wordt geblokkeerd, wordt willekeurig een scène geselecteerd.
   • Iteratieve aanpassing: De LLM wijzigt alleen de geselecteerde invloedrijke scène op basis van feedback (bijvoorbeeld veiligheidsbeloningsscores). Het voert een bi-directioneel zoekproces uit: het maakt de uitdrukking explicieter als de aanval te zwak was, of implicieter als deze werd geblokkeerd. Dit gaat door voor een vastgesteld aantal iteraties ($I$) om een configuratie te vinden die detectie ontwijkt terwijl het schadelijke verhaal behouden blijft.

3. Strategie-updates:

   • Doel: Om robuustheid en efficiëntie te verbeteren door succesvolle aanvalspatronen opnieuw te gebruiken (buitenste lus).
   • Mechanisme: Een Strategiebibliotheek slaat paren van succesvolle strategieën en de embeddings van de oorspronkelijke schadelijke prompts op.
   • Proces: Voordat een nieuwe aanval wordt gestart, berekent het systeem de embedding van de huidige schadelijke prompt en vergelijkt deze met de bibliotheek. Als een semantisch vergelijkbare eerdere succesvolle aanval wordt gevonden (boven een drempelwaarde $\lambda$), wordt de bijbehorende splitsingsstrategie opnieuw gebruikt. Na een succesvolle aanval wordt de nieuwe promptsequentie samengevat tot een nieuwe strategie en toegevoegd aan de bibliotheek. Hierdoor kan de methode zich aanpassen aan specifieke modelkwetsbaarheden zonder handmatige tussenkomst.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Nieuwe Methodologie: De voorstelling van SceneSplit, de eerste black-box jailbreak-methode die specifiek is ontworpen voor T2V-modellen en die gebruikmaakt van narratieve fragmentatie en scènesplitsing.
2. Identificatie van Kwetsbaarheden: De identificatie van een specifieke kwetsbaarheid waarbij de sequentiële combinatie van afzonderlijk veilige scène-prompts de generatieve output-ruimte van het T2V-model beperkt, waardoor het wordt gedwongen te convergeren naar een schadelijk verhaal dat standaard veiligheidsfilters omzeilt.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat SceneSplit veiligheidsfilters effectief omzeilt bij meerdere commerciële T2V-modellen met hoge Aanvalssuccespercentages (ASR).

Experimentele Resultaten

De auteurs hebben SceneSplit geëvalueerd op 11 veiligheidscategorieën uit de T2VSafetyBench over vijf commerciële T2V-modellen: Luma Ray2, Hailuo, Veo2, Kling V1.0 en Sora2.

• Prestaties: SceneSplit behaalde aanzienlijk hogere ASR's in vergelijking met bestaande baselines (T2VSafetyBench en RPG-RT).
  • Luma Ray2: 77,2% ASR
  • Hailuo: 84,1% ASR
  • Veo2: 78,2% ASR
  • Kling V1.0: 78,6% ASR
  • Sora2: 68,6% ASR
• Ablatiestudies:
  • Scènesplitsing: Het combineren van scèneverdeling en parafraseren leverde de hoogste ASR op, wat bewijst dat het splitsen van de prompt de sleutelfactor is in het beperken van de output-ruimte.
  • Scènemanipulatie: Het toevoegen van iteratieve manipulatie verhoogde de ASR met ongeveer 18% ten opzichte van de eenmalige splitsingsbaseline.
  • Strategie-updates: Het gebruik van de strategiebibliotheek verbeterde de ASR met ongeveer 9% en verlaagde het gemiddelde aantal benodigde aanvalspogingen.
• Semantische consistentie: Ondanks de parafraseren en splitsing behielden de gegenereerde video's een hoge semantische gelijkenis (gemiddeld 0,53) met de oorspronkelijke schadelijke prompts, wat bevestigt dat de aanval het beoogde schadelijke verhaal behoudt.

Betekenis en Claims

Het artikel stelt dat huidige T2V-veiligheidsmechanismen fundamenteel kwetsbaar zijn voor aanvallen die de narratieve structuur en temporele volgorde exploiteren. Door aan te tonen dat afzonderlijk onschadelijke scènes kunnen worden gecombineerd om schadelijke content te genereren, betogen de auteurs dat veiligheidsfilters moeten evolueren om contextuele risico's over scènes heen te beoordelen in plaats van alleen individuele prompts of statische frames te evalueren.

De auteurs positioneren dit werk als een proactieve stap richting het verbeteren van AI-veiligheid. Zij stellen dat het blootleggen van deze kwetsbaarheid essentieel is voor onderzoekers en ontwikkelaars om geavanceerdere veiligheidsmechanismen te bouwen die in staat zijn inter-scène context te begrijpen. Hoewel zij het potentieel voor misbruik erkennen, benadrukt het artikel dat de kwetsbaarheid binnen de modellen bestaat, ongeacht de aanval, en dat het ontdekken ervan een noodzakelijke voorwaarde is voor het waarborgen van het langetermijnvertrouwen en de ethische inzet van T2V-technologie.