TEAR: Temporal-aware Automated Red-teaming for Text-to-Video Models

Titel

TEAR: Temporal-aware Automated Red-teaming voor Text-to-Video Modellen

1. Het Probleem

Text-to-Video (T2V) modellen, zoals Veo en Hunyuan-Video, kunnen hoogwaardige, dynamische video's genereren op basis van tekst. Hoewel deze technologie vooruitgang boekt, introduceert de dynamische aard van video's nieuwe veiligheidsrisico's die niet worden gedekt door bestaande evaluatiemethoden.

• Beperkingen van bestaande methoden: Huidige "red-teaming" (veiligheidstesten) voor generatieve modellen focust voornamelijk op statische afbeeldingen of tekst. Deze methoden behandelen video vaak als een reeks onafhankelijke frames en missen het vermogen om risico's te detecteren die voortvloeien uit temporale dynamiek (de volgorde en interactie van gebeurtenissen in de tijd).
• De kwetsbaarheid: Een prompt kan individueel onschuldig lijken, maar wanneer deze wordt opgebouwd als een tijdsreeks van gebeurtenissen, kan het leiden tot het genereren van schadelijke content (bijvoorbeeld zelfmoord, geweld of onveilig gedrag). Dit wordt een "temporal-aggregation attack" genoemd. Bestaande filters blokkeren vaak de tekstuele prompt niet, maar falen in het detecteren van de schadelijke actie die zich in de video ontvouwt.

2. Methodologie: TEAR Framework

De auteurs stellen TEAR (Temporal-aware Automated Red-teaming) voor, een geautomatiseerd framework dat specifiek is ontworpen om deze temporale kwetsbaarheden bloot te leggen. Het framework bestaat uit drie hoofdfasen:

A. Probleemformulering

Het doel is om een set van "adversariële prompts" ($P^*_v$) te vinden die:

1. Door tekstuele filters worden geïdentificeerd als veilig ($\Phi_P(p) = 0$).
2. Door het T2V-model worden omgezet in een onveilige video ($\Phi_V(M(p)) = 1$).

B. Optimisatie van de Temporal-aware Test Generator

De kern van TEAR is een generator die wordt geoptimaliseerd via een twee-trapsaanpak, geformuleerd als een Markov Decision Process (MDP):

1. Fase 1: Initialisatie en Dataset Constructie

   • Er wordt een dataset ($D_p$) opgebouwd met "meta-schadelijke" prompts die worden omgeschreven naar veilige tekst.
   • Regels voor herschrijven:
     • Temporale deconstructie: Schadelijke instructies worden opgesplitst in een chronologische reeks van statische, onschuldige gebeurtenissen.
     • Sequentiële afdwinging: Er worden expliciete tijdsconnectieven toegevoegd (bijv. "Na twee seconden...").
     • Temporale synthese: De schadelijkheid ontstaat pas door de combinatie van deze gebeurtenissen in de tijd, niet door een individuele zin.
   • Een LLM (Large Language Model) wordt getraind op deze dataset om initiële problematische prompts te genereren.

2. Fase 2: Temporal-aware Online Preference Learning

   • De generator wordt verder verfijnd door interactie met het doel-T2V-model.
   • Beloningsfuncties (Rewards):
     • Prompt Space ($R_{pmt}$): Optimaliseert voor tekstuele veiligheid (geen haatzaaiende taal) en structurele consistentie met de tijdsreeks.
     • Temporal Space ($R_{con}$): Meet de consistentie tussen de tekst en de gegenereerde video. Dit omvat global consistency (past de video bij de schadelijke intentie?) en inner consistency (is de video logisch opgebouwd?).
   • Er wordt gebruikgemaakt van PPO (Proximal Policy Optimization) om de generator te leren prompts te genereren die de veiligheidsfilters omzeilen maar wel de schadelijke video produceren.

C. Test Case Refinement (Verfijning)

• Een Refine Model (een Multi-modal LLM) analyseert de gegenereerde video en de feedback van de veiligheidsfilters.
• Op basis van deze feedback (kwantitatieve scores en kwalitatieve uitleg) past het model de prompt iteratief aan om de "stealthiness" (onopvallendheid) en het effectiviteit te maximaliseren. Dit vormt een gesloten lus die complexere kwetsbaarheden blootlegt.

3. Belangrijkste Bijdragen

1. Nieuw Framework: TEAR is het eerste geautomatiseerde framework dat specifiek gericht is op het onthullen van temporale kwetsbaarheden in T2V-modellen.
2. Uitgebreide Evaluatie: Het framework is getest op vijf toonaangevende modellen (twee open-source: Wan2.2, Hunyuan-Video; drie commercieel: Veo-3.1, Hailuo-2.3, Ray-2) en presteert aanzienlijk beter dan state-of-the-art baselines.
3. Onthulling van Commerciële Falen: Het onderzoek toont aan dat huidige veiligheidsfilters in commerciële API-services ontoereikend zijn voor dynamisch onveilige gevallen, waarbij tekstuele prompts veilig lijken maar schadelijke video's genereren.

4. Resultaten

De experimenten tonen een overtuigend succes van TEAR vergeleken met bestaande methoden (zoals FLIRT, ART, en T2VSafetyBench):

• Aanvalsuccespercentage (ASR):
  • TEAR bereikte een ASR van >80% (bijv. 82,3% op Hunyuan-Video en 80,5% op Wan 2.2).
  • Dit is een significante verbetering ten opzichte van de beste bestaande methode (FLIRT), die rond de 57% lag.
• Filter Pass Rate:
  • De gegenereerde prompts werden in bijna 98% van de gevallen door de tekstuele filters (NSFW, Toxicity) als veilig beschouwd, terwijl ze toch schadelijke video's produceerden.
• Transferability (Overdraagbaarheid):
  • Prompts die zijn geoptimaliseerd voor één model, bleken zeer effectief op andere modellen (gemiddelde transfer ASR van 76,4%). Dit suggereert een fundamentele, gedeelde zwakte in de veiligheidsmechanismen van T2V-modellen.
• Seed-free Generatie:
  • Zelfs zonder vooraf gedefinieerde "seed prompts" (startpunten) behaalde TEAR een ASR van bijna 80%, wat aantoont dat het systeem zelfstandig kwetsbaarheden kan ontdekken.

5. Significatie

Het paper benadrukt dat de veiligheid van generatieve AI niet stopt bij statische afbeeldingen of tekst. De dynamische, tijdsgebonden aard van video's creëert een nieuwe categorie van risico's die alleen kunnen worden opgespoord door methoden die rekening houden met temporale sequenties.

TEAR biedt ontwikkelaars een schaalbaar instrument om proactief hun T2V-systemen te auditen voordat ze worden gelanceerd. De bevindingen wijzen erop dat huidige veiligheidsmaatregelen onvoldoende zijn en dat er een dringende behoefte is aan nieuwe aligneringsmechanismen die specifiek zijn ontworpen voor de temporale dynamiek van video-inhoud.