IP-Bench: Benchmark for Image Protection Methods in Image-to-Video Generation Scenarios

Titel

IP-Bench: Benchmark voor Beveiligingsmethoden in Scenarios voor Generatie van Beeld-naar-Video

1. Het Probleem

Met de snelle vooruitgang van modellen voor het genereren van video's uit beelden (Image-to-Video of I2V), zoals HunyuanVideo en SeedDance, is het risico op misbruik aanzienlijk toegenomen. Kwaadaardige actoren kunnen een enkel statisch beeld gebruiken om nepvideo's (deepfakes) of desinformatie te genereren.

Hoewel er reeds beveiligingsmethoden zijn ontwikkeld om onbevoegde bewerkingen van afbeeldingen door I2I-modellen (Image-to-Image) te voorkomen, ontbreekt er een gestructureerde evaluatie voor I2V-scenario's. Bestaande methoden lijden onder:

• Het ontbreken van een unificatie benchmark.
• Gebrek aan systematische evaluatie tegen preprocessing-aanvallen (zoals compressie of ruis).
• Onvolledige frameworks om de effectiviteit in real-world scenario's te beoordelen.

2. Methodologie: IP-Bench

De auteurs introduceren IP-Bench, het eerste systematische benchmark-framework specifiek ontworpen voor het evalueren van beveiligingsmethoden in I2V-generatiescenario's.

Threat Model (Bedreigingsmodel):

• Aanvaller: Probeert hoge kwaliteit video's te genereren uit beveiligde afbeeldingen, eventueel door preprocessing (JPEG-compressie, Gaussische ruis) toe te passen om de beveiliging te omzeilen.
• Verdediger: Voegt onwaarneembare perturbaties (verstoringen) toe aan het beeld voordat het wordt vrijgegeven, om de generatiekwaliteit te verstoren zonder de visuele kwaliteit voor de gebruiker te beïnvloeden.

Experimenteel Opzet:

• Beveiligingsmethoden: Er worden 6 representatieve methoden geëvalueerd, waaronder specifieke I2V-methoden (I2VGuard, VGMShield) en methoden gebaseerd op I2I (EditShield, MIST, PhotoGuard), plus een RandomNoise baseline.
• I2V-Modellen: De methoden worden getest op 5 state-of-the-art modellen met verschillende architecturen (U-Net en Diffusion Transformers/DiT), waaronder SVD, LTX, Skyreel, CogVideoX en Wan2.2.
• Aanvalsscenario's: Twee soorten preprocessing-aanvallen worden getest om robuustheid te meten:
  1. Eliminatie: JPEG-compressie (kwaliteitsfactor 75).
  2. Additie: Gaussische ruis.
• Dataset: Een aangepaste dataset van 300 hoogwaardige afbeeldingen (Flickr30k en MSCOCO) met prompts gegenereerd door Qwen2.5-VL.

Evaluatiemetrics:

• Beschermingseffectiviteit: Gemeten via VBench (Subject Consistency, Motion Smoothness, Aesthetic Quality, Imaging Quality) en Fréchet Video Distance (FVD) om de distributieverschuiving te kwantificeren.
• Visuele Fideliteit: Gemeten via PSNR, SSIM, LPIPS, CLIP Similarity en FID om te zorgen dat de perturbaties onwaarneembaar blijven.

3. Belangrijkste Bijdragen

1. IP-Bench Framework: De introductie van het eerste systematische benchmark voor I2V-beveiliging dat vier dimensies combineert: effectiviteit, visuele kwaliteit, robuustheid tegen aanvallen en overdraagbaarheid (cross-model & cross-modality).
2. Gedetailleerde Analyse van Trade-offs: Het paper onthult een fundamenteel compromis tussen beschermingseffectiviteit en visuele kwaliteit. Methoden die sterke bescherming bieden, degraderen vaak de beeldkwaliteit aanzienlijk.
3. Robuustheidsonderzoek: Het toont aan dat de meeste bestaande methoden zeer kwetsbaar zijn voor eenvoudige preprocessing-aanvallen (vooral JPEG-compressie), wat hun praktische toepasbaarheid beperkt.
4. Open Source Framework: De release van een uitbreidbaar code-framework dat onderzoekers in staat stelt nieuwe methoden en aanvalsstrategieën eenvoudig te integreren.

4. Resultaten

De resultaten tonen duidelijke prestatieverschillen tussen de methoden:

• Bescherming vs. Kwaliteit:

  • MIST: Biedt de sterkste bescherming (hoogste degradatie van video-kwaliteit, ~6.6% op VBench), maar heeft de slechtste visuele kwaliteit (lage PSNR/SSIM, hoge FID).
  • EditShield: Behoudt de beste visuele kwaliteit (hoge PSNR van 38.31), maar biedt nauwelijks bescherming (verwaarloosbare degradatie van 0.63%).
  • I2VGuard & VGMShield: Bieden een middenweg, waarbij I2VGuard opvallend robuust is tegen preprocessing-aanvallen.
  • PhotoGuard: Biedt een gebalanceerde prestatie met matige visuele kwaliteit en redelijke bescherming.

• Robuustheid tegen Aanvallen:

  • JPEG-compressie: Werkt als een krachtige "zuivering". De meeste methoden verliezen hun effectiviteit volledig (degradatie daalt naar <1%). Alleen MIST behoudt een zekere mate van effectiviteit, hoewel deze ook daalt.
  • Gaussische Ruis: Heeft een vergelijkbaar effect als JPEG, maar I2VGuard vertoont een interessant fenomeen waarbij de bescherming op sommige modellen juist toeneemt onder ruis, wat wijst op een specifieke structuur in de perturbaties die beter past bij temporele aandachtsmechanismen.

• Overdraagbaarheid:

  • Cross-Model: Er is weinig specifieke overdraagbaarheid; de prestaties worden meer bepaald door de inherente gevoeligheid van het doelmodel dan door het specifieke beveiligingsalgoritme.
  • Cross-Modality: Methoden die oorspronkelijk voor I2I zijn ontworpen (zoals MIST en PhotoGuard) vertonen sterke overdraagbaarheid naar video, waarschijnlijk omdat ze statische componenten (VAE, latent manifold) aanpakken die gedeeld worden door I2V-modellen.

5. Betekenis en Conclusie

IP-Bench legt een kritische bloot op de huidige staat van beveiliging in generatieve AI. De belangrijkste inzichten zijn:

1. Het Dilemma: Er is een fundamenteel compromis tussen het verstoren van de generatie (bescherming) en het behoud van de beeldkwaliteit.
2. Kwetsbaarheid: Bestaande methoden zijn vaak te kwetsbaar voor standaard beeldverwerking (zoals JPEG), omdat ze zich richten op hoogfrequente ruis die door compressie wordt verwijderd.
3. Toekomstrichting: Er is een dringende behoefte aan methoden die perturbaties in robuustere frequentiecomponenten (bijv. middenfrequenties) embedden om zowel onwaarneembaarheid als weerstand tegen preprocessing te garanderen.

Dit werk biedt een gestandaardiseerd kader voor onderzoekers om de volgende generatie van robuuste en overdraagbare beveiligingsmethoden voor I2V-modellen te ontwikkelen.