IP-Bench: Benchmark for Image Protection Methods in Image-to-Video Generation Scenarios

1. Problemstellung

Mit dem rasanten Fortschritt von Bild-zu-Video-Generierungsmodellen (Image-to-Video, I2V) steigt das Risiko des Missbrauchs zur Erstellung von Deepfakes und Desinformation. Ein einzelnes Bild kann genutzt werden, um täuschend echte, aber gefälschte Videos zu erzeugen. Um dies zu verhindern, wurden verschiedene Schutzmethoden entwickelt, die dem Bild adversariale Störungen hinzufügen, um die Generierung durch I2V-Modelle zu sabotieren.

Es bestehen jedoch erhebliche Lücken in der aktuellen Forschung:

• Fehlende einheitliche Benchmarks: Es gibt keinen standardisierten Rahmen, um verschiedene Schutzmethoden fair zu vergleichen.
• Unvollständige Evaluierung: Bisherige Studien beschränken sich oft auf einzelne Modelle oder Metriken und berücksichtigen nicht systematisch die Robustheit gegen Vorverarbeitungsangriffe (Preprocessing Attacks).
• Mangelnde Generalisierbarkeit: Es ist unklar, wie gut Schutzmethoden über verschiedene I2V-Architekturen (z. B. U-Net vs. Diffusion Transformer) und Modalitäten (Bild-zu-Bild vs. Bild-zu-Video) hinweg funktionieren.

2. Methodik: IP-Bench

Die Autoren stellen IP-Bench vor, das erste systematische Benchmark-Tool zur Evaluierung von Bildschutzmethode in I2V-Szenarien.

Threat Model (Bedrohungsmodell):

• Angreifer: Versucht, hochwertige Videos aus geschützten Bildern zu generieren. Der Angreifer kennt die Schutzmethode nicht, kann aber Vorverarbeitungsangriffe (z. B. JPEG-Kompression, Rauschen) anwenden, um die Störungen zu entfernen.
• Verteidiger: Fügt dem Bild vor der Veröffentlichung unauffällige Störungen hinzu, um die Videoqualität zu mindern, während das Bild für menschliche Betrachter intakt bleibt.

Evaluierungsrahmen:
IP-Bench testet 6 repräsentative Schutzmethoden (darunter I2V-spezifische wie I2VGuard, VGMShield und I2I-basierte wie Mist, EditShield, PhotoGuard) gegen 5 state-of-the-art I2V-Modelle (SVD, LTX, Skyreel, CogVideoX, Wan2.2), die unterschiedliche Architekturen (U-Net und Diffusion Transformer) abdecken.

Evaluierungsmetriken:

1. Schutzwirkung (Protection Effectiveness):
   • Nutzung des VBench-Suites (Subject Consistency, Motion Smoothness, Aesthetic Quality, Imaging Quality) zur Messung des Qualitätsverlusts.
   • Fréchet Video Distance (FVD) zur Quantifizierung der Verteilungsabweichung zwischen Original- und geschützten Videos.
2. Visuelle Fidelity (Bildqualität):
   • Metriken wie PSNR, SSIM, LPIPS, CLIP-Similarity und FID, um sicherzustellen, dass die Störungen für Menschen kaum wahrnehmbar sind.
3. Robustheit gegen Angriffe:
   • Test unter zwei Vorverarbeitungsangriffen: JPEG-Kompression (Entfernung hochfrequenter Signale) und Gaußsches Rauschen (Überlagerung von Störungen).
4. Transferierbarkeit:
   • Analyse der Leistung über verschiedene Modellarchitekturen (Cross-Model) und Modalitäten (Cross-Modality, von I2I zu I2V).

3. Wichtige Ergebnisse

A. Trade-off zwischen Schutzwirkung und Bildqualität:
Es besteht ein fundamentaler Zielkonflikt: Methoden, die eine starke Schutzwirkung erzielen, beeinträchtigen oft die Bildqualität erheblich.

• Mist: Zeigt die stärkste Schutzwirkung (höchste Degradation der Videoqualität), führt aber zu einer starken Verschlechterung der Bildqualität (niedrigste PSNR/SSIM, hoher FID).
• EditShield: Erhält die Bildqualität hervorragend (hohe PSNR/SSIM), bietet aber kaum Schutz gegen I2V-Generierung (geringe Degradation).
• I2VGuard & VGMShield: Bieten einen mittleren Kompromiss, wobei I2VGuard besonders robust gegen Vorverarbeitungsangriffe ist.

B. Anfälligkeit gegenüber Vorverarbeitungsangriffen:
Die meisten Methoden sind extrem anfällig für einfache Vorverarbeitungsangriffe.

• JPEG-Kompression: Wirkt als starker „Reinigungs"-Schritt. Sie entfernt die hochfrequenten adversariellen Störungen effektiv. Fast alle Methoden verlieren nach JPEG-Kompression ihre Schutzwirkung (Degradationsrate sinkt drastisch). Nur Mist behält einen gewissen, wenn auch reduzierten Effekt bei.
• Gaußsches Rauschen: Kann die Störungen teilweise neutralisieren, führt aber bei einigen Methoden (wie I2VGuard) zu einem unerwarteten Anstieg der Schutzwirkung auf bestimmten Modellen, was auf eine komplexe Interaktion mit temporalen Attention-Mechanismen hindeutet.

C. Transferierbarkeit:

• Cross-Model: Es gibt keine signifikante algorithmische Transferierbarkeit. Die Leistung hängt primär von der inhärenten Empfindlichkeit des Zielmodells gegenüber Störungen ab, nicht vom spezifischen Schutzalgorithmus.
• Cross-Modality: Bildbasierte Schutzmethoden (I2I) zeigen eine bemerkenswerte Transferierbarkeit in den Video-Bereich (I2V). Da I2V-Modelle oft gemeinsame architektonische Grundlagen (z. B. VAE, latente Mannigfaltigkeiten) mit I2I-Modellen teilen, bleiben die Störungen auch bei der Video-Generierung wirksam.

4. Schlüsselbeiträge

1. IP-Bench Framework: Einführung des ersten systematischen, reproduzierbaren und erweiterbaren Benchmarks für Bildschutz in I2V-Szenarien.
2. Umfassende Analyse: Systematische Evaluierung von 6 Methoden über 5 Modelle hinweg, einschließlich der Analyse von Robustheit gegen Angriffe und Transferierbarkeit.
3. Erkenntnis des Trade-offs: Quantifizierung des fundamentalen Zielkonflikts zwischen Schutzwirkung und visueller Qualität.
4. Open Source: Bereitstellung eines erweiterbaren Code-Frameworks, das Forschern ermöglicht, neue Schutzmethoden und Angriffsstrategien einfach zu integrieren.

5. Bedeutung und Ausblick

IP-Bench hebt die dringende Notwendigkeit hervor, dass aktuelle Schutzmethoden nicht robust genug gegen alltägliche Vorverarbeitungsoperationen (wie JPEG-Kompression) sind. Die Ergebnisse deuten darauf hin, dass zukünftige Forschungsarbeiten sich auf Strategien konzentrieren müssen, die Störungen in robusteren Frequenzbereichen (z. B. mittlere Frequenzen) platzieren, um sowohl die Robustheit als auch die Unauffälligkeit zu gewährleisten.

Das Benchmark dient als entscheidende Grundlage für die Entwicklung der nächsten Generation von Schutzframeworks, die sowohl effektiv gegen Missbrauch als auch robust in realen Einsatzszenarien sind. Die Autoren verweisen jedoch auch auf Limitationen, wie das Fehlen von geschlossenen Quellen-Modellen (z. B. Sora, Kling) und die Notwendigkeit einer standardisierten Analyse des Rechenaufwands.