IP-Bench: Benchmark for Image Protection Methods in Image-to-Video Generation Scenarios

1. El Problema

Con el avance rápido de los modelos de generación de Imagen a Video (I2V), como HunyuanVideo y Sora, existe un riesgo creciente de mal uso para crear contenido malicioso (deepfakes, desinformación). Una sola imagen puede ser explotada para generar videos falsos convincentes.

Aunque existen métodos de protección de imágenes diseñados para modelos de Imagen a Imagen (I2I) (como PhotoGuard o Mist), su aplicación en escenarios I2V presenta desafíos críticos:

• Falta de estandarización: No existe un benchmark unificado para evaluar estos métodos en el contexto de generación de video.
• Evaluación incompleta: Las evaluaciones actuales suelen limitarse a métricas específicas o modelos únicos, ignorando la robustez frente a ataques de preprocesamiento (como compresión JPEG o ruido) y la capacidad de transferencia entre diferentes arquitecturas de modelos.
• Complejidad temporal: Los métodos estáticos diseñados para I2I pueden no ser efectivos contra la dimensión temporal añadida en la generación de video.

2. Metodología: IP-Bench

Los autores proponen IP-Bench, el primer benchmark sistemático diseñado para evaluar métodos de protección de imágenes en escenarios de generación I2V.

Componentes del Benchmark:

• Métodos Evaluados (6): Se comparan estrategias específicas para I2V y métodos basados en I2I:
  • I2VGuard y VGMShield (Específicos para I2V).
  • EditShield, Mist, PhotoGuard (Basados en I2I).
  • RandomNoise (Línea base).
• Modelos de Generación (5): Se prueban contra 5 modelos de última generación con arquitecturas diversas:
  • Basados en U-Net: SVD (Stable Video Diffusion).
  • Basados en DiT (Diffusion Transformers): LTX, Skyreel, CogVideoX, Wan2.2.
• Ataques de Robustez: Se evalúa la resistencia de las protecciones frente a dos estrategias de preprocesamiento comunes:
  1. Compresión JPEG: Para eliminar señales de alta frecuencia.
  2. Ruido Gaussiano: Para enmascarar o saturar las perturbaciones protectoras.
• Métricas de Evaluación:
  • Efectividad de Protección: Se mide mediante la tasa de degradación de los puntajes de VBench (Consistencia del sujeto, Suavidad del movimiento, Calidad estética, Calidad de imagen) y el FVD (Fréchet Video Distance) para medir el desplazamiento de la distribución del video generado.
  • Fidelidad Visual: Se evalúa la imperceptibilidad de la protección en la imagen original usando PSNR, SSIM, LPIPS, CLIP Similarity y FID.
  • Transferibilidad: Análisis de rendimiento cruzado entre diferentes modelos (Cross-Model) y entre dominios de imagen y video (Cross-Modality).

3. Contribuciones Clave

1. IP-Bench: Introducción del primer marco de evaluación sistemático, reproducible y extensible para métodos de protección en I2V.
2. Análisis de Compensación (Trade-off): Demostración empírica de la tensión fundamental entre la efectividad de la protección y la calidad visual de la imagen protegida.
3. Evaluación de Robustez: Identificación de la vulnerabilidad crítica de los métodos actuales frente a ataques de preprocesamiento simples (especialmente la compresión JPEG).
4. Código Abierto: Liberación de un marco de código extensible para que la comunidad pueda integrar nuevos métodos y estrategias de ataque.

4. Resultados Principales

A. Efectividad vs. Calidad Visual

Existe una clara compensación:

• Mist: Ofrece la protección más fuerte (tasa de degradación promedio de ~6.6% en VBench), pero sacrifica drásticamente la calidad visual (PSNR bajo, FID alto), haciendo la imagen inutilizable para muchos casos de uso.
• EditShield: Preserva la calidad visual excepcionalmente bien (PSNR: 38.31), pero es casi ineficaz contra la generación de video (degradación mínima del 0.63%).
• I2VGuard: Muestra un buen equilibrio, siendo robusto contra ataques de preprocesamiento, aunque con una calidad visual intermedia.

B. Robustez frente a Ataques

• Compresión JPEG: Actúa como un "purificador" extremadamente potente. La mayoría de los métodos pierden casi toda su efectividad tras la compresión, ya que sus perturbaciones suelen residir en frecuencias altas que JPEG descarta. Solo Mist mantiene una resistencia no despreciable, aunque reducida.
• Ruido Gaussiano: Tiende a degradar aún más la calidad visual. Curiosamente, I2VGuard muestra un comportamiento divergente, donde su efectividad aumenta en algunos modelos bajo ruido gaussiano, sugiriendo que sus patrones de perturbación se alinean con vulnerabilidades específicas de la atención temporal.

C. Transferibilidad

• Cross-Model: No se observa una transferencia algorítmica significativa. El rendimiento depende más de la sensibilidad inherente del modelo objetivo a las perturbaciones que del diseño del método de protección.
• Cross-Modality (Imagen a Video): Los métodos diseñados para I2I (Mist, PhotoGuard) muestran una transferibilidad robusta al dominio de video. Al no tener que optimizar para la consistencia temporal, pueden generar ruido adversarial más potente que afecta eficazmente a los modelos I2V debido a las bases arquitectónicas compartidas (VAE, espacios latentes).

5. Significado e Impacto

• Definición de Estándares: IP-Bench establece una base para comparar objetivamente futuras técnicas de protección, moviéndose más allá de evaluaciones anecdóticas.
• Dirección para Futuras Investigaciones: Los resultados indican que las estrategias actuales son frágiles ante transformaciones de señal estándar (JPEG). Se sugiere que la próxima generación de métodos debe incorporar optimización consciente de la frecuencia (incrustar perturbaciones en frecuencias medias más resilientes) para equilibrar la robustez con la imperceptibilidad.
• Advertencia de Seguridad: El benchmark revela que, en su estado actual, la mayoría de las protecciones son insuficientes para escenarios del mundo real donde los atacantes pueden aplicar compresión o ruido antes de generar el video.

En conclusión, el trabajo subraya que la protección de imágenes para I2V es un problema abierto que requiere un equilibrio delicado entre sabotear la generación de video y mantener la utilidad visual de la imagen, todo ello bajo la amenaza de ataques de preprocesamiento simples.