IP-Bench: Benchmark for Image Protection Methods in Image-to-Video Generation Scenarios

1. O Problema

Com o avanço rápido dos modelos de geração de Imagem para Vídeo (I2V), como Stable Video Diffusion (SVD), HunyuanVideo e Wan2.2, surgiu uma preocupação crítica de segurança: o potencial de uso indevido para criar conteúdo malicioso (deepfakes, desinformação) a partir de uma única imagem estática.

Embora existam métodos de proteção de imagens desenvolvidos para modelos de Imagem para Imagem (I2I) (como PhotoGuard, Mist, EditShield), eles apresentam lacunas significativas quando aplicados ao cenário I2V:

• Falta de Padronização: Não existe um benchmark unificado para avaliar esses métodos em cenários I2V.
• Fragilidade: Os métodos existentes não foram sistematicamente testados contra ataques de pré-processamento (como compressão JPEG ou ruído) que podem neutralizar as perturbações de proteção.
• Generalização: É desconhecido quão bem essas proteções se transferem entre diferentes arquiteturas de modelos I2V (ex: U-Net vs. Diffusion Transformers).

2. Metodologia: IP-Bench

Os autores propõem o IP-Bench, o primeiro benchmark sistemático projetado para avaliar métodos de proteção de imagens especificamente em cenários de geração de vídeo.

• Modelo de Ameaça:
  • Defensor: Aplica perturbações imperceptíveis na imagem para degradar a qualidade do vídeo gerado.
  • Adversário: Tenta gerar vídeos de alta qualidade a partir da imagem protegida, utilizando técnicas de pré-processamento (compressão JPEG, adição de ruído gaussiano) para remover as perturbações.
• Configuração Experimental:
  • Métodos de Proteção Avaliados (6): Inclui métodos específicos para I2V (I2VGuard, VGMShield) e métodos baseados em I2I adaptados (EditShield, Mist, PhotoGuard), além de uma linha de base (RandomNoise).
  • Modelos I2V Alvo (5): Avaliados em 5 modelos de última geração com arquiteturas distintas: SVD (U-Net), LTX, Skyreel, CogVideoX e Wan2.2 (todos baseados em Diffusion Transformers - DiT).
  • Dataset: 300 imagens de alta qualidade (Flickr30k e MSCOCO) com prompts gerados por LLMs para garantir coerência semântica.
  • Ataques de Robustez:
    1. Eliminação: Compressão JPEG (Fator de Qualidade 75).
    2. Adição: Ruído Gaussiano (Desvio padrão 0.01).
• Métricas de Avaliação:
  • Eficácia da Proteção: Medida pela taxa de degradação nos scores do VBench (Consistência do Sujeito, Suavidade do Movimento, Qualidade Estética, Qualidade de Imagem) e pela distância Fréchet Video Distance (FVD) entre vídeos originais e gerados a partir de imagens protegidas.
  • Fidelidade Visual: Medida por PSNR, SSIM, LPIPS, Similaridade CLIP e FID para garantir que a imagem original não seja distorcida para o usuário legítimo.

3. Principais Contribuições

1. IP-Bench: Introdução de um framework reprodutível e extensível para avaliação de proteção em I2V, cobrindo eficácia, fidelidade, robustez e transferibilidade.
2. Análise de Trade-off: Revelação de uma compensação fundamental (trade-off) entre a eficácia da proteção e a qualidade visual da imagem protegida.
3. Descobertas de Robustez: Demonstração de que a maioria dos métodos atuais falha sob ataques simples de pré-processamento (especialmente JPEG).
4. Análise de Transferibilidade: Estudo detalhado sobre como as proteções se comportam ao cruzar diferentes arquiteturas de modelos e modalidades (Imagem -> Vídeo).
5. Código Aberto: Liberação de um framework de código para facilitar o desenvolvimento e teste de novos métodos de proteção.

4. Resultados Chave

• Eficácia vs. Qualidade Visual:
  • O método Mist oferece a proteção mais forte (maior degradação no VBench e FVD), mas causa uma degradação visual severa na imagem original (baixo PSNR/SSIM).
  • O EditShield preserva a melhor qualidade visual (PSNR: 38.31), mas falha em proteger contra a geração de vídeos (degradação quase nula).
  • Conclusão: Métodos que degradam fortemente o modelo tendem a destruir a fidelidade visual da imagem.
• Robustez a Ataques de Pré-processamento:
  • A maioria dos métodos sofre uma "erosão" drástica da proteção quando submetida à Compressão JPEG. O processo de quantização do JPEG remove as perturbações de alta frequência onde a proteção reside.
  • Apenas o Mist manteve um efeito disruptivo não negligenciável após a compressão, embora reduzido.
  • O I2VGuard mostrou um comportamento interessante: em alguns modelos, sua eficácia aumentou sob ruído gaussiano, sugerindo que suas perturbações podem estar alinhadas com vulnerabilidades específicas de atenção temporal.
• Transferibilidade:
  • Cross-Model (Entre Arquiteturas): A eficácia da proteção depende mais da sensibilidade intrínseca do modelo alvo do que do design do algoritmo de proteção. Não houve transferência robusta consistente entre arquiteturas U-Net e DiT.
  • Cross-Modality (Imagem para Vídeo): Métodos projetados para I2I (como Mist e PhotoGuard) transferiram-se bem para o domínio I2V, aproveitando componentes compartilhados (como o VAE), demonstrando que otimizar apenas para consistência temporal não é estritamente necessário para causar disruptura.

5. Significado e Implicações

O IP-Bench estabelece um novo padrão para a avaliação de segurança em modelos generativos de vídeo. Os resultados destacam que:

• Desafio de Robustez: As proteções atuais são frágeis contra transformações de sinal comuns (como JPEG), indicando a necessidade de desenvolver perturbações que residam em componentes de frequência mais robustos (ex: frequências médias) em vez de apenas altas frequências.
• Direção Futura: O campo precisa de métodos que equilibrem a sabotagem do modelo gerador com a preservação da qualidade visual, sem depender de arquiteturas específicas e resistindo a pré-processamentos básicos.
• Avisos de Segurança: A facilidade com que a compressão JPEG neutraliza a proteção sugere que, em cenários reais de disseminação de conteúdo (onde imagens são frequentemente comprimidas), as proteções atuais podem ser ineficazes.

Em resumo, o trabalho fornece uma visão crítica e quantitativa do estado atual da proteção de imagens contra geração de vídeo, apontando que, embora existam soluções promissoras, a robustez prática e o equilíbrio com a qualidade visual permanecem como os maiores obstáculos para a implementação em larga escala.