Anti-I2V: Safeguarding your photos from malicious image-to-video generation

1. Problématique

L'avancement rapide des modèles de diffusion pour la génération de vidéos (VDMs) permet désormais de créer des vidéos réalistes et cohérentes à partir d'une seule image de référence et d'un prompt textuel. Bien que ces technologies soient impressionnantes, elles présentent un risque majeur de mauvaise utilisation : la création de deepfakes ou de contenus nuisibles à partir de photos personnelles trouvées sur Internet.

Les méthodes de défense existantes (attaques adverses) se concentrent principalement sur la génération d'images (Text-to-Image) ou sur des architectures spécifiques (comme les UNet). Elles échouent souvent face aux modèles modernes de génération vidéo pour plusieurs raisons :

• Elles optimisent les perturbations uniquement dans l'espace RGB, ce qui les rend faciles à éliminer lors des étapes de débruitage itératif des modèles vidéo.
• Elles ne ciblent pas efficacement la cohérence temporelle, qui est le défi central de la génération vidéo (la qualité des frames suivantes dépend des caractéristiques sémantiques de la frame initiale).
• Elles sont peu efficaces contre les nouvelles architectures basées sur les Transformers de Diffusion (DiT) (comme CogVideoX ou OpenSora), qui sont plus robustes et possèdent une meilleure rétention des caractéristiques.

2. Méthodologie : Anti-I2V

Les auteurs proposent Anti-I2V, un cadre de défense universel conçu pour perturber la génération vidéo tout en restant imperceptible à l'œil humain. La méthode repose sur deux piliers principaux :

A. Perturbation dans un Espace Dual (Dual-Space Perturbation - DSP)

Au lieu d'ajouter du bruit directement dans l'espace des couleurs RGB, Anti-I2V opère dans deux domaines complémentaires pour rendre la perturbation plus robuste et moins visible :

1. Espace colorimétrique L*a*b* : Les perturbations sont appliquées uniquement sur les canaux a* (vert-rouge) et b* (bleu-jaune), qui sont décorrélés de la luminance (L*). Cela modifie la perception des couleurs sans affecter la luminosité, rendant l'altération moins perceptible pour l'œil humain mais très efficace pour tromper le modèle.
2. Domaine fréquentiel (DCT) : Les auteurs utilisent la Transformée en Cosinus Discrète (DCT) pour cibler les composantes basse fréquence (les coefficients en haut à gauche). Ces composantes contiennent la structure fondamentale de l'image. En perturbant directement ces coefficients, l'attaque affecte la représentation profonde de l'image plutôt que les valeurs de pixels superficiels.

B. Perturbation des Représentations Internes (Objectifs d'Entraînement)

Pour contrer la capacité des modèles à reconstruire une vidéo cohérente, Anti-I2V introduit deux nouvelles fonctions de perte qui ciblent les couches intermédiaires du réseau de débruitage (VAE et modules de débruitage) :

1. Internal Representation Collapse (IRC) :

   • Principe : Les couches profondes des modèles de diffusion capturent des caractéristiques sémantiques de haut niveau (comme l'identité d'une personne).
   • Mécanisme : Cette perte force les caractéristiques des couches profondes (riches en sémantique) à se rapprocher de celles des couches très précoces (qui ne contiennent que des structures de bas niveau et peu de sémantique).
   • Effet : Cela provoque un « effondrement » des représentations sémantiques, empêchant le modèle de reconstruire une identité cohérente au fil des frames.

2. Internal Representation Anchor (IRA) :

   • Principe : Perturber l'extraction des caractéristiques à l'intérieur de chaque couche, et non seulement à la sortie finale.
   • Mécanisme : Cette perte minimise la distance entre les caractéristiques cachées générées à partir de l'image perturbée et celles générées à partir d'une image cible non liée (ou de l'image originale dans le cas d'une attaque non ciblée).
   • Effet : Cela désynchronise l'alignement des caractéristiques à travers les différentes étapes du processus de débruitage, dégradant la fidélité de la génération.

L'objectif final combine ces pertes avec des pertes auxiliaires (CLIP, LPIPS) et la perte de débruitage standard, optimisée via une descente de gradient projetée (PGD).

3. Contributions Clés

• Première défense généraliste pour I2V : Anti-I2V est conçu pour fonctionner sur une variété d'architectures de diffusion (UNet, DiT, MMDiT), contrairement aux méthodes précédentes limitées à des modèles spécifiques.
• Optimisation dans l'espace Dual (L*a*b* + Fréquence) : C'est la première méthode à combiner ces deux espaces pour l'optimisation des perturbations, démontrant une robustesse supérieure aux transformations (compression JPEG, flou) et aux techniques de purification.
• Analyse des couches internes : Les auteurs identifient les couches spécifiques où les caractéristiques sémantiques émergent et introduisent les pertes IRC et IRA pour perturber activement le flux d'information à travers le réseau, ciblant spécifiquement la cohérence temporelle.

4. Résultats Expérimentaux

Les auteurs ont évalué Anti-I2V sur trois modèles de pointe : CogVideoX-5B, OpenSora v1.2 et DynamiCrafter, en utilisant deux jeux de données : CelebV-Text (visages) et UCF101 (actions corporelles).

• Performance de protection : Anti-I2V surpasse systématiquement les méthodes de base (SDS, AdvDM, MIST, VGMShield).
  • Sur DynamiCrafter, le score de similarité d'identité (ISM) chute de 0.528 (image propre) à 0.151 avec Anti-I2V, contre 0.262 pour la meilleure méthode concurrente.
  • La qualité vidéo globale (mesurée par Q-Align) et la cohérence temporelle sont fortement dégradées, rendant les vidéos générées incohérentes et souvent illisibles.
• Robustesse : La méthode résiste mieux aux transformations (compression, flou) et aux techniques de purification (DiffPure, GrIDPure) que les perturbations basées sur le RGB.
• Transférabilité : Les perturbations générées sur un modèle (ex: CogVideoX) se transfèrent efficacement à d'autres architectures (ex: OpenSora, DynamiCrafter), y compris les modèles DiT récents.
• Indépendance au Prompt : La méthode reste efficace quelle que soit la description textuelle utilisée pour générer la vidéo.

5. Signification et Conclusion

Anti-I2V représente une avancée significative dans la sécurité des modèles génératifs vidéo. En démontrant que l'optimisation des perturbations dans des espaces non-RGB (L*a*b* et Fréquence) couplée à une attaque ciblée sur les représentations internes des réseaux de neurones, il est possible de neutraliser efficacement la capacité des modèles à générer des deepfakes à partir d'une seule photo.

Ce travail souligne l'urgence de développer des mécanismes de défense adaptés aux architectures modernes (DiT) et aux défis spécifiques de la cohérence temporelle, offrant une solution pratique pour protéger la vie privée des individus face à l'évolution rapide de l'IA générative vidéo.