Résumé Technique : CoVUBench – Évaluation du Désapprentissage du Droit d'Auteur Multimodal dans les LVLM

Énoncé du Problème

Les Modèles de Langage-Vision (LVLM), entraînés sur des corpus à l'échelle du web, risquent intrinsèquement de mémoriser et de régénérer du contenu visuel protégé par le droit d'auteur, tels que des personnages et des logos, ainsi que leurs descriptions textuelles. Bien que le désapprentissage automatique offre une voie pour supprimer des données spécifiques après l'entraînement, évaluer son efficacité dans un contexte multimodal reste un problème ouvert. Les cadres d'évaluation existants sont principalement centrés sur le texte (par exemple, TOFU, MUSE) et ne parviennent pas à résoudre les complexités de l'effacement de concepts conjointement ancrés dans les espaces visuel et linguistique. Les méthodes actuelles manquent de robustesse pour évaluer si un modèle a véritablement rompu le lien intermodal entre la reconnaissance visuelle et les connaissances factuelles associées, échouant souvent à distinguer entre des stratégies de refus superficielles et un effacement réel du concept. De plus, il existe un manque critique de benchmarks standardisés satisfaisant simultanément les besoins concurrents des titulaires de droits d'auteur (qui exigent une suppression robuste) et des déploiements de modèles (qui nécessitent la préservation de l'utilité générale).

Méthodologie

Pour combler ces lacunes, les auteurs introduisent CoVUBench (Copyright Vision-Language Unlearning Benchmark), un cadre conçu pour l'évaluation sûre et réaliste du désapprentissage du droit d'auteur dans les LVLM.

1. Construction du Jeu de Données

Au lieu d'utiliser la propriété intellectuelle (PI) réelle, qui pose des risques juridiques et éthiques, CoVUBench utilise un pipeline de génération procédurale pour créer du contenu de droit d'auteur synthétique et juridiquement sûr.

• Plans de Personnage : Le pipeline génère des « plans de personnage » structurés au format JSON définissant des personnages et des logos fictifs uniques avec des attributs sémantiques spécifiques (par exemple, personnalité, capacités) et des descriptions visuelles.
• Génération de Contenu Synthétique : En utilisant ces plans, le système génère un corpus diversifié d'images. Cela inclut des variations compositionnelles (différents arrière-plans, scènes, points de vue) et des manifestations de domaine (par exemple, un personnage apparaissant sous forme de figurine d'action 3D ou d'impression sur t-shirt) pour tester la généralisation du désapprentissage au-delà des instances d'entraînement spécifiques.
• Réponse aux Questions Visuelles (VQA) : Le jeu de données comprend 2 420 paires de questions-réponses VQA associées à 20 concepts uniques. Ces paires sont catégorisées en :
  • Questions unimodales : Requêtes textuelles uniquement testant le rappel factuel (par exemple, « Quelle est la capacité principale de [Personnage] ? »).
  • Questions multimodales : Requêtes basées sur l'image nécessitant une reconnaissance visuelle liée à des connaissances factuelles (par exemple, « Quelle est la capacité du personnage sur cette image ? »).
• Vérification : Un processus de filtrage rigoureux croise les attributs générés avec des bases de données de marques déposées (OMPI) et utilise la recherche d'image inversée pour garantir qu'il n'y a aucun chevauchement avec des œuvres protégées existantes.

2. Protocole d'Évaluation

Le benchmark emploie un pipeline en deux étapes :

1. Ajustement Fin (Mémorisation) : Un LVLM de base est ajusté finement sur un jeu d'entraînement ($D_{train}$) contenant les concepts de droit d'auteur synthétiques.
2. Désapprentissage : Un sous-ensemble ($D_{forget}$) est désigné pour suppression, tandis que le reste ($D_{retain}$) est préservé. Divers algorithmes de désapprentissage sont appliqués au modèle ajusté finement.

3. Métriques Centrées sur les Parties Prenantes

L'évaluation quantifie la performance à travers six métriques adressant deux perspectives distinctes :

• Perspective du Titulaire de Droits d'Auteur (Efficacité de l'Oubli) :
  • Efficacité : Mesure la réduction des scores d'Exact Match (EM) pour les mots-clés dans l'ensemble à oublier ($1 - EM(D_{forget})$).
  • Généralité : Mesure la réduction des scores EM sur un jeu de test retenu ($D_{test}$) avec des variations visuelles/textuelles nouvelles ($1 - EM(D_{test})$).
  • Divergence : Mesure la dissimilarité sémantique (similarité cosinus des plongements) entre les réponses de vérité terrain et les réponses prédites pour détecter les quasi-duplicates.
• Perspective du Déployeur de Modèle (Préservation de l'Utilité) :
  • Fluidité : Rappel ROUGE-L sur l'ensemble retenu ($D_{retain}'$).
  • Spécificité : Score Exact Match sur l'ensemble retenu pour le contenu non listé comme interdit.
  • Capacité : Précision sur des benchmarks généraux externes (POPE, MMBench) pour garantir que le raisonnement multimodal de base reste intact.

4. Lignes de Base

L'étude évalue cinq algorithmes de désapprentissage représentatifs :

• Descente de Gradient (GA) : Maximise la perte sur l'ensemble à oublier.
• Différence de Gradient (GD) : Équilibre la maximisation de la perte sur l'ensemble à oublier avec la minimisation sur l'ensemble retenu.
• Régularisation par Divergence KL (KL) : Minimise la divergence KL entre le modèle désappris et le modèle original sur l'ensemble retenu.
• Optimisation Directe des Préférences (DPO) : Entraîne le modèle à préférer les réponses de refus aux réponses originales.
• Optimisation des Préférences Négatives (NPO) : Traite l'ensemble à oublier comme des données de préférence négative pour réduire la probabilité des réponses originales.

Résultats Clés

Des expériences ont été menées sur les modèles LLaVA-Phi-3B et LLaVA-1.5-7B. Les résultats révèlent un compromis net entre l'efficacité de l'oubli et la préservation de l'utilité :

• Polarisation des Méthodes :
  • Méthodes basées sur le gradient (GA, KL) : Ont atteint une haute efficacité d'oubli (effacement robuste des concepts) mais ont causé des chutes catastrophiques de l'utilité du modèle (la Fluidité et la Spécificité ont chuté, en particulier sur le modèle 7B).
  • Méthodes basées sur les préférences (DPO, NPO) et GD : Ont réussi à préserver l'utilité du modèle (Fluidité et Spécificité élevées) mais ont échoué à effacer efficacement les concepts, obtenant des scores proches de zéro sur l'Efficacité et la Généralité. Leurs scores de Divergence élevés suggèrent qu'elles ont appris des stratégies de refus superficielles plutôt qu'un véritable désapprentissage.
• Le Fossé Modal : Un écart de performance significatif a été observé entre les requêtes unimodales (texte uniquement) et multimodales (incluant la vision). Les méthodes qui semblaient efficaces sur les requêtes textuelles uniquement ont souvent échoué à rompre le lien vision-connaissance lorsqu'elles ont été testées avec des images, indiquant que les méthodes actuelles peinent avec un véritable effacement de concept intermodal.
• Impact du Ratio d'Oubli : L'augmentation du ratio d'oubli (de 5 % à 20 %) a exacerbé le compromis. Les méthodes basées sur le gradient ont présenté un « oubli catastrophique excessif », détruisant les capacités intra-domaine, tandis que les méthodes préservant l'utilité sont restées inefficaces pour l'effacement, quel que soit le ratio.
• Sensibilité au Domaine : NPO a montré une efficacité plus élevée sur les personnages que sur les logos, probablement en raison de la complexité de la « lore » textuelle associée aux personnages, mais cela s'est fait au détriment d'une fluidité plus faible.

Importance et Revendications

L'article revendique que CoVUBench est le premier benchmark dédié à l'évaluation du désapprentissage du droit d'auteur dans les LVLM. Sa signification principale réside dans :

1. Standardisation : Fournir un cadre rigoureux et juridiquement sûr pour évaluer la généralisation du désapprentissage à travers diverses manifestations visuelles et associations intermodales.
2. Équilibre des Parties Prenantes : Introduire un protocole d'évaluation à double perspective qui quantifie explicitement la tension entre le besoin de suppression du titulaire de droits d'auteur et le besoin d'utilité du déployeur.
3. Insight Empirique : Démontrent que les algorithmes de désapprentissage actuels sont fondamentalement inadéquats pour le domaine du droit d'auteur multimodal. L'étude met en évidence que les méthodes existantes soit détruisent l'utilité du modèle pour atteindre l'effacement, soit échouent à effacer les concepts pour préserver l'utilité, et surtout, qu'elles peinent à rompre le lien vision-connaissance sous-jacent même lorsque les associations textuelles sont supprimées.

Les auteurs concluent qu'il y a un besoin urgent d'algorithmes nouveaux et spécialisés conçus explicitement pour le désapprentissage multimodal, car les approches centrées sur le texte actuelles ne se transfèrent pas efficacement aux défis complexes et intermodaux du droit d'auteur dans les LVLM. Le jeu de données et le benchmark sont disponibles publiquement pour faciliter la recherche supplémentaire dans ce domaine.