💻 computer science

On the Robustness of Machine Unlearning for Vision-Language Models

Cet article présente la première enquête systématique et analyse de robustesse de l'oubli dans les modèles vision-langage, révélant, par le biais de paradigmes d'attaque proposés, que de nombreuses méthodes existantes échouent à éliminer complètement les informations indésirables et se contentent plutôt de les dissimuler à la récupération.

Auteurs originaux : Yujie Lin, Kaidi Jia, Jiayao Ma, Chengyi Yang, Jinsong Su

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yujie Lin, Kaidi Jia, Jiayao Ma, Chengyi Yang, Jinsong Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un assistant robot très intelligent et omniscient (un modèle vision-langage) qui a lu des millions de livres et vu des milliards de photos. Parfois, ce robot mémorise des choses que nous ne voulons pas qu'il connaisse — comme le visage privé d'une célébrité, une image protégée par le droit d'auteur ou des données personnelles sensibles.

Pour résoudre ce problème, les chercheurs ont développé « l'oubli machine ». Imaginez cela comme un « effaceur numérique » destiné à effacer des souvenirs spécifiques du cerveau du robot sans qu'il oublie tout le reste (comme parler, marcher ou résoudre des problèmes de mathématiques).

Cet article pose une question simple mais effrayante : cet effaceur numérique supprime-t-il réellement le souvenir, ou se contente-t-il de le cacher sous un tapis ?

Voici la synthèse de leurs résultats, illustrée par des analogies du quotidien :

1. Les trois méthodes pour « oublier »

L'article examine comment différentes équipes tentent d'effacer ces souvenirs. Elles se divisent en trois catégories principales :

L'approche « chirurgie cérébrale » (Affinage complet des paramètres) : Cela revient à démonter le robot et à reconfigurer chaque connexion de son cerveau pour éliminer le mauvais souvenir. C'est exhaustif mais risqué ; vous pourriez accidentellement briser la capacité du robot à parler ou à reconnaître d'autres choses.
L'approche « chirurgie oculaire » (Affinage de l'encodeur visuel) : Cette méthode ne modifie que la partie du robot qui « voit » les images. C'est comme placer un bandeau sur l'objet spécifique que le robot ne devrait pas reconnaître, tout en laissant ses compétences linguistiques intactes.
L'approche « ajustement sélectif » (Affinage sélectif des paramètres) : Cela revient à essayer de trouver le seul fil précis causant le problème et de ne couper que celui-ci. C'est efficace, mais si vous coupez le mauvais fil, le robot pourrait quand même se souvenir de la mauvaise chose.

2. Le test de « robustesse » : Le robot peut-il être trompé ?

Les auteurs ne se sont pas contentés de demander : « Le robot dit-il le nom ? ». Ils ont tenté de tromper le robot pour qu'il se souvienne à nouveau de l'élément interdit, en utilisant trois « attaques » différentes :

Attaque n°1 : Le « indice » (Attaque en contexte)
- Le scénario : Vous demandez au robot : « Qui est cette personne ? » et il répond : « Je ne sais pas. »
- La tromperie : Vous ajoutez ensuite un indice : « C'est un célèbre entraîneur de football qui a dirigé de nombreuses équipes. »
- Le résultat : Même si le robot a été « oublié », beaucoup d'entre eux se souviennent soudainement du nom ! C'est comme quelqu'un qui prétend souffrir d'amnésie mais qui se souvient soudainement de votre nom dès que vous mentionnez votre pizza préférée. Le souvenir n'était pas parti ; il attendait simplement le bon indice.
Attaque n°2 : Le « cours de remise à niveau » (Attaque intra-distribution)
- Le scénario : Le robot a oublié une célébrité spécifique.
- La tromperie : Vous montrez au robot quelques photos de cette même célébrité (issues du tas « interdit » original) et lui demandez de les réapprendre.
- Le résultat : Étonnamment, le robot se souvient de la célébrité presque instantanément après avoir vu une infime fraction des photos. Cela suggère que le processus d'« effacement » n'a pas réellement supprimé le fichier ; il l'a simplement déplacé dans un dossier caché facile à rouvrir.
Attaque n°3 : Le « mauvais livre » (Attaque extra-distribution)
- Le scénario : Vous tentez de reentraîner le robot en utilisant des images complètement différentes (comme des chiens et des guitares) au lieu de la célébrité.
- Le résultat : Cela ne fait pas revenir le souvenir de la célébrité. Au contraire, cela rend simplement le robot moins performant dans ses autres tâches (comme reconnaître les chiens). C'est comme essayer de réparer un souvenir brisé en étudiant une matière différente ; vous finissez par oublier la nouvelle matière aussi.

3. La grande conclusion

L'article conclut que la plupart des « effaceurs numériques » actuels ne sont pas robustes.

Ils cachent, ils ne suppriment pas : Le robot conserve souvent le souvenir profondément en lui. Il se contente de refuser de le dire à voix haute lorsqu'on le lui demande directement.
Le contexte est la clé : Si vous donnez au robot un peu de contexte ou un indice, le souvenir réapparaît.
Facile à récupérer : Si quelqu'un tente de reentraîner le robot avec les données originales, le souvenir revient presque immédiatement.

En résumé : Les méthodes actuelles pour faire « oublier » à l'IA sont comme placer un panneau « Interdit d'entrer » sur une porte. Le robot pourrait obéir au panneau et ne pas traverser, mais la porte reste déverrouillée, et la pièce à l'intérieur est toujours remplie des choses que vous vouliez cacher. L'article appelle à de meilleures stratégies qui verrouillent réellement la porte et jettent la clé.

Résumé Technique : Sur la Robustesse de l'Oubli Machine pour les Modèles Vision-Langage

Énoncé du Problème

Les Modèles Vision-Langage (VLM) sont de plus en plus déployés dans des applications réelles, mais ils risquent de mémoriser des informations indésirables issues de leurs données d'entraînement, y compris du contenu sensible, privé, protégé par le droit d'auteur ou autrement nuisible. Bien que l'oubli machine ait été largement étudié pour les Grands Modèles de Langage (LLM), son application aux VLM présente des défis uniques. Contrairement aux modèles purement textuels, les VLM stockent des informations via des représentations visuelles et textuelles imbriquées à travers plusieurs composants (encodeurs visuels, encodeurs textuels et décodeurs multimodaux).

Le problème central abordé est la robustesse des méthodes actuelles d'oubli pour les VLM. Les évaluations existantes reposent souvent sur un prompting standard, qui peut seulement vérifier qu'un modèle supprime les requêtes directes concernant les entités oubliées. Cependant, il reste incertain si l'oubli efface véritablement les connaissances multimodales ou s'il se contente de les masquer, laissant des associations résiduelles qui peuvent être réactivées par des requêtes alternatives, des indices contextuels ou un réentraînement en aval.

Méthodologie

1. Taxonomie et Revue

Les auteurs établissent d'abord une taxonomie complète des méthodes d'oubli VLM existantes, les catégorisant en fonction des composants optimisés ou modifiés durant le processus d'oubli :

Ajustement Fin des Paramètres Complets : Met à jour tous les paramètres du modèle ( $\theta_v, \theta_t, \theta_d$ ). Inclut des adaptations de techniques LLM comme l'Ascension du Gradient (GA), la Descente du Gradient (GD) et l'Optimisation de Préférence Négative (NPO), ainsi que des extensions spécifiques aux VLM tenant compte de l'alignement visuel-textuel.
Ajustement Fin de l'Encodeur Visuel : Restreint les mises à jour à l'encodeur visuel ( $\theta_v$ ) tout en maintenant les modules textuels et de fusion fixes. Cela cible directement la source des associations visuelles indésirables.
Ajustement Fin de Paramètres Sélectifs : Met à jour uniquement un sous-ensemble de paramètres identifiés comme critiques pour la connaissance cible, visant à équilibrer efficacité et performance.
Intervention au Moment de l'Inférence : Modifie les entrées ou les activations cachées durant l'inférence sans mettre à jour les paramètres (par exemple, masquage de caractéristiques, pilotage d'activation). Note : Cette catégorie a été exclue des expériences de robustesse en raison de la nécessité d'un réentraînement pour les attaques proposées.

2. Cadre d'Évaluation de la Robustesse

Pour déterminer si les connaissances sont véritablement effacées ou simplement supprimées, l'article propose trois paradigmes d'attaque conçus pour réactiver les connaissances multimodales oubliées :

Attaque en Contexte : Durant l'inférence, des indices contextuels sémantiquement liés mais non explicites (par exemple, décrire le métier d'une personne sans la nommer) sont ajoutés au début de la requête. Cela teste si des associations multimodales latentes peuvent être réactivées sans mises à jour de paramètres.
Attaque In-Distribution (InD) : Le modèle oublié est affiné en utilisant une petite proportion de données échantillonnées à partir de la distribution d'oubli originale. Les étiquettes de supervision sont générées par le modèle pré-entraîné original. Cela simule un adversaire ayant accès aux données originales tentant de restaurer les connaissances.
Attaque Out-of-Distribution (OOD) : Le modèle oublié est réentraîné sur un ensemble de données sémantiquement différent mais lié (par exemple, des images générales de PACS au lieu des identités faciales spécifiques). Cela teste si les représentations résiduelles peuvent être réactivées par un transfert de distribution.

3. Configuration Expérimentale

Modèle : Qwen2.5-VL-3B-Instruct.
Jeu de Données : VGGFace2, partitionné en un ensemble d'oubli (3 identités de célébrités) et un ensemble de rétention (7 identités).
Lignes de Base : Un large éventail de méthodes issues des trois catégories actives (Paramètres Complets, Encodeur Visuel, et Ajustement Fin Sélectif).
Métriques : Score d'oubli ( $1 - \text{Précision}_{\text{oubli}}$ ), Score de rétention ( $\text{Précision}_{\text{rétention}}$ ), et Utilité Générale (performance sur MMStar, OCRBench, MMMU, RealWorldQA). Les évaluations ont été menées dans des configurations de prompting Original, Reformulé et Discriminatif.

Résultats Clés

Performance Initiale vs Robustesse

Compromis : Les méthodes à paramètres complets ont généralement obtenu des scores d'oubli élevés sur les prompts originaux mais ont subi une dégradation significative de la rétention et de l'utilité générale, exhibant souvent un oubli catastrophique.
Prompts Discriminatifs : De nombreuses méthodes qui semblaient réussir sous des requêtes génératives ont échoué à supprimer la reconnaissance discriminative (par exemple, « Cette personne est-elle X ? »), suggérant que les associations visuelles sous-jacentes restaient intactes.
Avantage de l'Encodeur Visuel : Les méthodes se concentrant sur l'encodeur visuel (par exemple, HFRU, HFRU-SFT) ont démontré des performances plus équilibrées, maintenant des scores d'oubli et de rétention élevés à travers les types de prompts.

Vulnérabilité aux Attaques

Attaques en Contexte : Les indices contextuels ont réussi à réactiver les connaissances oubliées dans la plupart des paradigmes. Par exemple, des méthodes comme RMU, SatImp et WGA ont montré une dégradation notable des performances d'oubli lorsque des descriptions contextuelles étaient fournies, indiquant qu'elles supprimaient principalement la récupération directe plutôt que d'éliminer les associations.
Attaques In-Distribution : Le réentraînement avec seulement 1 % des données d'oubli originales a provoqué une récupération rapide des connaissances oubliées pour de nombreuses méthodes (par exemple, l'efficacité d'oubli de SLUG a chuté de plus de 80 %). Cela suggère que de nombreux processus d'oubli effectuent une suppression superficielle plutôt qu'une élimination fondamentale des représentations. Mmunlearner a montré la robustesse la plus élevée, nécessitant 50 à 75 % de données de réentraînement pour dégrader significativement les performances.
Attaques Out-of-Distribution : Contrairement à l'attaque InD, le réentraînement OOD n'a pas restauré les connaissances oubliées ; au contraire, il a systématiquement nui aux performances de rétention à travers toutes les méthodes. Cela indique que, bien que des représentations résiduelles existent, elles ne sont pas facilement réactivées par des distributions de données non liées.

Contributions Clés

Taxonomie Systématique : L'article fournit la première catégorisation et revue complète des méthodes d'oubli VLM basées sur leurs stratégies d'optimisation.
Évaluation Unifiée : Il mène une évaluation approfondie de ces méthodes sous plusieurs configurations de prompts (Original, Reformulé, Discriminatif), révélant des incohérences dans les évaluations standard.
Analyse de Robustesse : L'étude introduit la première investigation systématique de la robustesse de l'oubli VLM via trois paradigmes d'attaque (En Contexte, InD, OOD).
Résultats Empiriques : Des expériences extensives démontrent que les approches actuelles masquent souvent plutôt qu'elles n'éliminent complètement les connaissances cibles, soulignant le besoin de stratégies d'oubli multimodal plus fiables.

Signification et Revendications

L'article revendique que l'état actuel de l'oubli VLM est insuffisant pour garantir l'élimination permanente des informations indésirables. Les auteurs soutiennent que l'évaluation de l'oubli uniquement sous des conditions de prompting standard surestime l'étendue de l'élimination des connaissances. En démontrant que les connaissances oubliées peuvent être facilement réactivées par un prompting contextuel ou un réentraînement minimal sur la distribution de données originale, l'étude souligne un fossé critique entre la « suppression » et l'« effacement ».

L'ouvrage conclut que, bien que certaines méthodes (particulièrement celles ciblant l'encodeur visuel) montrent des promesses, le domaine manque de stratégies robustes garantissant l'élimination des associations multimodales. Les auteurs soulignent la nécessité pour les recherches futures de développer des techniques d'oubli résistantes à ces attaques de réactivation, assurant que les informations sensibles ou indésirables sont véritablement supprimées de l'espace latent du modèle.

Note : L'article énonce explicitement des limitations, notamment l'utilisation d'un protocole d'évaluation unifié qui peut simplifier les détails d'implémentation pour assurer la cohérence, et la construction manuelle des prompts contextuels pour l'attaque en contexte, suggérant un potentiel pour des stratégies plus automatisées dans les travaux futurs.