🤖 AI

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

Cet article introduit l'oubli au niveau de l'attribut comme une alternative plus fine à la suppression au niveau du profil pour les modèles de langage de grande taille multimodaux (MLLM), propose un benchmark complet pour évaluer le défi consistant à oublier sélectivement des attributs spécifiques tout en préservant les informations liées à l'identité, et présente CLRP, un cadre léger et sans entraînement qui réalise efficacement cet oubli sélectif grâce à la localisation causale et à la projection sensible à la rétention.

Auteurs originaux : Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui peut regarder une image et vous raconter une histoire à son sujet. Ce robot a lu des millions de livres et vu des milliards de photos, il sait donc énormément de choses. Mais parfois, il se souvient de choses qu'il ne devrait pas, comme le jour secret de l'anniversaire d'une personne ou son adresse personnelle. Dans le monde de l'intelligence artificielle, il existe un besoin croissant d'apprendre à ces robots à « oublier » certains secrets spécifiques sans pour autant leur faire oublier tout le reste. Ce processus est appelé « désapprentissage machine » (machine unlearning). Voyez cela comme l'édition d'un journal intime : vous voulez rayer une phrase embarrassante sur vos vacances d'été, mais garder intactes toutes les autres histoires amusantes sur vos amis et votre famille. Si vous déchirez simplement toute la page, vous perdez tout. Si vous essayez d'effacer l'encre avec un produit chimique qui dissout le papier, vous détruisez tout le livre. Le défi consiste à trouver un moyen de supprimer chirurgicalement juste le mauvais souvenir tout en laissant le reste du cerveau du robot fonctionner parfaitement.

Cet article s'attaque à une nouvelle version complexe de ce problème. Au lieu de demander au robot d'oublier une personne entière (comme « oublie tout ce que tu sais sur mon ami Bob »), les chercheurs lui ont demandé d'oublier juste une chose spécifique sur Bob, comme sa couleur préférée, tout en se souvenant de son nom, de son métier et de son visage. Ils ont découvert que le cerveau du robot est désordonné ; le souvenir de la couleur préférée de Bob est emmêlé avec le souvenir du visage de Bob. Essayer de couper la couleur coupe souvent accidentellement le visage aussi. Pour résoudre cela, les auteurs ont construit un nouveau test appelé AMU-Bench pour mesurer la capacité des robots à réaliser cet oubli de précision. Ils ont ensuite inventé un outil astucieux, ne nécessitant pas de réentraînement, appelé CLRP (Causal Localization and Retain-Aware Projection). Voyez le CLRP comme une paire de « lunettes de mémoire » que le robot porte uniquement lorsqu'il répond à des questions. Ces lunettes ne modifient pas le cerveau du robot ; elles ajustent simplement la façon dont le robot regarde ses propres pensées à cet instant précis. En utilisant une technique appelée « patch de l'activation » (qui revient à remplacer une brique Lego spécifique dans une tour pour voir quelle partie de la tour vacille), le CLRP trouve l'endroit exact dans le cerveau du robot où le secret est stocké. Ensuite, il applique un filtre mathématique qui étouffe ce secret spécifique tout en laissant le reste de l'histoire clair et sonore.

Les chercheurs ont testé cette méthode sur trois cerveaux de robots différents (LLaVA-1.5-7B, LLaVA-1.5-13B et Qwen2.5-VL-3B) et ont découvert que leur méthode fonctionne bien mieux que les tentatives précédentes. Dans leurs tests principaux, où ils demandaient aux robots d'oublier 5 % des données, le CLRP a été capable de faire chuter la capacité du robot à deviner le secret de 20,00 % à seulement 4,00 %. Mieux encore, alors que d'autres méthodes faisaient oublier les bonnes choses au robot, le CLRP a réellement aidé le robot à mieux se souvenir des faits non secrets, augmentant sa précision sur ces questions de 14,77 % à 17,79 %. L'article suggère que cette approche est un moyen prometteur de donner aux robots la capacité d'être sélectifs sur ce qu'ils gardent et ce qu'ils laissent partir, sans avoir besoin de les réentraîner de zéro. Ils ont également découvert que faire oublier des chiffres (comme un numéro de téléphone) est plus facile pour les robots que de faire oublier de longues descriptions (comme un passe-temps), mais que préserver le reste de l'histoire d'une personne est la partie la plus difficile de toutes.

Résumé Technique : Vers un oubli à grain fin : l'oubli d'attribut pour les modèles de langage multimodaux à grande échelle

Définition du problème

Les modèles de langage multimodaux à grande échelle (MLLM) possèdent de fortes capacités de vision-langage mais risquent de mémoriser et de divulguer des informations sensibles. Alors que la recherche actuelle sur l'oubli machine se concentre principalement sur la suppression au niveau du profil (supprimer toutes les informations concernant une entité, une identité ou un personnage spécifique), les demandes de confidentialité pratiques sont souvent plus fines. Les utilisateurs peuvent souhaiter supprimer un attribut spécifique (par exemple, une date de naissance, une adresse ou une affiliation organisationnelle) tout en conservant des informations non sensibles sur la même identité.

Les bancs d'essai actuels d'oubli au niveau du profil (par exemple, MLLMU-Bench, FIUBench) ne testent pas explicitement la préservation des attributs non cibles individuels au sein d'une entité sélectionnée. Cela crée un fossé important : les méthodes existantes échouent souvent à atteindre une sélectivité au niveau de l'attribut. Comme les attributs cibles et les attributs conservés partagent la même identité et les mêmes preuves visuelles, ils résident souvent dans des régions proches de l'espace de représentation et traversent des voies causales qui se chevauchent. Par conséquent, les interventions assez larges pour supprimer l'attribut cible provoquent souvent une dégradation collatérale des attributs non cibles de la même identité, tandis que les interventions trop conservatrices ne parviennent pas à supprimer la cible.

Méthodologie : Localisation Causale et Projection Sensible à la Conservation (CLRP)

Pour relever le défi de l'isolement des directions d'attributs spécifiques tout en préservant les représentations d'identité partagées, les auteurs proposent le CLRP, un cadre léger et sans entraînement. Le CLRP fonctionne sans mise à jour des paramètres du modèle et se compose de deux composantes principales :

Localisation de la couche causale :
- La méthode utilise le patching d'activation (activation patching) pour identifier la couche transformer spécifique qui médie causalement la divulgation de l'attribut cible.
- Pour chaque exemple cible, une requête cible (cherchant l'attribut sensible) est couplée à une requête de conservation de même identité (cherchant des informations non cibles).
- Le système met en cache les activations de l'exécution cible et les injecte (patching) dans l'exécution de conservation. La couche produisant l'effet de patching causal maximal — où l'évidence de l'attribut cible est le plus fortement restaurée — est sélectionnée comme point d'intervention ( $\ell^*$ ).
Projection Contrastive Sensible à la Conservation :
- Une fois la couche d'intervention identifiée, le CLRP estime un sous-espace de faible dimension représentant l'attribut cible.
- Crucialement, cette estimation est sensible à la conservation (retain-aware). Il construit des statistiques à partir des représentations conditionnées par la cible et des représentations de conservation de même identité (plus des prompts neutres).
- La méthode calcule un sous-espace de projection qui capture la variation proéminente dans la cible mais supprimée dans les représentations de conservation. Ceci est réalisé en blanchissant la matrice de covariance de la cible par rapport à la matrice de covariance de conservation et en sélectionnant les vecteurs propres principaux.
- Un opérateur de projection atténue ce sous-espace spécifique à la couche sélectionnée lors de l'inférence, supprimant efficacement la direction de l'attribut cible tout en préservant la représentation d'identité partagée nécessaire aux faits non cibles.

Principales contributions

Le papier présente trois contributions majeures :

Définition de l'oubli d'attribut : Les auteurs définissent formellement l'oubli d'attribut pour les MLLM comme un contexte où les attributs désignés doivent devenir inaccessibles tandis que les faits non cibles de la même identité restent disponibles. Cela impose des exigences de localité plus strictes que la suppression au niveau du profil.
Construction d'AMU-Bench : Les auteurs introduisent le AMU-Bench (Attribute-level Multimodal Unlearning Benchmark). Contra irement aux bancs d'essai précédents, il partitionne les cibles de suppression en catégories de long texte (descriptif), numérique (dates, salaires) et texte court (catégoriel). Il évalue systématiquement les performances à travers plusieurs ratios d'oubli (5 %, 10 %, 15 %) et différents types de questions (texte à trous, classification, génération) sur des MLLM largement utilisés (LLaVA-1.5, Qwen2.5-VL).
Cadre CLRP : La proposition d'une méthode sans entraînement qui combine la localisation causale avec la projection de sous-espace sensible à la conservation. La méthode est conçue pour naviguer dans l'enchevêtrement entre les attributs cibles et les attributs conservés.

Résultats expérimentaux

Les auteurs ont évalué le CLRP par rapport à quatre lignes de base (Ascension de Gradient, Différence de Gradient, Minimisation de KL et Optimisation de Préférence) sur LLaVA-1.5-7B, LLaVA-1.5-13B et Qwen2.5-VL-3B.

Difficulté d'oubli : L'évaluation a révélé que le type d'attribut impacte significativement la difficulté d'oubli. Les attributs numériques étaient systématiquement les plus faciles à supprimer (atteignant souvent une précision proche de zéro), tandis que les attributs de long texte et de texte court conservaient substantiellement plus d'informations résiduelles à travers toutes les méthodes de référence.
Gains de performance : Le CLRP a démontré une performance supérieure pour équilibrer l'oubli et la conservation.
- Dans les résultats du ratio d'oubli de 5 % pour LLaVA-1.5-7B et Qwen2.5-VL-3B, le CLRP a réduit la précision du texte à trous de l'Ensemble d'Attributs Oubliés jusqu'à 16,00 points de pourcentage (par exemple, de 20,00 % à 4,00 %) par rapport à la ligne de base la plus forte.
- Simultanément, il a amélioré la précision du texte à trous de l'Ensemble d'Attributs Conservés jusqu'à 3,02 points de pourcentage (par exemple, de 14,77 % à 17,79 %), démontrant une meilleure préservation des faits non cibles du même profil.
Analyse des compromis : Les méthodes existantes présentaient des compromis instables, dégradant souvent la conservation des attributs du même profil lorsqu'elles tentaient d'oublier les cibles. Le CLRP a obtenu les meilleurs résultats ou a été ex æquo pour 8 des 9 conditions modèle-attribut pour la précision de l'Ensemble d'Attributs Oubliés et a montré des scores de conservation améliorés, indiquant qu'un oubli plus fort de la cible ne se faisait pas au détriment de la dégradation de l'ensemble du profil.

Signification et affirmations

Le papier affirme que AMU-Bench expose les limites des approches actuelles d'oubli au niveau du profil, spécifiquement la difficulté de préserver les connaissances du même profil tout en supprimant des attributs spécifiques. Les auteurs affirment que le CLRP fournit une solution efficace pour cette tâche de granularité fine en exploitant la localisation causale pour identifier les couches d'intervention et la projection sensible à la conservation pour distinguer les représentations spécifiques à la cible et celles de l'identité partagée.

La portée de ce travail réside dans son passage de la suppression d'entités grossière à l'oubli d'attributs fins, un contexte qui correspond mieux aux demandes de confidentialité réelles. Les résultats suggèrent qu'un oubli sélectif est réalisable dans les MLLM sans réentraînement, à condition que l'intervention soit localisée causalement et contrainte par une géométrie sensible à la conservation. Les auteurs concluent que leur approche établit des performances de pointe pour équilibrer la suppression des attributs désignés avec la préservation des informations non cibles au sein du même profil.