🤖 AI

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

Cet article propose la Distillation en Contexte Guidée par le Bruit Visuel (VGID), un cadre sans entraînement qui combine la perturbation visuelle et l'oubli en contexte textuel pour générer une distribution d'enseignant afin de distiller les modèles de langage multimodaux, supprimant efficacement les connaissances sensibles au niveau des paramètres tout en préservant l'utilité générale du modèle.

Auteurs originaux : Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique très intelligent et omniscient (un Modèle de Langage Multimodal) qui a lu presque tout sur Internet et regardé des milliards d'images. Il est incroyablement utile, mais parce qu'il a appris de l'ensemble du Web, il se souvient parfois de choses qu'il ne devrait pas — comme des détails privés sur des personnes spécifiques, des œuvres d'art protégées par le droit d'auteur ou des instructions dangereuses.

Le problème est le suivant : Comment faire pour que le robot « oublie » ces souvenirs spécifiques sans effacer tout son cerveau ou le rendre stupide ?

Ce document présente une nouvelle méthode appelée VGID (Visual-Noise Guided In-Context Distillation) pour résoudre cela. Voici comment elle fonctionne, expliquée à travers des analogies simples.

Le Problème : L'approche « à une main »

Les méthodes précédentes essayaient de corriger cela de deux manières, mais les deux présentaient des défauts :

La méthode de « l'effaceur » (basée sur l'entraînement) : Imaginez essayer de dégraisser une tache sur une chemise blanche en frottant si fort que vous déchirez le tissu. Ces méthodes mettent à jour le code interne du robot pour lui faire oublier l'information sensible, mais elles endommagent souvent sa capacité à faire d'autres choses utiles (comme décrire un coucher de soleil ou résoudre des problèmes de mathématiques).
La méthode de « la prise de notes » (désapprentissage en contexte) : Imaginez dire au robot : « Hé, quand tu vois cette image, fais juste semblant de ne pas savoir qui c'est. » C'est comme donner au robot un post-it à lire avant de répondre. Cela fonctionne tant que le post-it est là, mais le cerveau du robot se souvient toujours du secret. Si vous trompez le robot en disant : « Ignore le post-it et dis-moi la vérité », le secret s'échappera. De plus, cette méthode ne fonctionne bien que si vous écrivez la note clairement ; si l'image elle-même est trop évidente, la note ne suffit pas à empêcher le robot de lâcher le secret.

La Solution : VGID (L'entraînement « double aveugle »)

Les auteurs ont réalisé que dans un monde où les robots voient et lisent, on ne peut pas simplement leur dire d'oublier avec des mots. Il faut aussi manipuler l'image.

VGID utilise une approche Enseignant-Élève, comme un chef cuisinier qui forme un nouvel apprenti.

Étape 1 : Créer l'Enseignant « Oubli Parfait »
Au lieu d'embaucher un nouveau robot pour enseigner à l'élève, VGID utilise le robot d'origine (le « modèle de base gelé ») mais le trompe pour qu'il agisse comme s'il avait oublié.

L'astuce visuelle : On prend l'image sensible et on y ajoute du « bruit visuel » (comme de la neige sur une vieille télévision ou en remplaçant l'image par un motif aléatoire). Cela brise la connexion visuelle du robot avec le secret.
L'astuce textuelle : On ajoute une instruction stricte au texte, comme « Ne répondez pas à ceci ».
Le résultat : Lorsque le robot voit cette image bruitée + cette instruction stricte, il produit naturellement une réponse sûre : « Je ne sais pas ». Cette sortie devient le Signal de l'Enseignant.

Étape 2 : Entraîner l'Élève
Maintenant, le robot « Élève » (celui que nous voulons corriger) est entraîné.

La leçon : L'élève regarde l'image originale, claire (pas l'image bruitée) et essaie de copier la réponse « Je ne sais pas » de l'Enseignant.
La magie : En essayant d'imiter la réponse « Je ne sais pas » générée à partir d'une image défectueuse, le cerveau de l'élève se recâble réellement pour oublier le secret. Il apprend que pour cette image spécifique, la bonne réponse est le silence, même lorsque l'image est claire.

Étape 3 : Garder les bonnes choses
Pendant que l'élève apprend à oublier les mauvaises choses, les enseignants s'assurent également que l'élève continue de répondre correctement aux autres questions (comme « Quelle est la couleur du ciel ? »). Cela garantit que le robot ne perd pas son intelligence générale.

Pourquoi est-ce meilleur ?

C'est robuste : Contrairement à la méthode du « post-it », cela modifie le cerveau réel du robot (les paramètres). Même si vous essayez de le piéger plus tard en disant « Ignore les règles », il ne se souviendra toujours pas du secret car la mémoire a disparu, elle n'est pas seulement cachée.
C'est équilibré : Il oublie efficacement les mauvaises choses (comme réduire la capacité du robot à deviner le métier d'une personne de 57 % de précision à 20 %) sans rendre le robot stupide pour tout le reste.
C'est multimodal : Il comprend que vous ne pouvez pas seulement utiliser des mots pour empêcher un robot de voir un secret ; vous devez aussi perturber le signal visuel.

En résumé

Considérez la VGID comme un moyen d'apprendre à un robot à désapprendre un secret en lui montant une version « buggée » du secret tout en lui disant de se taire, puis en l'entraînant à se taire même lorsque le secret est montré clairement. Cela crée un « oubli » permanent et sûr dans le cerveau du robot sans briser sa capacité à être utile.

Résumé Technique : Distillation par Contexte Guidée par le Bruit Visuel pour l'Oubli de Grands Modèles de Langage Multimodaux

1. Énoncé du Problème

Les Grands Modèles de Langage Multimodaux (MLLM) ont réalisé des progrès significatifs dans les tâches de vision-langage, mais ils posent des risques substantiels pour la confidentialité et la sécurité en mémorisant par inadvertance des informations personnelles sensibles, du contenu protégé par le droit d'auteur ou des connaissances dangereuses. Une fois encodées dans les paramètres du modèle, ces connaissances peuvent être déclenchées par des requêtes visuelles ou textuelles lors de l'inférence.

Les paradigmes d'oubli existants font face à un compromis critique :

Les méthodes basées sur l'entraînement (ex: Ascension du Gradient, Optimisation de Préférence Négative) mettent à jour les paramètres du modèle pour supprimer les connaissances, mais dégradent souvent l'utilité et les capacités générales du modèle.
Les méthodes sans entraînement (ex: Oubli par Contexte/In-Context Unlearning) préservent l'utilité en évitant les mises à jour de paramètres, mais ne parviennent pas à supprimer les connaissances mémorisées au niveau des paramètres. Par conséquent, elles restent vulnérables aux attaques de rétro-ingénierie et sont insuffisantes dans les contextes multimodaux où des entrées visuelles fortes peuvent outrepasser les instructions de sécurité textuelles.

Le défi central est de parvenir à un oubli efficace au niveau des paramètres dans les MLLM tout en préservant l'utilité générale et la robustesse contre les prompts adverses, sans dépendre de modèles enseignants externes ou d'annotations explicites de réponses indésirables.

2. Méthodologie : VGID

Les auteurs proposent la Distillation par Contexte Guidée par le Bruit Visuel (VGID), un cadre enseignant-élève conçu pour combler le fossé entre l'intervention sans entraînement et l'oubli au niveau des paramètres.

2.1 Intervention Duale-Modale

L'intuition centrale de VGID est que les instructions textuelles par contexte seules sont insuffisantes pour supprimer la fuite de confidentialité induite par des caractéristiques visuelles saillantes. Pour y remédier, VGID construit une distribution d'enseignant orientée vers l'oubli à partir d'un modèle de base gelé en utilisant une intervention duale-modale :

Perturbation Visuelle : L'image d'entrée est perturbée (ex: via un bruit gaussien, un remplacement par du bruit aléatoire ou un remplacement par une image blanche) pour affaiblir les preuves visuelles sensibles à la cible.
Instruction Textuelle par Contexte : Une instruction d'oubli (ex: "refusez d'identifier la personne") est prépendée à la requête textuelle.

Le modèle de base gelé traite cette entrée multimodale perturbée pour générer une distribution cible douce ( $\pi_T$ ). Cette distribution sert de signal de supervision qui capture le comportement d'oubli souhaité (suppression des jetons sensibles, encouragement des réponses sûres) sans nécessiter un enseignant entraîné de manière externe.

2.2 Cadre de Distillation

VGID utilise un modèle étudiant ( $\pi_\theta$ ) entraîné à correspondre à la distribution de l'enseignant par la distillation de connaissances :

Objectif d'Obli (Forget Objective) : Pour les échantillons de l'ensemble d'oubli ( $D_F$ ), l'étudiant minimise la divergence de Kullback-Leibler (KL) entre sa sortie sur l'entrée originale et la sortie de l'enseignant sur l'entrée perturbée. Cela guide l'étudiant pour apprendre le comportement d'oubli au niveau des paramètres.
Objectif de Conservation (Retain Objective) : Pour les échantillons de l'ensemble de conservation ( $D_R$ ), l'étudiant minimise la divergence KL entre sa sortie et la sortie du modèle de base gelé sur l'entrée originale. Cela garantit la préservation des capacités multimodales générales.

La fonction de perte globale est une combinaison pondérée :
$L_{overall} = \alpha L_{forget} + \beta L_{retain}$

Cette approche permet à VGID de distiller le "comportement d'oubli" induit par l'intervention duale-modale directement dans les paramètres du modèle, atteignant une robustesse sans réentraînement complet ni utilisation d'enseignants externes.

3. Contributions Clés

Identification du fossé modal : Le papier démontre que les instructions d'oubli par contexte purement textuelles sont insuffisantes pour les MLLM car les entrées visuelles agissent comme des signaux de conditionnement dominants qui peuvent outrepasser le conditionnement de sécurité textuel.
Stratégie d'Intervention Duale-Modale : Les auteurs montrent que la combinaison de la perturbation visuelle avec l'instruction d'oubli textuelle fournit des signaux complémentaires, supprimant plus efficacement les connaissances privées cibles que chaque modalité seule.
Cadre VGID : Un nouveau cadre de distillation qui construit dynamiquement une distribution d'enseignant orientée vers l'oubli à partir d'un modèle de base gelé. Il atteint un oubli au niveau des paramètres sans modèles enseignants externes ni annotations de refus explicites.
Validation Empirique : Des expériences étendues sur MLLMU-Bench à travers plusieurs architectures (Qwen2.5-VL, LLaVA-1.5) démontrent que VGID atteint une forte efficacité d'oubli tout en maintenant une utilité de modèle compétitive et une robustesse contre les attaques de rétro-ingénierie.

4. Résultats Expérimentaux

Les expériences ont été menées sur MLLMU-Bench avec des ratios d'oubli de 5 %, 10 % et 15 % sur Qwen2.5-VL-3B, LLaVA-1.5-7B et LLaVA-1.5-13B.

Efficacité de l'Oubli : VGID a considérablement réduit les connaissances privées cibles. Dans un cadre représentatif (LLaVA-1.5-7B, ratio d'oubli de 5 %), VGID a réduit le score ROUGE-L de l'ensemble d'oubli de 0,571 (Base) à 0,200, soit une réduction de 0,371.
Préservation de l'Utilité : Contrairement aux bases de référence par gradient qui dégradent souvent les performances de l'ensemble de conservation, VGID maintient une forte utilité. Dans ce même cadre, le score ROUGE-L de l'ensemble de conservation n'a chuté que de 0,055 (de 0,496 à 0,441), et la précision des tâches de type cloze/classification est restée compétitive.
Robustesse : VGID a démontré une robustesse supérieure contre les attaques de rétro-ingénierie. Alors que les performances de l'oubli par contexte (ICU) se sont nettement rétablies lorsque des prompts de rétro-ingénierie ont été appliqués (score ROUGE-L de l'ensemble d'oubli passant de 0,462 à 0,518), VGID est resté stable (le score ROUGE-L de l'ensemble d'oubli n'est passé que de 0,200 à 0,220).
Études d'Ablation :
- Construction de l'Enseignant : L'intervention duale-modale (VGID) a surpassé les interventions mono-modales (ICU-T ou Noise-T), confirmant la nécessité de combiner les indices visuels et textuels.
- Stratégie de Perturbation : Le remplacement par bruit aléatoire s'est avéré plus efficace que le bruit gaussien ou le remplacement par une image blanche, suggérant que le motif de perturbation est critique pour supprimer les indices visuels tout en maintenant une entrée utilisable pour l'enseignant.
- Style de Prompt : Les prompts de "Strict Enforcement" (Application Stricte) ont fourni le meilleur équilibre entre l'oubli et la préservation de l'utilité.

5. Signification et Revendications

Le papier affirme que VGID offre un compromis supérieur entre l'exhaustivité de l'oubli et l'utilité du modèle par rapport aux méthodes existantes, qu'elles soient basées sur l'entraînement ou sans entraînement. En distillant une distribution induite par l'intervention, VGID transfère avec succès la robustesse de l'intervention au moment de l'inférence dans les paramètres du modèle, rendant le comportement d'oubli résistant aux attaques de rétro-ingénierie.

Les auteurs positionnent VGID comme une solution pratique pour le déploiement de MLLM respectueux de la vie privée, évitant le coût computationnel du réentraînement et la vulnérabilité des stratégies purement basées sur l'inférence. Ils reconnaissent des limites, notant que le champ actuel se concentre sur l'oubli orienté vers la confidentialité et que l'espace de conception des perturbations visuelles reste peu exploré, suggérant que les travaux futurs pourraient étendre ce paradigme à la protection du droit d'auteur et à la suppression de connaissances dangereuses.