Résumé technique : Oubli visuel contrastif contraint par l'espace nul pour l'oubli dans les MLLM

1. Définition du problème

L'article aborde le défi de l'oubli machine au sein des Modèles de Langage et de Vision de Grande Taille (MLLM). Alors que l'oubli dans les LLM textuels vise à supprimer des connaissances textuelles spécifiques, l'oubli dans les MLLM présente un compromis plus complexe : l'objectif est d'effacer les connaissances visuelles cibles (par exemple, l'apparence visuelle d'une personne spécifique) tout en préservant strictement :

1. Les connaissances visuelles non cibles (caractéristiques visuelles d'autres entités).
2. Toutes les connaissances textuelles (informations factuelles concernant à la fois les entités cibles et non cibles).

La difficulté fondamentale réside dans l'intrication étroite des modalités visuelle et textuelle. Les méthodes d'oubli standard qui mettent à jour l'ensemble du modèle dégradent souvent les capacités textuelles ou échouent à oublier sélectivement des concepts visuels sans causer de dommages collatéraux aux connaissances visuelles conservées. De plus, les méthodes existantes reposent généralement sur une supervision au niveau de la sortie (fonctions de perte appliquées aux sorties finales du modèle), ce qui est inefficace lorsque seul le module visuel est mis à jour, car le signal de supervision est atténué par le socle LLM intermédiaire.

2. Méthodologie

Le cadre proposé, Oubli visuel contrastif contraint par l'espace nul (NC-CVF), fonctionne en gelant le socle LLM et en affinant uniquement le module visuel (Encodeur de vision et Projecteur). L'approche se compose de trois composants principaux :

A. Supervision au niveau intermédiaire via l'oubli visuel contrastif (CVF)

Au lieu d'appliquer la supervision à la sortie finale, la méthode injecte la supervision directement dans les Représentations Visuelles Intermédiaires (RVI) produites par le module visuel.

• Modèle de référence : Le modèle original, pré-oubli, sert de référence.
• Mécanisme contrastif :
  • Poussée : Pour les entités cibles (ensemble à oublier), les RVI du modèle ayant subi l'oubli sont repoussées loin des RVI de référence à l'aide d'une fonction de perte modifiée de type InfoNCE ($L_{CVF-push}$). Cela sépare explicitement les concepts visuels cibles de leurs représentations originales.
  • Attraction : Pour empêcher le modèle de dériver vers une région nuisant aux connaissances conservées, les RVI ayant subi l'oubli sont attirées vers une représentation ancre ($p^a_r$). Cette ancre est la moyenne des RVI de référence provenant des échantillons conservés, garantissant que le modèle reste dans un espace de caractéristiques « sûr » pour les connaissances non cibles.
• Perte de rétention : Une erreur quadratique moyenne explicite ($L_{RET}$) est appliquée aux RVI des échantillons conservés pour assurer qu'elles correspondent au modèle de référence.
• Utilité générale : Une fonction de perte de vraisemblance standard au niveau de la sortie ($L_{GUM}$) est incluse sur les données conservées pour maintenir les capacités multimodales générales.

B. Oubli contraint par l'espace nul (NCU)

Pour découpler davantage l'oubli de la rétention, la méthode contraint les mises à jour des paramètres à un sous-espace orthogonal aux directions codant les connaissances conservées.

• Identification du sous-espace : En utilisant la décomposition en valeurs singulières (SVD) sur la matrice de covariance des activations de l'ensemble conservé, la méthode identifie le sous-espace engendré par les vecteurs propres correspondant aux plus petites valeurs propres. Ces directions sont faiblement associées aux connaissances conservées.
• Contrainte LoRA : L'oubli est mis en œuvre via une Adaptation à Faible Rang (LoRA). La méthode initialise la matrice LoRA $A$ en utilisant la base de cet espace nul et la gèle tout au long de l'entraînement. Seule la matrice $B$ est optimisée.
• Effet : Cela garantit que les mises à jour des poids ($\Delta W = BA$) ont un impact négligeable sur les sorties de la couche pour les données conservées ($A x \approx 0$), isolant ainsi efficacement l'opération d'oubli de la rétention des connaissances.

C. Extension à l'oubli continu

Le cadre est étendu à l'oubli continu, où les demandes d'oubli arrivent de manière séquentielle. En gelant la base de l'espace nul $A$ et en initialisant les tâches subséquentes avec la matrice $B$ optimisée de la tâche précédente, la méthode empêche la dégradation cumulative des connaissances conservées au fil du temps.

3. Contributions clés

1. Supervision au niveau intermédiaire : L'article propose de déplacer la supervision de l'oubli de la sortie finale vers les représentations visuelles intermédiaires, résolvant le problème d'atténuation du signal dans les MLLM lorsque seul le module visuel est mis à jour.
2. Oubli visuel contrastif (CVF) : Un mécanisme novateur qui utilise une stratégie de « poussée-attraction » dans l'espace des caractéristiques pour séparer les concepts visuels cibles tout en les ancrant dans des régions de connaissances conservées.
3. Oubli contraint par l'espace nul (NCU) : Une contrainte structurelle qui découple explicitement l'oubli et la rétention en restreignant les mises à jour à un sous-espace orthogonal aux connaissances conservées, inspirée de l'apprentissage par espace nul dans l'édition de LLM.
4. Cadre d'oubli continu : La première approche traitant des demandes d'oubli séquentielles dans les MLLM, démontrant que les contraintes proposées atténuent la dégradation cumulative généralement observée dans les contextes continus.

4. Résultats expérimentaux

La méthode a été évaluée sur trois benchmarks : MLLMU-Bench, UMU-Bench et CLEAR, en utilisant les modèles LLaVA-1.5-7B et Qwen2-VL-7B.

• Efficacité de l'oubli : La méthode a obtenu la précision la plus faible sur les tâches « Forget VQA » (indiquant une suppression réussie des connaissances visuelles cibles) sur tous les benchmarks, surpassant les bases de référence de l'état de l'art telles que MMU et MANU.
• Rétention des connaissances : Elle a maintenu une précision élevée sur les tâches « Retain VQA » et « Forget/Retain QA ». Notamment, elle a préservé les connaissances textuelles (tâches QA) à des niveaux comparables au modèle de base, alors que d'autres méthodes ont souvent subi des baisses significatives.
• Oubli continu : Dans les scénarios d'oubli séquentiel, la méthode proposée a montré une dégradation significativement plus lente de l'utilité conservée et réelle par rapport aux bases de référence, qui ont affiché un effondrement sévère des performances après quelques tâches.
• Efficacité : En gelant le LLM et en utilisant une contrainte d'espace nul pré-calculée, la méthode a réduit le temps d'entraînement et l'utilisation de la mémoire GPU par rapport aux bases de référence d'affinage complet du modèle.

5. Importance et affirmations

L'article affirme présenter une solution robuste au compromis oubli-rétention dans les MLLM. Son importance réside dans :

• Oubli sélectif : La démonstration réussie que les connaissances visuelles peuvent être effacées sans compromettre la capacité du modèle à rappeler des faits textuels ou à reconnaître d'autres entités visuelles.
• Découplage structurel : Le dépassement des simples ajustements de fonctions de perte pour aller vers des contraintes structurelles (espace nul) qui isolent mathématiquement le processus d'oubli des connaissances conservées.
• Viabilité continue : La prise en charge d'un scénario pratique, peu exploré, où plusieurs demandes d'oubli surviennent au fil du temps, montrant que la méthode évolue efficacement sans dommages cumulatifs.

Les auteurs positionnent ce travail comme une étape vers la sécurisation des MLLM et le respect des réglementations sur la vie privée en permettant une suppression précise et spécifique à la modalité des connaissances, sans le coût prohibitif du réentraînement.