MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

Résumé Technique : MLUBench et LUMoE pour l'oubli progressif des MLLM

1. Formulation du Problème

Le papier traite de l'oubli progressif (lifelong unlearning) des Modèles de Langage de Grande Taille Multimodaux (MLLM), un défi pratique mais encore peu exploré où les MLLM doivent oublier séquentiellement des informations multimodales spécifiques (par exemple, des entités, des images ou des concepts spécifiques) sur demande de l'utilisateur, tout en préservant leurs capacités générales et leurs connaissances sur les données non ciblées.

Contraque l'oubli standard (un retrait ponctuel) ou l'oubli des LLM unimodaux, l'oubli progressif des MLLM présente une contrainte unique et critique : la préservation de l'alignement multimodal. Les auteurs soutiennent que les MLLM reposent sur un alignement délicat entre les encodeurs de vision, les modèles de langage et les projecteurs multimodaux. Les opérations d'oubli séquentielles qui modifient les poids d'une modalité peuvent perturber de manière catastrophique cet alignement, entraînant un effondrement des performances globales du modèle, même si la cible de l'oubli est unimodale.

L'objectif est défini comme la minimisation de la dégradation cumulative des performances sur les tâches précédemment oubliées tout en oubliant efficacement de nouvelles tâches dans une séquence $T = \{t_1, t_2, ..., t_k\}$.

2. Méthodologie : LUMoE

Pour répondre aux défis de la dégradation cumulative et de la rupture d'alignement, les auteurs proposent LUMoE (Lifelong Unlearning with a Mixture-of-Experts). Contrairement aux méthodes traditionnelles qui mettent à jour de manière itérative les poids du modèle de base, LUMoE isole les modifications d'oubli du modèle de base stable.

Composants principaux :

1. Adaptateurs LoRA spécifiques à la tâche : Au lieu de mettre à jour le MLLM de base, LUMoE entraîne des adaptateurs de type Low-Rank Adaptation (LoRA) légers pour chaque tâche d'oubli spécifique. Ces adaptateurs sont entraînés par Optimisation de Préférence (PO) pour apprendre un comportement de « refus » (par exemple, « Je ne peux pas répondre à cela ») pour l'ensemble de données à oublier, plutôt que de tenter d'effacer la connaissance via une ascension de gradient qui pourrait corrompre d'autres poids.
2. Module de Porte (Routeur) : Un modèle de routage puissant (initialement GLM-4V-Plus) dirige dynamiquement les entrées. Il effectue :
   • Extraction d'Entité : Identifie l'entité dans l'entrée (image/texte).
   • Correspondance de Tâche : Vérifie si l'entité appartient à l'ensemble de données à oublier d'une tâche précédemment oubliée.
   • Routage : Si une correspondance est trouvée, l'adaptateur LoRA correspondant est fusionné avec le modèle de base pour l'inférence. Si aucune correspondance n'est trouvée (c'est-à-dire que l'entrée appartient à l'ensemble conservé), le modèle de base d'origine traite l'entrée directement, préservant ainsi l'utilité.
3. Gestion des Erreurs : Si le routeur est incertain concernant une entité, l'entrée est traitée comme une question conservée et traitée par le modèle de base pour éviter un oubli accidentel.

3. Contributions Clés

A. MLUBench : Un Benchmark Complet

Les auteurs introduisent MLUBench, un benchmark à grande échelle conçu spécifiquement pour évaluer l'oubli progressif des MLLM.

• Échelle et Diversité : Il couvre 127 entités réelles à travers 9 classes distinctes (Animaux, Astronomie, Bâtiments, Dessins animés, Entreprises, Films, Personnages, Plantes, Séries TV).
• Volume de Données : Le jeu de données comprend 5 105 images et 15 414 paires VQA.
• Structure Séquentielle : Les entités sont partitionnées en une séquence de quatre tâches d'oubli (A, B, C, D) pour simuler le cadre de l'apprentissage progressif.
• Généralité : Inclut des variantes de questions sémantiquement diverses pour tester la robustesse face aux variations de prompts.

B. Résultats Empiriques

En utilisant MLUBench, les auteurs ont mené des expériences approfondies révélant deux points critiques :

1. Dégradation Cumulative Sévère : Les méthodes d'oubli existantes (Ascension de Gradient, Différence de Gradient, Minimisation de KL, Optimisation de Préférence Négative) souffrent d'une dégradation cumulative sévère des performances. À mesure que le nombre de tâches d'oubli séquentielles augmente, la qualité de l'oubli (capacité à supprimer la connaissance cible) et l'utilité du modèle (capacité à répondre aux questions conservées) s'effondrent vers zéro.
2. Le Défi de l'Alignement Multimodal : Le papier démontre empiriquement que l'oubli dans les MLLM est fondamentalement différent des LLM unimodaux. Les expériences isolant les mises à jour soit sur le squelette LLM, soit sur l'adaptateur de vision, ont montré que la modification de l'un ou l'autre composant indépendamment entraîne des chutes de performance catastrophiques. Cela confirme que préserver l'alignement multimodal est le défi unique et fondamental de l'oubli progressif des MLLM.

C. Solution Proposée (LUMoE)

LUMoE est présenté comme une base simple mais efficace qui atténue ces problèmes. En gardant le modèle de base gelé et en utilisant des adaptateurs interchangeables, il empêche la corruption cumulative des poids et la rupture de l'alignement multimodal.

4. Résultats Expérimentaux

• Performance : Sur MLUBench, LUMoE maintient une Qualité d'Oubli élevée (proche de 1,0) et une Utilité du Modèle (proche de 0,9) à travers toutes les tâches séquentielles. En revanche, les méthodes de référence (GA, GD, KL, NPO) voient leurs scores chuter vers zéro après seulement quelques étapes d'oubli.
• Capacités Générales : LUMoE préserve les capacités de raisonnement général du modèle sur des benchmarks externes (TruthfulQA, MMBench), avec des baisses de performance systématiquement inférieures à 0,6 %. Les méthodes de référence provoquent un échec catastrophique sur ces tâches générales.
• Robustesse : LUMoE démontre une robustesse contre les attaques de type jailbreak et maintient ses performances à travers différents ordres de tâches et un nombre variable de tâches (testé jusqu'à 5 tâches).
• Efficacité : Le coût computationnel est gérable, l'entraînement de l'adaptateur prenant environ 11 minutes par tâche et la correspondance de tâche prenant environ 2 secondes.

5. Signification et Revendications

Le papier positionne son travail comme une étape fondamentale pour comprendre et résoudre l'oubli progressif des MLLM.

• Benchmarking : Il comble une lacune critique en fournissant le premier benchmark à grande échelle et diversifié (MLUBench) capable d'évaluer les effets cumulatifs de l'oubli séquentiel dans des contextes multimodaux.
• Aperçu Théorique : Il établit que l'oubli progressif des MLLM n'est pas simplement une extension de l'oubli des LLM, mais un problème distinct contraint par l'alignement multimodal, une conclusion qui remet en question l'applicabilité des méthodes d'oubli unimodales existantes.
• Direction Méthodologique : Tout en restant modeste sur le fait que LUMoE soit une solution « parfaite », les auteurs affirment qu'il valide le principe d'isolation (séparer les modifications d'oubli du modèle de base) comme une stratégie viable et efficace pour préserver la stabilité et l'alignement du modèle dans des scénarios de vie continue.

Le travail vise à faciliter la recherche future en fournissant un cadre d'évaluation standardisé et une méthode de référence solide qui répond aux complexités spécifiques de l'oubli multimodal.