Résumé technique : Réexamen des échecs d'apprentissage fondamental dans les benchmarks de désapprentissage des LVLM

1. Énoncé du problème

Les grands modèles vision-langage (LVLM) posent des risques significatifs pour la vie privée en mémorisant involontairement des informations personnelles sensibles issues de leurs données d'entraînement. Bien que le désapprentissage automatique (MU) ait émergé comme une solution pour supprimer ces données sans réentraînement complet, les benchmarks d'évaluation actuels pour le désapprentissage des LVLM souffrent d'un échec critique de phase 1.

Les benchmarks existants (par exemple, FIUBench, MLLMU-bench) reposent sur des identités fictives pour tester l'efficacité du désapprentissage. Cependant, cet article démontre que ces benchmarks échouent à garantir que le modèle mémorise efficacement les informations cibles lors de la phase initiale de fine-tuning. Par conséquent, les évaluations de désapprentissage ultérieures sont peu fiables car le modèle est invité à « oublier » des informations qu'il n'a jamais réussi à encoder. Les auteurs identifient deux causes racines de cette sous-mémorisation :

1. Insuffisance de répétition des données : Les benchmarks existants fournissent trop peu de paires question-réponse (QA) par identité.
2. La malédiction du multi-saut : Les benchmarks s'appuient fortement sur des questions de raisonnement complexe à plusieurs sauts sans fournir les étapes fondamentales à un seul saut nécessaires, ce qui provoque des difficultés des modèles dans l'apprentissage compositionnel.

2. Méthodologie et diagnostic

Pour diagnostiquer cet échec, les auteurs ont mené une analyse de l'état interne comparant des modèles fine-tunés sur des benchmarks existants à un « Ensemble Réel » de personnalités publiques (que le modèle de base a mémorisées avec succès).

• Signatures probabilistes de mémorisation : En utilisant la perplexité inverse (1/PPL) et la probabilité Min-k%, les auteurs ont constaté que les modèles traitaient les identités fictives des benchmarks existants comme des événements de queue à faible probabilité, contrairement à la récupération haute confiance observée avec de vraies personnalités publiques.
• Traçage causal : En corrompant les tokens de sujet et en restaurant les états cachés, les auteurs ont mesuré l'effet d'estimation indirecte (IE). Les modèles entraînés sur des benchmarks existants présentaient des valeurs d'IE négligeables ou dispersées, indiquant un manque de circuits de mémorisation fonctionnels dans la mémoire paramétrique.
• Analyse des causes racines :
  • Mise à l'échelle des données : Des expériences faisant varier le nombre d'échantillons QA (de 20 à 200) ont révélé une forte corrélation entre la quantité d'échantillons et la performance de mémorisation (mesurée par EM et ROUGE).
  • Composition des QA : Des expériences faisant varier le ratio de questions à un seul saut par rapport aux questions à plusieurs sauts ont montré qu'un mélange stratégique (spécifiquement 70 % de questions à un seul saut) est nécessaire pour étayer le raisonnement complexe et atteindre une mémorisation robuste.

3. Solution proposée : ReMem

Les auteurs introduisent ReMem (Benchmark de mémorisation fiable à plusieurs sauts et multi-images), un nouveau cadre conçu pour établir une base valide pour le désapprentissage des LVLM.

• Construction du jeu de données :
  • Échelle : Chaque identité fictive est associée à 100 paires QA et 100 images (comparé à 1–20 dans les benchmarks existants).
  • Structure de raisonnement : Un ratio 70:30 de questions à un seul saut par rapport aux questions à plusieurs sauts garantit que les étapes fondamentales sont apprises avant le raisonnement complexe.
  • Diversité visuelle : La synthèse multi-vues génère des images diversifiées (variations de pose, de vêtements, d'arrière-plan) pour chaque identité afin d'éviter le surapprentissage à une seule instance visuelle et d'assurer la généralisation.
  • Contrôle de qualité : Une revue manuelle rigoureuse assure l'alignement intermodal, la cohérence des personnages et la sécurité éthique.
• Métriques d'évaluation :
  • Métriques standards : ROUGE-L, GPT-Score (LLM-as-a-Judge) et Exact Match (EM) pour la rétention et l'oubli.
  • Nouvelle métrique (Exposition) : Une nouvelle métrique quantifiant la profondeur de l'effacement des informations basée sur le rang de la réponse cible au sein de la distribution de probabilité d'un ensemble de candidats. Elle mesure si le modèle attribue la probabilité la plus faible à l'attribut oublié.

4. Résultats expérimentaux

Les auteurs ont évalué cinq algorithmes de désapprentissage (Descente de gradient, Différence de gradient, Minimisation KL, DPO, NPO) sur des modèles LLaVA-1.5 (7B et 13B) en utilisant ReMem.

• Validation de la phase 1 : Les modèles fine-tunés sur ReMem ont réussi à encoder à la fois les récits contextuels et les informations d'identification personnelle (PII) spécifiques, obtenant des scores EM et ROUGE élevés sur les ensembles d'entraînement et de test retenus, confirmant un apprentissage fondamental robuste.
• Résultats de la phase 2 (Désapprentissage) :
  • Compromis Utilité-Oubli : Une corrélation inverse claire existe entre la préservation de l'utilité générale du modèle et l'effacement efficace des informations cibles. Des méthodes comme la Différence de gradient (GD) préservent bien l'utilité mais échouent à oublier efficacement, tandis que NPO oublie bien mais dégrade considérablement l'utilité.
  • Disparité de raisonnement : Les méthodes de désapprentissage dégradent systématiquement les capacités de raisonnement à plusieurs sauts plus sévèrement que les tâches à un seul saut, suggérant que les méthodes actuelles perturbent les chemins de raisonnement complexes comme dommages collatéraux plutôt que de couper précisément des chemins de récupération spécifiques.
  • Mise à l'échelle des modèles : Les modèles plus grands (13B) retiennent les informations plus fortement, les rendant plus difficiles à désapprendre efficacement par rapport aux modèles plus petits (7B), bien qu'ils soient également plus résilients à la dégradation des capacités multimodales générales.

5. Signification et affirmations

L'article affirme que ReMem fournit un cadre rigoureux et digne de confiance pour diagnostiquer les comportements d'apprentissage et de désapprentissage dans les LVLM. En s'attaquant à l'échec fondamental de la sous-mémorisation, ReMem garantit que les évaluations de désapprentissage évaluent la suppression d'informations réellement apprises plutôt que des artefacts d'un mauvais entraînement.

Le travail met en évidence que les benchmarks précédents ont pu produire des conclusions trompeuses sur l'efficacité du désapprentissage en raison de cet échec de phase 1. Les auteurs positionnent ReMem non pas comme une solution finale à tous les défis de désapprentissage, mais comme un prérequis nécessaire pour une évaluation fiable. Ils notent explicitement les limites, reconnaissant que le benchmark actuel se concentre sur des identités isolées et uniques et n'aborde pas encore des scénarios complexes impliquant plusieurs individus au sein d'une seule entrée visuelle.

Le jeu de données et le code sont disponibles publiquement pour faciliter de nouvelles recherches sur le désapprentissage fiable des LVLM.