🤖 machine learning

Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score

Cet article présente la première analyse systématique révélant des incohérences significatives entre les métriques standard d'évaluation de l'oubli machine dans les modèles vision-langage, et propose un Score de Qualité Unifié (UQS) principiel dérivé des corrélations avec l'oracle afin de fournir des classements stables et fiables.

Auteurs originaux : Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant de bibliothèque géant et ultra-intelligent (un modèle vision-langage) qui a lu des millions de livres et vu d'innombrables images. Un jour, une personne demande à la bibliothèque d'« oublier » un livre spécifique qu'elle a écrit, invoquant son droit à la vie privée. L'assistant de bibliothèque supprime ce livre de ses étagères.

Mais voici le problème : Comment savoir si l'assistant a réellement oublié le livre, ou s'il l'a simplement caché ?

Ce papier est comme un groupe d'inspecteurs tentant de déterminer si l'assistant de bibliothèque a vraiment fait son travail. Ils ont découvert que les inspecteurs utilisent cinq manuels de règles différents pour noter l'assistant, et, de manière surprenante, ces manuels attribuent souvent des notes totalement opposées pour le même travail.

Les Cinq Inspecteurs Confus (Les Métriques)

Le papier examine cinq méthodes standard pour mesurer l'« oubli » (l'effacement) :

L'Inspecteur « Question Directe » (Précision de l'oubli) : Il demande : « Si je pose une question directe sur le livre, répondez-vous ? » Si l'assistant reste silencieux, cet inspecteur attribue une bonne note.
L'Inspecteur « Autres Livres » (Précision de rétention) : Il demande : « Souvenez-vous-vous toujours des autres 999 livres ? » Si l'assistant s'en souvient bien, cet inspecteur attribue une bonne note.
Le « Détective de la Vie Privée » (Attaque par inférence d'appartenance) : Il tente de deviner si l'assistant est « nerveux » ou « confiant » à propos du livre oublié. Si l'assistant se comporte normalement, ce détective pense que le livre est parti.
L'Inspecteur « Scanner Cérébral » (Distance d'activation) : Il regarde à l'intérieur du « cerveau » de l'assistant (ses mathématiques internes) pour voir si cela ressemble à une version de l'assistant qui n'a jamais vu le livre en premier lieu.
L'Inspecteur « Correspondance de Sortie » (Divergence JS) : Il vérifie si les réponses de l'assistant ressemblent statistiquement à la version « n'a-jamais-vu-le-livre ».

Le Gros Problème : Ils Ne Peuvent Pas Se Mettre D'accord

Les chercheurs ont testé cela sur un modèle intelligent appelé LLaVA (qui peut voir des images et lire du texte). Ils ont essayé quatre méthodes différentes pour faire oublier le livre au modèle.

Voici le rebondissement : Les inspecteurs se détestaient les uns les autres.

L'Inspecteur A (Question Directe) pourrait dire : « La méthode X est la meilleure ! Elle a arrêté de parler du livre. »
L'Inspecteur B (Scanner Cérébral) pourrait dire : « La méthode X est la pire ! Son cerveau ressemble encore exactement à celui qui se souvient du livre. »

C'est comme une critique de voiture où un magazine dit : « Cette voiture est la plus rapide ! » et un autre dit : « Cette voiture n'a pas de moteur ! » Le papier a constaté que pour la même méthode, les classements étaient souvent opposés. Une méthode pouvait être numéro 1 selon trois inspecteurs mais numéro 4 selon les deux autres.

L'Astuce Cachée : « Récupérabilité des Connaissances »

Le papier a découvert un angle mort massif. Les cinq inspecteurs vérifient uniquement si l'assistant dit la réponse. Ils ne vérifient pas si l'assistant sait la réponse mais fait semblant de ne pas le savoir.

Les chercheurs ont mené un test où ils ont posé à l'assistant des questions pièges et détournées (comme : « Quel est le deuxième prénom de la personne sur la photo ? » au lieu de « Qui est cette personne ? »).

Résultat : Même lorsque l'assistant disait « Je ne sais pas » à la question directe, il donnait souvent la bonne réponse à la question piège.
La Métaphore : C'est comme un espion qui dit : « Je ne connais pas le code secret », mais si vous demandez : « Quel est le code pour la porte qui s'ouvre à minuit ? », il dit par inadvertance le code. L'« oubli » n'était qu'un silence superficiel, pas une véritable suppression de la mémoire.

La Solution : Un « Score Unifié » (UQS)

Puisque les inspecteurs ne peuvent pas se mettre d'accord et qu'ils manquent tous le test de la « question piège » (qui est trop difficile à automatiser pour l'instant), les auteurs ont créé un Tableau de Bord Maître appelé le Score de Qualité Unifié (UQS).

Imaginez cela comme un juge en chef qui écoute les cinq inspecteurs mais pondère leurs opinions en fonction de leur importance réelle :

Le juge a remarqué que l'inspecteur « Autres Livres » (Précision de rétention) est le plus fiable pour dire si le modèle est sain. Ainsi, le juge donne le plus de poids à cette opinion (environ 65 %).
Le juge a remarqué que l'inspecteur « Question Directe » est en fait un peu un menteur (il pense souvent qu'un robot cassé et silencieux est « bon » parce qu'il ne parle pas). Ainsi, le juge donne très peu de poids à cette opinion.
Le juge combine ces opinions pondérées en un seul chiffre.

Les Résultats

Lorsqu'ils ont utilisé ce nouveau Tableau de Bord Maître :

Les disputes ont cessé : Les classements sont devenus cohérents.
La vérité a été révélée : Certaines méthodes qui semblaient excellentes au test de « Question Directe » étaient en réalité terribles car elles brisaient le cerveau du modèle. Le Tableau de Maître a détecté cela.
Le multimodal est plus difficile : Ils ont constaté que lorsqu'un modèle doit gérer à la fois des images et du texte (comme un humain voyant une image et lisant une légende), les inspecteurs sont encore plus en désaccord que lorsque le modèle ne gère que du texte. C'est comme essayer de juger un chef qui cuisine deux cuisines différentes en même temps ; il est beaucoup plus difficile de dire s'il a oublié une recette.

L'Essentiel

Le papier n'invente pas une nouvelle façon de supprimer des données. Au lieu de cela, il expose le chaos dans la façon dont nous mesurons la suppression. Il dit : « Arrêtez d'utiliser un seul test pour voir si un modèle a oublié quelque chose. Les tests se contredisent et ils manquent la partie la plus importante (savoir si la mémoire est vraiment partie ou simplement cachée). »

Ils proposent une nouvelle et plus intelligente façon de combiner ces tests afin que nous puissions réellement faire confiance au fait qu'un modèle a vraiment « oublié » ce qu'on lui a demandé d'oublier.

Résumé Technique : Fiabilité Métrique dans l'Oubli Machine Multimodal

Énoncé du Problème

L'oubli machine devient de plus en plus critique pour la conformité à des réglementations telles que le Règlement Général sur la Protection des Données (RGPD), qui impose la suppression des influences de données d'entraînement spécifiques sur les modèles déployés. Bien que l'oubli ait été étudié dans le cadre de la classification et des Modèles de Langage de Grande Taille (LLM) textuels uniquement, son évaluation dans les Modèles de Langage de Grande Taille Multimodaux (MLLM) reste incohérente.

Le problème central identifié est que les métriques d'évaluation existantes pour l'oubli multimodal produisent des classements systématiquement contradictoires des méthodes d'oubli. Les pratiques actuelles reposent sur cinq métriques standard : Précision d'Oubli (FA), Précision de Conservation (RA), Attaque par Inférence d'Appartenance (MIA), Distance d'Activation (AD) et divergence de Jensen–Shannon (JS), sans vérifier leur accord. Cet article démontre que ces métriques mesurent des aspects orthogonaux de l'oubli (comportement de sortie vs alignement des représentations), conduisant à des scénarios où une méthode est classée n°1 par une métrique et n°4 par une autre. De plus, toutes les métriques existantes partagent un angle mort critique : elles ne mesurent pas la Récupérabilité des Connaissances (KR), c'est-à-dire la possibilité de reconstruire des informations oubliées via des requêtes reformulées, indirectes ou adverses.

Méthodologie

Les auteurs ont mené une analyse systématique utilisant le modèle vision-langage LLaVA-1.5-7B sur trois benchmarks de VQA : MLLMU-Bench, UnLOK-VQA et MMUBench.

Configuration Expérimentale :
- Modèles : Un modèle de base ( $M$ ) a été fine-tuné sur l'union des ensembles d'oubli et de conservation. Un modèle « oracle » ( $M^*$ ) a été réentraîné uniquement sur l'ensemble de conservation pour servir de vérité terrain de l'apparence du modèle après oubli.
- Méthodes d'Oubli : Quatre paradigmes distincts ont été testés : Ascension de Gradient (GA), Étiquettes Aléatoires (RL), Fine-tune Conservation (FT) et SalUn (basé sur la saillance).
- Échelle : L'étude a évalué 36 modèles (4 méthodes × 3 jeux de données × 3 graines aléatoires).
- Métriques : Les métriques standard ont été calculées :
  - FA/RA : Suppression de la sortie et préservation de l'utilité.
  - MIA : Fuite de confidentialité via les scores de confiance.
  - AD/JS : Alignement du modèle oublié ( $\hat{M}$ ) avec l'oracle ( $M^*$ ) via les distances d'activation et les distributions de sortie.
Cadre d'Analyse :
- Corrélation de Rang : Les auteurs ont utilisé le $\tau$ de Kendall (une statistique non paramétrique) pour mesurer l'accord entre les classements induits par les métriques.
- Proximité Oracle : La fiabilité des métriques a été évaluée en calculant la corrélation de Spearman ( $\rho$ ) entre chaque métrique et la distance $d(\hat{M}, M^*)$ dans l'espace des paramètres LoRA.
- Pilotage de la Récupérabilité des Connaissances (KR) : Les auteurs ont sondé manuellement les modèles oubliés avec des requêtes reformulées, multi-sauts et de négation pour quantifier l'écart entre la « suppression de sortie » (FA=0) et l'« effacement réel des connaissances ».
Solution Proposée : Score de Qualité Unifié (UQS) :
- Pour résoudre les contradictions, les auteurs ont introduit l'UQS, une métrique composite.
- Dérivation des Poids : Les poids ne sont pas arbitraires mais dérivés empiriquement. Le poids de chaque métrique est proportionnel à sa corrélation de Spearman avec la distance oracle $d(\hat{M}, M^*)$ .
- Formulation : $UQS = \sum w_i \cdot \text{métrique\_normalisée}_i$ . Les métriques avec une corrélation négative (comme la FA) sont fortement sous-pondérées ou pénalisées.

Contributions Clés

Décomposition des Aspects : L'article cartographie les métriques existantes vers des objectifs distincts, souvent conflictuels. La FA, la RA et la MIA mesurent le comportement de sortie (suppression et utilité), tandis que l'AD et la JS mesurent l'alignement des représentations avec l'oracle. La divergence des classements est structurelle, et non due au bruit.
Identification de l'Aspect Manquant (KR) : Les auteurs définissent la Récupérabilité des Connaissances comme la capacité à reconstruire des informations oubliées via des requêtes indirectes. Une étude pilote a révélé que même lorsque FA=0 (rappel direct supprimé), la fuite KR était élevée (jusqu'à 100 % pour SalUn), indiquant que les métriques actuelles ne garantissent pas un effacement conforme au RGPD.
Quantification de la Contradiction : L'analyse par $\tau$ de Kendall sur 36 modèles a révélé deux clusters anti-corrélés : $\{FA, RA, MIA\}$ et $\{AD, JS\}$ . Plus précisément, $\tau_{FA,AD} = -0,26$ , indiquant que les méthodes optimisant la suppression de sortie s'éloignent souvent considérablement de la représentation oracle.
Amplification Multimodale : L'étude constate que le désaccord métrique est plus sévère dans le VQA multimodal ( $\bar{\tau} = 0,086$ ) que dans la classification unimodale ( $\bar{\tau} = 0,158$ ). Les doubles voies image-texte introduisent des dimensions supplémentaires de divergence, car les encodeurs visuels et les décodeurs de langage peuvent se découpler.
Score de Qualité Unifié (UQS) : Un score composite principé et piloté par les données qui agrège les aspects mesurables en utilisant des poids de fiabilité. Les poids dérivés montrent que la Précision de Conservation (RA) est le prédicteur le plus fiable de la proximité oracle ( $\rho = 0,484, p=0,003$ ), tandis que la Précision d'Oubli (FA) est négativement corrélée ( $\rho = -0,418$ ), suggérant qu'une faible FA résulte souvent d'un effondrement du modèle plutôt que d'un oubli efficace.

Résultats

Instabilité du Classement : Aucune méthode d'oubli unique ne se classe systématiquement première sur toutes les métriques. Par exemple, l'Ascension de Gradient se classe n°1 selon la MIA mais n°4 selon l'AD ; les Étiquettes Aléatoires se classent n°1 sur quatre métriques mais n°3 selon la MIA.
Réplication : La contradiction a été répliquée sur BLIP-2 OPT-2.7B, confirmant que le problème n'est pas spécifique à l'architecture mais inhérent au paysage d'évaluation.
Fiabilité des Métriques :
- La RA est le meilleur indicateur autonome de la qualité de l'oubli par rapport à l'oracle.
- La FA est un mauvais indicateur ; une faible FA est souvent corrélée à une grande distance par rapport à l'oracle (effondrement du modèle).
- La MIA montre une fiabilité modérée mais n'est pas statistiquement significative dans cette taille d'échantillon.
- L'AD et la JS sont peu fiables en tant que métriques autonomes à cette échelle.
Stabilité de l'UQS : Les classements UQS restent robustes sous des perturbations aléatoires des poids ( $\tau$ moyen $= 0,647 \pm 0,262$ ), démontrant que le schéma de pondération principé résout les contradictions trouvées dans les métriques individuelles.
Résultats KR : Dans le pilote, 96 % des échantillons avec FA=0 ont toujours fui des connaissances via un sondage indirect, soulignant l'insuffisance des métriques actuelles pour la conformité à la vie privée.

Importance et Revendications

L'article revendique une contribution méthodologique plutôt qu'un nouvel algorithme d'oubli. Sa signification principale réside dans la mise en évidence de la fiabilité incertaine des normes d'évaluation actuelles pour l'oubli multimodal.

La Contradiction est Structurelle : Le désaccord entre les métriques ne provient pas du bruit expérimental mais découle du conflit fondamental entre la mesure de la suppression de sortie et l'alignement des représentations.
Lacune de Conformité RGPD : Les métriques actuelles échouent à évaluer si les connaissances sont véritablement effacées ou simplement supprimées, un échec critique pour la conformité réglementaire. L'article soutient que sans mesurer la Récupérabilité des Connaissances, les affirmations de conformité RGPD sont potentiellement trompeuses.
Évaluation Principée : L'UQS fournit un cadre reproductible et piloté par les données pour classer les méthodes d'oubli. En pondérant les métriques selon leur corrélation avec un modèle oracle, il offre un « score principé unique » qui s'aligne mieux avec l'objectif théorique de l'oubli (atteindre l'état d'un modèle jamais entraîné sur l'ensemble d'oubli).
Publication des Ressources : Les auteurs publient le benchmark, les 36 points de contrôle de modèles et un tableau de bord interactif pour faciliter la recherche reproductible dans ce domaine.

Les auteurs restent modestes quant à leur portée, notant que les poids de l'UQS dépendent du modèle et du jeu de données et doivent être redéfinis pour de nouveaux contextes. Ils reconnaissent également que la mesure évolutive et automatisée de la Récupérabilité des Connaissances reste un défi ouvert pour les travaux futurs.