Résumé Technique : PPU-Bench

Énoncé du Problème

Les Modèles de Langage Multimodaux à Grande Échelle (MLLM) sont entraînés sur d'immenses corpus à l'échelle du web qui contiennent inévitablement des informations sensibles associées à de véritables individus, soulevant des préoccupations concernant les fuites de vie privée et le « Droit à l'oubli » (RTBF) au titre de réglementations telles que le RGPD. Bien que l'effacement machine (machine unlearning) offre une alternative pratique au réentraînement complet, les benchmarks existants pour l'effacement des MLLM souffrent de deux limitations critiques :

1. Hypothèses de données irréalistes : La plupart des benchmarks reposent sur l'injection de données synthétiques via un fine-tuning, ce qui s'écarte des scénarios réels où les connaissances sont naturellement intégrées dans les distributions d'entraînement préalable. Les données synthétiques peuvent également s'entremêler avec les distributions d'entraînement préalable, risquant de réactiver des motifs mémorisés.
2. Objectifs d'effacement inadaptés : Les benchmarks existants se concentrent généralement sur l'« Effacement Complet » (suppression de toutes les informations concernant un sujet). En pratique, les utilisateurs demandent souvent la suppression uniquement d'attributs sensibles spécifiques (par exemple, un historique privé) tout en préservant des faits bénins ou publics. Les benchmarks actuels échouent à évaluer cette capacité d'effacement partiel personnalisé et granulaire.

Méthodologie

1. Construction de PPU-Bench

Les auteurs introduisent PPU-Bench, un benchmark du monde réel, sans fine-tuning, conçu pour évaluer l'effacement partiel personnalisé.

• Source de Données : Au lieu d'une injection synthétique, le benchmark utilise les connaissances préexistantes de 500 personnalités publiques réelles issues de Wikipédia. Cela garantit que les connaissances cibles sont naturellement intégrées dans les MLLM.
• Chaîne de traitement :
  • Structuration des Profils : Les pages brutes de Wikipédia sont organisées en trois catégories à l'aide de GPT-5.4-mini : Basique (identité), Normale (carrière publique/honneurs) et Sensible (vie privée, santé, problèmes juridiques, traumatismes).
  • Génération de QA/VQA : Des paires de questions-réponses diversifiées sont générées pour chaque catégorie. Les paires QA uniquement textuelles sont converties en échantillons de Réponse aux Questions Visuelles (VQA) en les associant à des images correspondantes des personnalités publiques.
  • Filtrage de la Mémorisation : Les échantillons sont filtrés à l'aide de Qwen3-VL-8B pour s'assurer que les connaissances cibles sont véritablement mémorisées (Token-F1 > 0,5), aboutissant à 24 334 échantillons de haute qualité (12 167 VQA + 12 167 QA).
• Paramètres de Tâche : Le benchmark définit trois paramètres de difficulté progressive :
  • Effacement Complet : Supprime toutes les informations liées à la personne (niveau sujet).
  • Effacement Sélectif : Supprime uniquement les informations Sensibles tout en conservant les informations Basiques et Normales (niveau catégorie).
  • Effacement Personnalisé : Le paramètre le plus réaliste où l'ensemble « Oublier » est déterminé par les préférences individuelles du sujet (simulées via plusieurs LLM et un vote majoritaire) plutôt que par des catégories fixes. Cela nécessite un contrôle fin des frontières factuelles intra-sujet.
• Évaluation : Comprend l'efficacité de l'effacement (Ensemble Oublier), la préservation de l'utilité (Ensemble Conserver, MMBench) et la robustesse face à la généralisation croisée d'images et aux perturbations textuelles (Préfixe Aléatoire, Reformulation, Jailbreak).

2. Solution Proposée : Optimisation Sensible aux Frontières (BAO)

Motivés par des constatations indiquant que les méthodes existantes peinent avec les frontières intra-sujet, les auteurs proposent l'Optimisation Sensible aux Frontières (BAO).

• Mécanisme : Contrairement à l'Ascension de Gradient (GA) standard ou à GA_diff qui traitent les ensembles d'oubli et de conservation comme des objectifs séparés, BAO modélise explicitement la marge entre les faits d'oubli et de conservation au sein du même sujet.
• Objectif : Il impose que la log-vraisemblance négative (NLL) des faits d'oubli sélectionnés par la persona dépasse celle des faits de conservation d'une marge $m$.
• Fonction de Perte : $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$, où $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$. Cela encourage le modèle à apprendre des frontières de suppression intra-sujet fines.

Résultats Clés

Constatations du Benchmark

Les expériences menées sur six méthodes d'effacement représentatives (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) sur deux modèles de base (Qwen3-VL-8B, Gemma3-12B) révèlent :

• Suppression Visuelle vs Factuelle : Dans l'Effacement Complet, les méthodes suppriment souvent l'identité visuelle (échouant à reconnaître la personne sur les images) plutôt que de supprimer la connaissance factuelle sous-jacente. Les performances des QA textuelles restent souvent élevées malgré la baisse des performances VQA.
• Compromis dans l'Effacement Sélectif : Bien que les méthodes montrent un meilleur oubli au niveau des faits dans les paramètres sélectifs, elles présentent des compromis significatifs, dégradant souvent les performances de conservation ou l'utilité globale du modèle.
• Défis de l'Effacement Personnalisé : Ce paramètre expose les difficultés les plus importantes. Les méthodes peinent à distinguer les faits d'oubli et de conservation au sein du même sujet, conduisant soit à un sous-oubli (fuites), soit à un sur-oubli (perte d'utilité).
• Robustesse : Les attaques croisées d'images sont particulièrement efficaces contre les méthodes d'Effacement Complet, confirmant leur dépendance à la suppression visuelle. Les attaques basées sur le texte (par exemple, Jailbreak) révèlent des vulnérabilités dans l'Effacement Sélectif, en particulier pour NPO.

Performance de BAO

• L'application de BAO à GA_diff et MMUnlearner améliore considérablement la suppression des faits d'oubli sélectionnés par la persona dans le paramètre d'Effacement Personnalisé.
• Il atténue efficacement le sous-oubli en imposant des frontières intra-sujet.
• Cependant, les auteurs notent que l'imposition explicite de contraintes de frontières peut amplifier le compromis inhérent entre oubli et conservation, conduisant parfois à une dégradation des performances sur les tâches de QA de conservation et de génération.

Importance et Contributions

L'article revendique trois contributions principales :

1. PPU-Bench : Le premier benchmark multimodal à grande échelle et du monde réel pour l'effacement partiel personnalisé. Il va au-delà des données synthétiques et de la suppression d'identité grossière pour évaluer des scénarios de suppression granulaires et centrés sur l'utilisateur.
2. Insights Empiriques : Des expériences extensives démontrent que les méthodes actuelles d'effacement des MLLM échouent à atteindre un oubli factuel cohérent et manquent de contrôle précis sur les frontières intra-sujet, en particulier dans les paramètres personnalisés.
3. Méthode BAO : Une stratégie d'optimisation simple mais efficace qui modélise explicitement les frontières factuelles intra-sujet, démontrant une performance améliorée dans les scénarios d'effacement personnalisé par rapport aux méthodes de référence.

Les auteurs positionnent PPU-Bench comme un outil de diagnostic pour révéler les biais de catégorie et les différences de stabilité entre les groupes de connaissances, soulignant la nécessité de méthodes capables de gérer les compromis complexes des demandes de confidentialité du monde réel sans compromettre l'utilité du modèle.