Résumé Technique : Leak@k : L'oubli n'entraîne pas l'oubli des LLM sous un décodage probabiliste

Énoncé du Problème

Les grands modèles de langage (LLM) sont entraînés sur d'immenses ensembles de données web contenant du contenu privé, toxique, illégal ou protégé par le droit d'auteur. L'oubli machine vise à éliminer ces connaissances spécifiques tout en préservant l'utilité générale du modèle. Cependant, les protocoles d'évaluation actuels de l'oubli reposent presque exclusivement sur un décodage déterministe (glouton) (température $T=0$, top-$p=0$). Dans ce contexte, le modèle sélectionne le token le plus probable à chaque étape.

Les auteurs identifient un écart critique : bien que les méthodes d'oubli semblent souvent efficaces sous un décodage glouton, elles échouent à atteindre un « véritable oubli » sous un décodage probabiliste (par exemple, $T > 0$ ou top-$p > 0$), qui est la norme dans les déploiements réels tels que les agents conversationnels et la génération de code. Sous un échantillonnage probabiliste, des informations sensibles qui étaient supprimées dans le chemin glouton peuvent réapparaître. Une fois qu'un token sensible initial est échantillonné, la distribution conditionnelle du modèle se déplace souvent, entraînant la génération des tokens sensibles subséquents avec une haute confiance. Cela crée un angle mort de sécurité où les modèles « oubliés » peuvent toujours fuir des connaissances privées ou nocives lorsqu'ils sont interrogés plusieurs fois ou avec des paramètres stochastiques.

Méthodologie

1. La méta-métrique Leak@k

Pour quantifier rigoureusement cette vulnérabilité, l'article introduit leak@k, une méta-métrique distributionnelle. Contrairement aux évaluations antérieures qui mesurent la fuite par génération unique ou la moyennent sur plusieurs générations, leak@k quantifie la probabilité qu'au moins une réponse sensible apparaisse parmi $k$ échantillons indépendants générés à partir du même prompt sous un décodage probabiliste.

• Définition : Pour un prompt $q$, soit $S_j$ un score de justesse (par exemple, ROUGE-L, score d'entailment, précision) pour la $j$-ième réponse générée $f(q; \theta)$ par rapport à la vérité terrain. La métrique est définie comme le score maximum attendu sur $k$ échantillons :
  $$\text{leak@k} := \mathbb{E}\left[\max_{1 \le j \le k} S_j\right]$$
• Estimation : Les auteurs proposent un estimateur sans biais, $\widehat{\text{leak@k}}$, qui génère $n \ge k$ échantillons et calcule le score maximum sur tous les sous-ensembles possibles de taille $k$ afin de réduire la variance par rapport à une approche naïve du « pire des $k$ ».
• Analyse de la décroissance : Pour caractériser l'évolution de la fuite à mesure que le budget d'échantillonnage augmente, les auteurs ajustent un modèle log-log : $L_k = 1 - (1 - L_1)k^{-\gamma}$. Ici, $L_1$ représente la fuite précoce, et $\gamma$ représente le taux de décroissance de la masse restante non fuite. Une méthode d'oubli réussie devrait présenter un petit $L_1$ et un petit $\gamma$.

2. L'algorithme RULE

Pour remédier à l'échec des ensembles d'oubli statiques sous un décodage probabiliste, les auteurs proposent Robust Unlearning under LEak@k metric (RULE). Il s'agit d'un méta-algorithme itératif qui enrichit dynamiquement l'ensemble d'oubli :

1. Génération multi-échantillons : En utilisant le modèle actuel et un décodage probabiliste, générer plusieurs réponses candidates pour les requêtes de l'ensemble d'oubli.
2. Détection de fuite : Filtrer ces réponses à l'aide d'une métrique centrale (par exemple, score d'entailment). Les réponses qui révèlent avec succès des informations sensibles (dépassant un seuil) sont identifiées.
3. Augmentation de l'ensemble de données : Ces réponses « fuyantes » sont ajoutées à l'ensemble d'oubli, enseignant efficacement au modèle à oublier non seulement la vérité terrain originale, mais aussi les variations et paraphrases spécifiques qu'il tend à générer dans des conditions stochastiques.
4. Optimisation : Le modèle est réentraîné sur cet ensemble d'oubli augmenté. Ce processus se répète sur plusieurs itérations.

Contributions Clés

1. Introduction de Leak@k : Une nouvelle méta-métrique qui déplace le paradigme d'évaluation des vérifications déterministes de réponse unique vers une analyse du pire cas probabiliste sur plusieurs générations.
2. Étude empirique systématique : La première évaluation à grande échelle de la fiabilité de l'oubli sur trois benchmarks majeurs (TOFU, MUSE-News et WMDP) en utilisant diverses stratégies de décodage ($T, p$) et budgets d'échantillonnage ($k$).
3. Démonstration d'échec : L'étude révèle que les méthodes de l'état de l'art (incluant GradDiff, NPO, SimNPO, RMU et BLUR-NPO) ne fournissent qu'une « illusion d'oubli ». À mesure que $k$ augmente, leak@k augmente brusquement pour toutes les méthodes existantes, indiquant que les connaissances sensibles réapparaissent de manière fiable sous un échantillonnage réaliste.
4. Proposition de RULE : Un algorithme d'entraînement dynamique qui réduit considérablement les fuites d'informations. Sur le benchmark TOFU, RULE atteint un leak@k proche de zéro même pour $k=128$, surpassant toutes les références. Sur MUSE-News, il surpasse les méthodes de l'état de l'art sur la plupart des budgets d'échantillonnage.

Résultats

• Benchmark TOFU : En utilisant LLaMA-3.2-1B, les auteurs montrent que si le décodage glouton ($T=0, p=0$) suggère un oubli réussi pour des méthodes comme NPO et BLUR-NPO, le décodage probabiliste ($T=1.0, p=1.0$) fait que leak@k (mesuré par le score d'entailment) approche 1,0 à mesure que $k$ augmente. Le paramètre top-$p$ a été identifié comme le principal moteur de la fuite, plus encore que la température.
• Benchmark MUSE-News : Des tendances similaires ont été observées avec LLaMA2-7B. Les méthodes existantes passent de sorties sûres à des sorties fuyantes à mesure que $p$ augmente ou que $k$ croît. RULE-NPO a démontré une performance supérieure dans la suppression des taux de croissance de la fuite ($\gamma$).
• Benchmark WMDP : En utilisant Zephyr-7B-beta, l'étude a mis en évidence que les métriques basées sur la précision peuvent être trompeuses. Alors que certaines méthodes (comme NPO) ont atteint une faible précision sur des questions à choix multiples, elles ont souvent généré du charabia ou un « oubli excessif » (en sélectionnant une option de refus), tandis que d'autres (comme RMU) ont montré des tendances de fuite claires sous un haut niveau d'aléatoire lorsqu'évaluées via un LLM-as-Judge sur des générations libres.
• Préservation de l'utilité : Sur tous les benchmarks, les méthodes proposées (incluant RULE) ont maintenu des performances stables sur l'ensemble de rétention, indiquant qu'un oubli robuste n'entraîne pas nécessairement un coût pour l'utilité générale du modèle.

Importance et Revendications

L'article affirme que les évaluations actuelles de l'oubli sont fondamentalement défectueuses car elles ignorent la nature probabiliste des LLM, créant un faux sentiment de sécurité. Les auteurs soutiennent que l'oubli doit être évalué dans les mêmes conditions probabilistes utilisées lors du déploiement pour garantir la sécurité.

L'importance de ce travail réside dans :

• L'exposition d'un écart critique : Démontrer qu'un oubli « réussi » sous un décodage glouton est insuffisant pour la conformité réglementaire et l'IA éthique, car les données sensibles peuvent être récupérées par échantillonnage répété.
• La fourniture d'un cadre d'évaluation robuste : Leak@k offre une métrique distributionnelle standardisée pour comparer les méthodes d'oubli en fonction de leur potentiel de fuite au pire cas plutôt que de leurs performances moyennes.
• L'offre d'une solution : RULE démontre qu'il est possible d'atteindre un oubli robuste en affinant itérativement l'ensemble d'oubli sur la base des échecs probabilistes du modèle lui-même, allant au-delà des ensembles d'entraînement statiques.

Les auteurs concluent que sans de telles méthodes d'évaluation et d'entraînement robustes, le déploiement de LLM oubliés dans des environnements à haut risque reste risqué, car des utilisateurs malveillants peuvent exploiter le décodage probabiliste pour extraire des informations « oubliées ».