🤖 machine learning

Standard vs. Modular Sampling: Best Practices for Reliable LLM Unlearning

Cet article évalue de manière critique les pratiques conventionnelles d'oubli des LLM, révélant que le recours à des ensembles de voisins uniques et aux méthodes d'échantillonnage standards est sous-optimal, et propose un nouveau cadre composé d'ensembles de voisins diversifiés combinés à une stratégie d'Oubli Modulaire au Niveau de l'Entité (MELU) pour parvenir à un oubli plus fiable et efficace.

Auteurs originaux : Praveen Bushipaka, Lucia Passaro, Tommaso Cucinotta

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Praveen Bushipaka, Lucia Passaro, Tommaso Cucinotta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire très intelligent et érudit (le LLM) qui a lu des millions de livres. Parfois, ce bibliothécaire se souvient de choses qu'il ne devrait pas — comme l'adresse privée d'une personne spécifique ou une histoire protégée par le droit d'auteur qu'il n'était pas censé partager. Vous voulez apprendre au bibliothécaire à « désapprendre » ces faits spécifiques sans qu'il oublie tout le reste ou qu'il devienne un désordre confus.

Ce document est comme un guide pour la meilleure façon de mener cette classe de « rééducation » pour le bibliothécaire. Les auteurs ont découvert que les méthodes standards utilisées jusqu'à présent par les chercheurs sont en fait assez désordonnées et inefficaces. Ils ont testé de nouvelles méthodes et ont trouvé de bien meilleures façons de le faire.

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Le problème avec la « Classe Standard »

Habituellement, lorsqu'on essaie de faire oublier quelque chose au bibliothécaire, les chercheurs mettent en place une classe avec deux types d'étudiants :

Le groupe « Oublier » : Des étudiants tenant les cartes contenant l'information secrète que vous voulez effacer.
Le groupe « Retenir » : Des étudiants tenant des cartes avec des connaissances générales sûres pour garder le bibliothécaire en forme.

L'ancienne méthode (la configuration défectueuse) :

L'erreur du « Voisin Unique » : Traditionnellement, le groupe « Retenir » ne comprenait que des étudiants qui étaient directement liés au secret (par exemple, si vous voulez oublier « John habite à Paris », le groupe de rétention ne connaît que Paris). Les auteurs ont découvert que c'est comme essayer d'apprendre une langue en ne parlant qu'à une seule personne ; c'est trop étroit. Ils ont découvert qu'il faut un mélange de Voisins Directs (des personnes directement liées au secret) et de Voisins Indirects (des personnes ayant des métiers ou des thèmes similaires) pour maintenir l'équilibre du bibliothécaire.
L'erreur du « Mélange 1:1 » : L'ancienne méthode associait une carte « Oublier » à exactement une carte « Retenir », encore et encore. Les auteurs ont trouvé que c'est comme essayer de nettoyer une pièce en ramassant une seule chaussette, puis en la reposant, puis en ramassant la suivante. C'est inefficace et cela ne nettoie pas bien la pièce.

2. La nouvelle solution : L'approche « Modulaire »

Les auteurs proposent une nouvelle stratégie appelée MELU (Unlearning au niveau de l'entité modulaire).

L'analogie :
Imaginez que le bibliothécaire doive oublier des faits concernant trois personnes différentes : Alice, Bob et Charlie.

L'ancienne méthode « Cyclique » : Le bibliothécaire essaie d'oublier Alice tout en regardant les photos de Bob, puis oublie Bob en regardant les photos de Charlie. C'est un mélange chaotique. Le cerveau devient confus car le signal d'« oubli » est associé à des signaux de « souvenir » sans rapport.
La nouvelle méthode MELU : Le bibliothécaire se concentre sur Alice uniquement en regardant les photos liées à Alice (et des photos sûres concernant Alice). Ensuite, il passe à Bob et regarde uniquement les photos liées à Bob.

Pourquoi cela fonctionne :
En gardant les groupes « Oublier » et « Se souvenir » strictement assortis à la même personne ou au même sujet, le signal d'apprentissage est clair et stable. C'est comme étudier pour un examen de mathématiques en ne regardant que des problèmes de mathématiques, plutôt qu'en mélangeant des problèmes de mathématiques avec des questions d'histoire.

3. Ce qu'ils ont découvert

Les auteurs ont mené des expériences pour voir quelle méthode fonctionnait le mieux. Voici leurs principales conclusions :

Variez le mélange : Utiliser un seul type de données de « Rétention » (comme uniquement des voisins directs) fait que le bibliothécaire oublie soit trop peu, soit devient trop confus. Vous avez besoin d'un mélange diversifié de données liées et de données plus lâchement liées pour obtenir le bon équilibre.
Arrêtez le mélange 1:1 : La pratique courante consistant à associer un élément à oublier avec un élément à retenir est une perte de temps. Cela ne fonctionne pas bien.
MELU est le vainqueur : La nouvelle méthode « Modulaire » (le regroupement par sujet/personne) était beaucoup plus stable. Elle a réussi à effacer les mauvais souvenirs (haute « Efficacité d'Oubli ») sans que le bibliothécaire n'oublie comment parler ou répondre à d'autres questions (haute « Utilité du Modèle »).

4. L'essentiel à retenir

Le document soutient que si vous voulez faire oublier des choses spécifiques à une IA de manière fiable sans casser son cerveau, vous devez :

Mieux préparer vos données : Ne vous contentez pas d'un seul type d'informations liées ; utilisez un mélange de connexions directes et indirectes.
Changer votre calendrier d'entraînement : Arrêtez d'associer des éléments de manière aléatoire ou dans une simple boucle 1-à-1. Au lieu de cela, regroupez votre entraînement afin que l'IA se concentre sur un sujet spécifique à la fois, en associant strictement les données à « oublier » aux données à « retenir » pour ce même sujet.

Les auteurs concluent que cette approche « Modulaire » offre une voie claire et stable vers un désapprentissage efficace, tandis que les anciennes méthodes standards mènent souvent à des résultats instables ou à de mauvaises performances.

Résumé Technique : Échantillonnage Standard vs. Modulaire : Bonnes Pratiques pour un Désapprentissage d'LLM Fiable

Énoncé du Problème

Les grands modèles de langage (LLM) entraînés sur de vastes ensembles de données extraites du web mémorisent souvent des informations sensibles, notamment des données personnelles et du contenu protégé par le droit d'auteur. Bien que le désapprentissage d'LLM (LLM Unlearning) soit apparu comme une technique permettant de supprimer des connaissances spécifiques tout en préservant l'utilité générale du modèle, le domaine manque de pratiques exemplaires standardisées et fondées sur des preuves concernant la construction de jeux de données et les stratégies d'échantillonnage.

Les benchmarks et méthodologies actuels souffrent de deux déficiences primaires :

Composition de l'ensemble de rétention (Retain Set) : La plupart des travaux existants reposent sur un type unique de « ensemble de voisins » (connexions directes ou indirectes avec la cible à oublier) combiné à un pool de connaissances générales. Cela ne reflète pas les relations complexes et multifacettes des données réelles.
Stratégies d'échantillonnage : Le domaine repose fortement sur des standards de fait tels que l'échantillonnage 1:1 (faire correspondre un échantillon à oublier avec un échantillon à retenir par époque) ou l'échantillonnage cyclique (itérer à travers tous les échantillons à retenir tout en cyclant à travers les cibles à oublier). L'efficacité et la stabilité de ces heuristiques n'ont pas été examinées de manière critique, ce qui peut masquer des compromis de performance et introduire des risques cachés comme l'oubli catastrophique ou l'instabilité.

Méthodologie

Les auteurs ont mené une évaluation systématique pour établir des bonnes pratiques pour le désapprentissage d'LLM, en se concentrant sur le désapprentissage au niveau de l'entité (supprimer toute connaissance d'une entité spécifique, par exemple, une personne).

1. Construction du Jeu de Données (WPU Étendu)

L'étude a utilisé le jeu de données Wikipedia Person Unlearning (WPU), qui présente des figures moins populaires pour simuler des scénarios de désapprentissage réalistes. Les auteurs ont étendu ce jeu de données pour inclure :

Ensemble de Voisins Directs ( $N_d$ ) : Entités directement liées à la cible à oublier (ex: lieu de naissance, famille).
Ensemble de Voisins Indirects ( $N_{ind}$ ) : Entités partageant des relations sémantiques ou contextuelles (ex: même profession, même période historique), générées à l'aide d'un modèle LLaMA 3.3 70B pour trouver des professions similaires pour les entités cibles.
Similitude Syntaxique ( $N_s$ ) : S'assurer que les paires Q&R dans l'ensemble de rétention partagent des structures interrogatives syntaxiques avec les cibles à oublier pour contrôler l'influence syntaxique.
Jeu de Test ( $D_t$ ) : Un mélange équilibré de voisins indirects restants et d'échantillons de connaissances générales pour évaluer l'Utilité du Modèle.

2. Configuration Expérimentale

Les auteurs ont affiné LLaMA 3.1 8B Instruct et évalué trois algorithmes de désapprentissage :

Gradient Difference (GD) et Negative Preference Optimization (NPO) pour un désapprentissage non ciblé.
Direct Preference Optimization (DPO) pour un désapprentissage ciblé.

Ils ont comparé sept configurations distinctes combinant des pratiques de données et des stratégies d'échantillonnage :

Pratiques de Données : Restreindre l'ensemble de rétention aux seuls Voisins Directs, aux seuls Voisins Indirects, ou à un mélange Équilibré des deux.
Pratiques d'Échantillonnage :
- 1:1 Séquentiel : Faire correspondre les meilleurs échantillons à retenir avec les échantillons à oublier.
- 1:1 Aléatoire : Sélectionner aléatoirement un nombre égal d'échantillons à retenir par époque.
- Cyclique : Cycler à travers l'intégralité du pool de rétention tout en itérant à travers les cibles à oublier.
- Modular Entity-Level Unlearning (MELU) : Une stratégie proposée où chaque cible à oublier est appariée uniquement avec des échantillons de rétention appartenant à la même entité spécifique, évitant ainsi les appariements non liés.

3. Métriques d'Évaluation

La performance a été mesurée via :

Efficacité de l'Oubli (FE) : Calculée comme $1 - \text{Moyenne Arithmétique}$ de ROUGE-L, de la Probabilité Conditionnelle et de la Similitude Cosinus sur l'ensemble à oublier.
Utilité du Modèle (MU-T) : Moyenne harmonique des mêmes métriques sur l'ensemble de test.
Diversité des Tokens : Mesurée via Distinct-N pour détecter l'effondrement ou la dégénérescence du modèle.
Connaissances Générales : Scores MMLU pour évaluer l'intégrité globale du modèle.

Contributions Clés

Analyse Critique des Pratiques de Données : L'étude démontre que s'appuyer sur un seul ensemble de voisins est sous-optimal. Un ensemble de rétention diversifié (combinant des voisins directs et indirects) est crucial pour équilibrer l'Efficacité de l'Oubli et l'Utilité du Modèle.
Inefficacité de l'Échantillonnage 1:1 : Les auteurs ont constaté que l'échantillonnage 1:1 standard (tant séquentiel qu'aléatoire) est inefficace, produisant de faibles résultats d'oubli et ne parvenant pas à exploiter tout le potentiel de l'ensemble de rétention.
Proposition de MELU : Le papier introduit le Modular Entity-Level Unlearning (MELU), une stratégie d'échantillonnage structurée où les cibles à oublier sont appariées exclusivement avec leurs échantillons de rétention respectifs. Cette approche s'est révélée plus stable et plus efficace que l'échantillonnage cyclique conventionnel.

Résultats

Composition des Données :
- Direct vs. Indirect : Les méthodes basées sur le gradient (GD) ont montré une plus grande Efficacité de l'Oubli avec les Voisins Directs mais ont subi des chutes significatives de l'Utilité du Modèle. Inversement, les Voisins Indirects ont mieux préservé l'Utilité du Modèle mais ont parfois entraîné une plus faible Efficacité de l'Oubli pour les méthodes basées sur le gradient.
- Ensembles Équilibrés : Bien qu'un ensemble équilibré n'ait pas toujours maximisé les deux métriques simultanément, il a fourni un compromis nécessaire, empêchant la perte d'utilité extrême observée avec les ensembles uniquement directs.
- Diversité des Tokens : Les ensembles Indirects et Équilibrés ont généralement maintenu une diversité de tokens plus élevée par rapport aux ensembles Directs, lesquels ont souvent conduit à une dégénérescence du modèle (particulièrement avec GD).
Stratégies d'Échantillonnage :
- Échantillonnage 1:1 : A systématiquement échoué à produire un oubli significatif, quel que soit le nombre d'époques, et ce, pour tous les algorithmes.
- Cyclique vs. MELU : Le mode Cyclique et le mode MELU ont tous deux nettement surpassé l'échantillonnage 1:1.
- Supériorité de MELU : MELU a démontré une stabilité supérieure. Sous DPO, il a augmenté l'Efficacité de l'Oubli de 12 % par rapport à l'échantillonnage Cyclique tout en maintenant une Utilité du Modèle élevée. Pour les cibles difficiles (ex: "Ted Kooser"), MELU a atteint une Efficacité de l'Oubli > 0,50, alors que l'échantillonnage 1:1 a échoué (< 0,10).
- Stabilité : MELU a fourni un signal d'apprentissage plus cohérent en réduisant la variance causée par les paires oubli-rétention non liées, conduisant à des scores MMLU et une diversité de tokens stables.

Signification et Revendications

Le papier affirme que la composition de l'ensemble de rétention et le choix de la stratégie d'échantillonnage sont des facteurs critiques, bien que souvent négligés, du désapprentissage d'LLM. Les auteurs soutiennent que :

S'appuyer sur des ensembles de voisins uniques ou sur un échantillonnage 1:1 standard introduit des risques cachés et des plafonds de performance.
La stratégie proposée MELU, combinée à des algorithmes robustes, offre une voie claire et stable vers un désapprentissage efficace.
Ce travail fournit une première base de pratiques exemplaires fondées sur des preuves, incitant la communauté à passer vers des jeux de données de benchmark plus diversifiés et réalistes ainsi que vers des techniques d'échantillonnage structurées plutôt que de se fier à de simples heuristiques.

Les auteurs restent modestes quant à leurs affirmations, reconnaissant des limites telles que l'utilisation d'un "modèle sœur" pour la génération de données (ce qui peut limiter la généralisabilité à d'autres familles de modèles) et l'absence d'une analyse approfondie des raisons théoriques de la stabilité de MELU par rapport au mode Cyclique. Ils positionnent ce travail comme une étape vers l'établissement de protocoles rigoureux pour la recherche future en désapprentissage.