💬 NLP

Deep Contrastive Unlearning for Language Models

Cet article propose DeepCUT, un cadre d'apprentissage par désapprentissage (machine unlearning) qui optimise l'espace latent des modèles de langage en utilisant l'apprentissage contrastif profond pour supprimer efficacement des données d'entraînement spécifiques tout en préservant la qualité prédictive, remédiant ainsi aux limites des méthodes existantes qui ignorent les distributions géométriques des échantillons.

Auteurs originaux : Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

À l'ère du numérique, nos vies sont de plus en plus enregistrées sous forme de texte : publications sur les réseaux sociaux, dossiers médicaux, documents juridiques et courriels privés. Les grands modèles de langage, ces puissants programmes informatiques capables d'écrire, de traduire et de répondre à des questions, sont entraînés sur de vastes océans de ces données générées par l'humain. Ils apprennent en lisant des millions de ces exemples, absorbant les schémas du langage et de la connaissance pour devenir des outils incroyablement utiles. Cependant, cette dépendance aux données du monde réel crée un problème majeur. Si une personne décide qu'elle ne souhaite plus que ses informations privées soient utilisées, ou si une donnée s'avère incorrecte ou sensible, la méthode actuelle pour la supprimer consiste à supprimer la donnée et à recommencer tout le processus d'entraînement à partir de zéro. Pour des modèles qui ont nécessité des semaines d'entraînement sur des milliards de mots, cela revient à brûler une bibliothèque entière juste pour retirer un seul livre. C'est trop lent, trop coûteux et souvent impossible à faire rapidement lorsque les gens exercent leur droit à l'oubli.

Pour résoudre ce problème, des chercheurs développent un domaine appelé l'oubli machine (machine unlearning). L'objectif est d'apprendre à un modèle à oublier des informations spécifiques sans avoir à le réentraîner entièrement. Imaginez un étudiant qui a mémorisé un manuel ; l'oubli machine vise à faire oublier un chapitre spécifique à cet étudiant tout en lui faisant garder tout le reste, le tout sans avoir à le renvoyer à l'école pour une nouvelle année. Bien que certaines méthodes existent pour faire cela avec des images ou des données simples, l'appliquer au monde complexe et nuancé du langage s'est avéré difficile. La plupart des tentatives existantes se concentrent uniquement sur les réponses finales données par le modèle, essayant d'orienter la sortie pour qu'elle ne mentionne plus le sujet oublié. Mais cette approche laisse souvent la mémoire sous-jacente des données intacte, cachée profondément dans les calculs internes du modèle, prête à refaire surface.

Une équipe de chercheurs de l'Université RMIT a proposé une nouvelle méthode appelée DeepCUT, qui adopète une approche différente en examinant directement la manière dont le modèle organise l'information à l'intérieur de son propre esprit. Au lieu de simplement ajuster les réponses finales, DeepCUT réorganise la carte interne où le modèle stocke ses connaissances. Les chercheurs ont entraîné un modèle de langage sur quatre ensembles de données réels différents, allant de publications de réseaux sociaux bruyantes à la littérature biomédicale précise. Ils ont ensuite demandé au modèle d'oublier des portions spécifiques de ces données, allant d'un pour cent à dix pour cent de l'ensemble d'entraînement total. Pour tester si l'oubli fonctionnait, ils ont mesuré la capacité du modèle à répondre encore aux questions sur les données qu'il était censé avoir oubliées, et sa capacité à conserver son aptitude à traiter les données qu'il était censé garder.

Les résultats ont montré que les méthodes précédentes étaient souvent inefficaces ou incomplètes. Continuer simplement à entraîner le modèle sur les données restantes, une technique connue sous le nom d'oubli catastrophique, n'a pas réussi à effacer les souvenirs spécifiques du texte supprimé ; le modèle se souvenait toujours des données interdites avec une grande précision. Une autre stratégie courante, qui consiste à diviser les données en petits morceaux et à ne réentraîner que les parties affectées, a bien fonctionné pour supprimer les données mais a considérablement nui à l'intelligence globale du modèle, le rendant moins précis sur les tâches générales. En revanche, la méthode DeepCUT a réussi à effacer les souvenirs spécifiques tout en préservant la performance générale du modèle. Lorsqu'elle a été testée sur les données qu'elle était censée oublier, la précision du modèle DeepCUT a chuté de manière spectaculaire, indiquant qu'il avait véritablement oublié l'information. Parallèlement, elle a maintenu une précision élevée sur les données qu'elle était censée se souvenir, performant aussi bien qu'un modèle qui aurait été entièrement réentraîné à partir de zéro.

Le secret de ce succès réside dans la manière dont la méthode manipule l'espace interne du modèle. Les chercheurs ont traité les points de données comme des emplacements sur une carte. Pour faire oublier une information spécifique au modèle, ils ont repoussé cette donnée loin de son propre groupe et l'ont rapprochée d'autres groupes, brouillant ainsi son identité unique au sein de la mémoire du modèle. Ce processus garantit que le modèle ne peut plus reconnaître les caractéristiques spécifiques qui rendaient cette donnée distincte, tout en laissant le reste de la carte inchangé. Les expériences ont démontré que cette approche était non seulement efficace pour supprimer les données, mais aussi beaucoup plus rapide que de réentraîner l'ensemble du modèle. En se concentrant sur l'arrangement géométrique de l'information à l'intérieur du modèle, les chercheurs ont trouvé un moyen de supprimer chirurgicalement les souvenirs indésirables, offrant une voie pratique pour protéger la vie privée à l'ère de l'intelligence artificielle.

Résumé Technique : DeepCUT (Deep Contrastive Unlearning for Language Models)

Problématique

L'avancement rapide des grands modèles de langage (LLM) repose sur l'entraînement avec de vastes quantités de données web, incluant du contenu généré par les utilisateurs qui peut contenir des informations personnelles sensibles ou du matériel protégé par le droit d'auteur. Bien que les LLM démontrent des capacités puissantes, ils posent des risques significatifs concernant la vie privée des utilisateurs et la protection des données, particulièrement au regard de réglementations comme le RGPD qui impose le « droit à l'oubli ».

Le défi central est l'oubli machine (machine unlearning) : le processus consistant à supprimer l'influence d'échantillons d'entraînement spécifiques d'un modèle sans devoir réentraîner l'intégralité du modèle à partir de zéro. Le réentraînement est prohibitivement coûteux en termes de calcul pour les LLM en raison de leur échelle et du temps requis pour les cycles d'entraînement. Les méthodes d'oubli existantes pour les LLM se concentrent principalement sur l'atténuation de l'impact des échantillons à oublier sur les distributions de sortie du modèle (par exemple, les probabilités de classification). Cependant, ces approches échouent souvent à considérer ou à optimiser explicitement les distributions géométriques des échantillons au sein de l'espace latent du modèle. Par conséquent, elles peuvent ne pas effacer efficacement les caractéristiques discriminantes des données à oublier, laissant des traces mémorielles résiduelles.

Méthodologie : DeepCUT

Pour répondre à ces limites, les auteurs proposent DeepCUT (Deep Contrastive Unlearning for fine-Tuning). Ce cadre opère en optimisant directement l'espace latent d'un modèle de langage affiné (fine-tuned) afin de faciliter l'oubli d'échantillons spécifiques tout en préservant la performance du modèle sur les données restantes.

La méthodologie se compose de trois composants :

Encodage et Augmentation des Entrées :
- Le cadre utilise un encodeur de LLM pré-entraîné pour projeter les phrases d'entrée dans un espace de plongement (embedding) latent.
- Pour faciliter l'apprentissage contrastif au sein d'un mini-lot (mini-batch), les auteurs emploient l'augmentation de données via un dropout standard. En faisant passer un échantillon par une couche de dropout deux fois avec des masques différents, ils génèrent plusieurs vues du même échantillon ancre. Cela garantit la disponibilité d'échantillons positifs (même classe) au sein du lot, même lorsque la taille du lot est petite ou que la classe spécifique est sous-représentée.
Objectif d'Oubli Contrastif :
- Contrairement à l'apprentissage contrastif traditionnel qui rapproche les échantillons positifs et écarte les négatifs, DeepCUT inverse cette logique pour les données à oublier ( $D_f$ ).
- Pour un échantillon ancre $x_f$ dans l'ensemble à oublier, le modèle est affiné pour éloigner (push) son plongement latent des instances de sa propre classe ( $D_y$ ) et pour rapprocher (pull) son plongement des instances de classes différentes ( $D_{\neg y}$ ).
- Ceci est réalisé à l'aide d'une perte contrastive modifiée (inspirée de la perte FoCL), formulée comme suit :
  $L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$
- Ce processus modifie la représentation apprise des données à oublier, effaçant efficacement leurs caractéristiques discriminantes uniques et les déplaçant vers les frontières de décision d'autres classes.
Optimisation Combinée :
- Pour éviter l'oubli catastrophique des données restantes ( $D_r$ ), la perte d'oubli ( $L_f$ ) est combinée à la perte d'entropie croisée standard ( $L_{CE}$ ) pour les échantillons conservés.
- La fonction d'objectif finale est :
  $L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$
- Ici, $\gamma$ est un hyperparamètre équilibrant la rétention des connaissances utiles et la suppression de données spécifiques.

Principales Contributions

L'article présente trois contributions majeures :

Présentation du Cadre : La proposition de DeepCUT, un cadre d'oubli efficace conçu pour oublier sélectivement des échantillons spécifiques dans des modèles entraînés en opérant directement sur l'espace latent.
Optimisation de l'Espace Latent : Une approche novatrice inspirée de l'apprentissage contrastif qui optimise les distributions d'échantillons au sein de l'espace latent. Cela garantit la suppression des caractéristiques discriminantes propres aux échantillons à oublier, plutôt que de simplement ajuster les probabilités de sortie.
Validation Empirique : Des expériences approfondies sur des jeux de données réels démontrant que DeepCUT peut oublier efficacement des échantillons spécifiés sans dégrader la performance prédictive du modèle sur les données restantes.

Résultats Expérimentaux

Les auteurs ont évalué DeepCUT sur quatre jeux de données de référence dans deux domaines : Médias Sociaux (WNUT16, WNUT17) et Biochimique (NCBI-Disease, ChEMU). Le modèle a été comparé à plusieurs bases de référence :

Retrain (Réentraînement) : Oubli exact via un réentraînement complet (vérité terrain).
Fine-tune (Affinage) : Affinage standard sur les données restantes (reposant sur l'oubli catastrophique).
Reverse Gradient (Gradient Inversé) : Inversion des gradients de l'ensemble à oublier.
SISA : Technique de Sharding, Isolation, Slicing, and Aggregation (Morcellement, Isolation, Tranchage et Agrégation).

Résultats Clés :

Efficacité de l'Oubli : DeepCUT a systématiquement obtenu la précision la plus faible sur l'« ensemble à oublier » sur tous les jeux de données et configurations (taux de suppression de 1 % et 10 %), surpassant nettement les bases comme le Reverse Gradient. Par exemple, sur WNUT16 avec 1 % de suppression, DeepCUT a réduit la précision de l'ensemble à oublier à 32,25 %, ce qui est inférieur (indiquant un oubli plus efficace) aux 54,55 % obtenus par le modèle réentraîné (vérité terrain) et aux 99,14 % de la méthode Fine-tune standard.
Préservation de la Performance : DeepCUT a maintenu une précision élevée sur l'« ensemble conservé » et sur l'« ensemble de test », comparable au modèle réentraîné et supérieur à SISA (qui souffrait de baisses de précision dues au morcellement des données).
Efficacité : En termes de temps d'exécution, DeepCUT était nettement plus rapide que la base de référence « Retrain » et plus efficace que l'approche « Fine-tune », qui nécessitait de nombreux époques pour parvenir à un oubli partiel. Bien que SISA soit rapide, il compromettait la précision globale du modèle.

Signification et Revendications

L'article affirme que DeepCUT représente une étape importante pour l'oubli machine dans les LLM en déplaçant l'attention de la mitigation au niveau de la sortie vers l'optimisation géométrique dans l'espace latent. Les auteurs soutiennent que les méthodes existantes échouent à traiter explicitement la distribution des échantillons dans l'espace latent, ce qui conduit à un oubli incomplet. En manipulant directement les plongements latents pour effacer les caractéristiques discriminantes, DeepCUT offre une solution plus fondée, précise et efficace. Les résultats suggèrent que la manipulation contrastive de l'espace latent est une approche viable et supérieure pour garantir la conformité à la vie privée dans les modèles de langage à grande échelle sans les coûts prohibitifs d'un réentraînement complet.