💻 computer science

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

L'article propose DualOptim+, un nouveau cadre d'optimisation qui fait le pont entre les états d'optimiseur partagés et découplés pour atteindre des compromis supérieurs en matière d'oubli machine pour les grands modèles de langage, ainsi qu'une variante quantisée économe en mémoire appelée DualOptim+ 8bit.

Auteurs originaux : Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Dilemme de la « Gomme »

Imaginez que vous possédez une gigantesque encyclopédie incroyablement intelligente (un Modèle de Langage à Grande Échelle) qui a lu presque tout ce qui se trouve sur Internet. Parfois, vous devez retirer des pages spécifiques de celle-ci — peut-être parce qu'elles contiennent des informations privées, des faits obsolètes ou des instructions nocives. Ce processus s'appelle l'Oubli Machine.

Le problème est délicat : vous voulez effacer les pages mauvaises ou privées sans supprimer accidentellement le reste des connaissances de l'encyclopédie. Si vous essayez de trop frotter pour éliminer les mauvaises informations, le modèle risque d'oublier comment écrire un poème, résoudre un problème de mathématiques, ou même dire « bonjour ».

Les Anciennes Méthodes : Deux Approches Défectueuses

Avant ce papier, les chercheurs ont essayé deux façons principales de résoudre ce problème :

L'Approche « Mélange et Fouillis » (Mise à Jour Jointe) : Imaginez essayer de nettoyer une chaussure boueuse tout en polissant simultanément un diamant, en utilisant le même chiffon pour les deux. Vous mélangez les instructions de « nettoyage » et de « polissage ». Le résultat ? La chaussure reste sale, ou le diamant se raye. Le modèle oublie trop d'informations utiles.
L'Approche « Va-et-Vient » (Mise à Jour Alternée) : Imaginez nettoyer la chaussure pendant une minute, puis polir le diamant la minute suivante, en alternant sans cesse. C'est mieux, mais si vous utilisez le même chiffon pour les deux tâches, la saleté de la chaussure finit par se retrouver sur le diamant, et le polish du diamant rend la chaussure glissante. La « mémoire » du chiffon se confond.

La Nouvelle Solution : DualOptim+

Les auteurs proposent un nouveau cadre appelé DualOptim+. Imaginez cela comme donner au modèle deux kits de nettoyage spécialisés qui fonctionnent parfaitement ensemble.

1. La « Base Partagée » (Le Terrain Commun)

Imaginez que le modèle possède un État de Base Partagé. C'est comme une fondation commune ou un seau de « connaissances générales ».

Lorsque le modèle apprend à oublier quelque chose et lorsqu'il apprend à retenir quelque chose, ils mettent tous deux à jour ce seau.
Pourquoi ? Parce que l'oubli et la mémoire partagent souvent certaines structures cérébrales de base. Ce seau capture ce que le modèle doit continuer à faire indépendamment de la tâche spécifique.

2. Les « États Delta » (Les Outils Spécialisés)

Ensuite, il y a les États Delta (ou « Delta » pour faire court). Imaginez-les comme des boîtes à outils spécialisées et séparées pour le travail spécifique.

Delta-F : Une boîte à outils uniquement pour l'« Oubli ». Elle contient la différence entre ce qui doit être effacé et la fondation commune.
Delta-R : Une boîte à outils uniquement pour la « Rétention ». Elle contient la différence entre ce qui doit être sauvegardé et la fondation commune.

Comment Cela Fonctionne Ensemble

Au lieu d'utiliser un seul chiffon confus ou deux chiffons complètement séparés qui ne se parlent jamais, DualOptim+ fait ceci :

Il met à jour la Base Partagée avec les deux instructions d'oubli et de souvenir.
Il met à jour les Outils Delta uniquement avec les parties uniques des instructions (les « résidus »).
Lorsque le modèle modifie réellement son cerveau (met à jour ses paramètres), il combine la Base Partagée + le Bon Outil Delta.

La Magie : Si les instructions « oublier » et « retenir » se battent l'une contre l'autre (conflit), les outils Delta interviennent pour gérer le conflit. Si elles sont d'accord, la Base Partagée gère le travail efficacement. C'est comme un manager intelligent qui sait quand utiliser une ressource d'équipe partagée et quand assigner un spécialiste.

L'Astuce « 8 bits » : Économiser de l'Espace

Habituellement, avoir ces boîtes à outils supplémentaires (états Delta) prend beaucoup de mémoire informatique (RAM), ce qui est coûteux.

Les auteurs ont créé une version DualOptim+ 8 bits.
Analogie : Imaginez que vos boîtes à outils sont généralement faites d'or massif et lourd (précision 32 bits). La version 8 bits les compresse en une mousse haute technologie et légère. Elles pèsent beaucoup moins (économisant de la mémoire) mais font exactement le même travail avec presque aucune perte de performance.

Qu'Ont-ils Démontré ?

Le papier a mené de nombreux tests pour voir si cette nouvelle méthode fonctionne :

Scénarios Fictifs : Ils l'ont testé sur des données inventées (comme des auteurs fictifs) pour voir si le modèle pouvait oublier des noms spécifiques sans perdre sa capacité à écrire.
Scénarios Réels : Ils l'ont testé sur des données du monde réel, comme la suppression des informations privées de personnes spécifiques d'un modèle.
Sécurité : Ils ont testé s'il pouvait supprimer des instructions « nocives » (comme comment fabriquer une bombe) sans amener le modèle à refuser de répondre à toutes les questions (un effet secondaire courant appelé « sur-refus »).
Multitâche : Ils l'ont même testé en enseignant au modèle trois compétences différentes à la fois (codage, science et mathématiques) pour voir si la « Base Partagée » aide à équilibrer différentes tâches.

Le Résultat : Dans presque tous les tests, DualOptim+ était meilleur pour effacer les mauvaises choses tout en gardant les bonnes choses intactes par rapport aux anciennes méthodes. Il a trouvé le « juste milieu » entre l'oubli et la mémoire.

Résumé

DualOptim+ est une façon plus intelligente d'entraîner des modèles d'IA à « désapprendre » des choses. Au lieu d'utiliser un mélange confus ou deux systèmes complètement séparés, il utilise un système hybride : une fondation partagée pour le sens commun et des outils spécialisés pour des tâches spécifiques. Cela garantit que l'IA oublie exactement ce qu'elle est censée oublier, sans perdre son intelligence générale. De plus, ils ont trouvé comment le faire fonctionner sur des ordinateurs moins chers en compressant la mémoire.

Résumé Technique de DualOptim+

Énoncé du Problème
L'oubli machine (MU) dans les grands modèles de langage (LLM) vise à effacer l'influence de données d'entraînement spécifiques (l'ensemble à oublier) tout en préservant l'utilité générale du modèle sur les données restantes (l'ensemble à conserver). Les approches existantes font face à un défi majeur pour équilibrer ces objectifs contradictoires.

Mise à jour conjointe : La plupart des méthodes minimisent la somme des pertes d'oubli et de conservation simultanément. Cela conduit souvent à une dégradation significative de l'utilité du modèle due à un oubli excessif.
Mise à jour alternée : Alterner entre les objectifs d'oubli et de conservation améliore les performances mais souffre d'instabilité et de sensibilité aux hyperparamètres.
Optimiseurs découplés (DualOptim) : Une approche précédente, DualOptim, découple les états de l'optimiseur (par exemple, les termes de momentum) pour chaque objectif afin d'éviter l'enchevêtrement des gradients. Bien qu'efficace en vision par ordinateur, DualOptim n'apporte que des améliorations marginales dans les LLM. Les auteurs observent que dans l'oubli des LLM, les gradients pour l'oubli et la conservation ne sont pas toujours en conflit direct ; ils partagent souvent des représentations communes, en particulier dans les phases ultérieures de l'entraînement. Des états entièrement découplés échouent à exploiter ces caractéristiques partagées, tandis que des états entièrement partagés échouent à gérer les conflits.

Méthodologie : DualOptim+
L'article propose DualOptim+, un cadre d'optimisation plug-and-play conçu pour combler le fossé entre les états d'optimiseur entièrement partagés et entièrement découplés. L'innovation centrale réside dans la décomposition de l'état de l'optimiseur en deux composantes :

État de base partagé ( $B$ ) : Cet état capture les représentations communes partagées par les deux objectifs d'oubli et de conservation. Il est mis à jour conjointement en utilisant les gradients des deux objectifs ( $\nabla_\theta L_f$ et $\nabla_\theta L_r$ ).
États delta découplés ( $\Delta_f, \Delta_r$ ) : Ces états préservent les résidus spécifiques à l'objectif. Ils sont mis à jour en fonction de la différence entre le gradient de l'objectif spécifique et l'état de base corrigé du biais.
- $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
- $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

Mise à jour des Paramètres :
Le terme de momentum final utilisé pour les mises à jour des paramètres est reconstruit en combinant l'état de base corrigé du biais avec l'état delta respectif corrigé du biais ( $\hat{B} + \hat{\Delta}_f$ ou $\hat{B} + \hat{\Delta}_r$ ).

Insight Théorique Clé :
Les analyses théoriques et numériques démontrent que DualOptim+ fonctionne comme un intermédiaire adaptatif.

Lorsque les gradients sont positivement corrélés (les caractéristiques partagées dominent), les états delta convergent vers zéro, et la méthode se comporte comme un schéma Alterné (utilisant la base partagée).
Lorsque les gradients sont négativement corrélés (objectifs conflictuels), l'état de base converge vers zéro, et la méthode se comporte comme un schéma DualOptim (utilisant des états découplés).
Cette adaptativité permet à l'optimiseur de s'ajuster dynamiquement en fonction du conflit directionnel entre les gradients d'oubli et de conservation.

DualOptim+ 8bit
Pour remédier à la surcharge mémoire associée au stockage d'états d'optimiseur supplémentaires (3 fois la mémoire d'un optimiseur Adam standard), les auteurs introduisent DualOptim+ 8bit. Cette variante quantifie les états de l'optimiseur sur une précision de 8 bits, réduisant considérablement la consommation mémoire (à environ 3/4 d'un Adam standard) sans compromettre les performances.

Contributions Clés

Nouveau Cadre : La proposition de DualOptim+, qui introduit un état de base partagé et des états delta découplés pour combiner efficacement les états d'optimiseur partagés et découplés.
Conception Plug-and-Play : Un cadre compatible avec tout optimiseur stockant des états (par exemple, AdamW, Muon) et applicable à l'optimisation multi-objectifs.
Validation Empirique : Des expériences extensives sur des ensembles de données fictifs (TOFU), des scénarios réels (oubli Llama-3), l'alignement de sécurité et des tâches d'apprentissage multi-tâches.
Efficacité : L'introduction d'une variante quantifiée sur 8 bits qui atténue la surcharge mémoire.

Résultats Expérimentaux
L'article évalue DualOptim+ par rapport aux bases de référence Joint, Alterné et DualOptim sur divers LLM (Phi-1.5, Llama-2, Llama-3) et tâches :

Scénarios Fictifs (TOFU) : DualOptim+ atteint systématiquement la meilleure Performance Globale (OVR), définie comme un compromis entre l'Efficacité d'Oubli (FE) et l'Utilité du Modèle (MU). Il surpasse DualOptim, en particulier dans l'oubli ciblé, en exploitant mieux les caractéristiques partagées.
Scénarios Réels : Dans l'oubli d'individus réels de Llama-3, DualOptim+ maintient une utilité supérieure sur les tâches en aval (ARC-c, MMLU, etc.) par rapport aux bases de référence, tandis que DualOptim sous-performe parfois l'approche Alternée plus simple.
Alignement de Sécurité : Dans une tâche consistant à oublier des connaissances dangereuses tout en conservant les capacités de suivi d'instructions, DualOptim+ atteint le meilleur compromis sécurité-utilité et le taux de refus excessif le plus bas sur le benchmark XSTest.
Apprentissage Multi-Tâches : Contrairement à l'oubli où les conflits de gradients sont élevés, dans l'apprentissage multi-tâches où les conflits sont moins prononcés, DualOptim+ continue d'apporter des améliorations de performance substantielles, tandis que DualOptim montre des gains négatifs.
Efficacité Mémoire : Les variantes 8 bits atteignent une quasi-égalité dans l'utilisation de la mémoire avec les bases de référence standard tout en maintenant les avantages de performance de la méthode pleine précision.

Signification et Revendications
Les auteurs affirment que DualOptim+ offre un compromis plus stable et efficace entre l'effacement des connaissances et la préservation de l'utilité que les méthodes existantes. Ils positionnent la méthode non seulement comme un outil d'oubli, mais comme un cadre d'optimisation généralisable applicable à des scénarios plus larges impliquant plusieurs objectifs d'apprentissage conflictuels, tels que l'alignement des LLM et l'apprentissage multi-objectifs. L'article souligne que la nature adaptative de la liaison entre les états partagés et découplés est cruciale pour gérer les relations de gradients dynamiques trouvées dans l'oubli des LLM.