💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

Cet article soutient que l'oubli dans les modèles de langage doit être adapté à des fonctions spécifiques plutôt que traité comme une tâche monolithique, démontrant par des expériences sur des modèles de 7 à 8 milliards de paramètres que des objectifs distincts — à savoir une approche méta-apprise basée sur le cosinus pour les connaissances dangereuses et une méthode basée sur des sondes multi-couches pour la toxicité — produisent des résultats supérieurs pour leurs objectifs respectifs.

Auteurs originaux : Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les grands modèles de langage (LLM) comme des étudiants incroyablement talentueux, mais légèrement téméraires, qui ont lu presque tout ce qui se trouve sur Internet. Ils sont excellents pour écrire des histoires et répondre à des questions, mais ils ont également acquis de mauvaises habitudes : parfois, ils connaissent des secrets dangereux (comme la façon de fabriquer une bombe), et parfois, ils utilisent un langage méchant ou toxique.

L'article soutient que tenter de « désapprendre » ces mauvaises habitudes ne constitue pas une tâche universelle. Tout comme un enseignant utilise différentes méthodes pour empêcher un élève de tricher lors d'un examen de mathématiques plutôt que pour l'empêcher d'être grossier avec ses camarades, les chercheurs en intelligence artificielle ont besoin d'outils différents pour des problèmes différents.

Voici une décomposition de leur approche à l'aide d'analogies simples :

1. Le problème central : Une taille unique ne convient pas à tous

Les auteurs affirment que le « désapprentissage » (enseigner à l'IA d'oublier des choses spécifiques) ne devrait pas être traité comme une tâche unique et générique.

Les connaissances dangereuses sont comparables à un élève mémorisant un fait spécifique et dangereux (par exemple, « Comment fabriquer du poison »). Cela est stocké dans le modèle comme un fichier spécifique dans une bibliothèque.
La toxicité est comparable à la mauvaise attitude d'un élève ou à sa tendance à être grossier. Ce n'est pas un simple fait ; c'est une ambiance ou un motif qui est réparti sur toute la personnalité de l'élève.

L'article affirme que, puisque ces deux problèmes sont stockés différemment à l'intérieur du « cerveau » de l'IA, vous avez besoin de deux stratégies différentes pour les résoudre.

2. Stratégie A : Oublier les faits dangereux (L'approche « Cosinus »)

Lorsque l'IA connaît des faits dangereux, les auteurs ont essayé une nouvelle méthode basée sur la direction plutôt que sur la distance.

L'ancienne méthode (Perte L2) : Imaginez essayer de déplacer une voiture jouet loin d'une falaise. L'ancienne méthode mesurait la distance exacte entre la voiture et la falaise. Si la voiture avançait d'un pouce, cela comptait comme un progrès. Mais si la voiture était énorme, avancer d'un pouce pourrait ne pas suffire.
La nouvelle méthode (Perte Cosinus) : Les auteurs suggèrent que nous ne devrions pas nous soucier de la distance exacte. Au lieu de cela, nous devrions nous soucier de la direction dans laquelle la voiture est orientée. Si la voiture fait face à la falaise, nous la tournons de 180 degrés pour qu'elle fasse face à l'opposé. Même si elle est encore proche du bord, elle pointe désormais loin du danger.
Le résultat : Ils ont également utilisé un « entraîneur intelligent » (méta-apprentissage) qui détermine automatiquement à quelle force pousser la voiture pour la tourner sans lui faire oublier comment conduire (connaissances générales). Cela a très bien fonctionné pour éliminer les faits dangereux.

3. Stratégie B : Oublier la toxicité (L'approche « Multi-couches »)

Lorsque l'IA se comporte de manière toxique, la méthode « tourner la voiture » a échoué. Pourquoi ? Parce que la toxicité n'est pas stockée à un endroit spécifique ; c'est comme une tache qui a imprégné le tissu du cerveau de l'IA à travers de nombreuses couches différentes.

Le problème : Si vous ne frottez qu'un seul endroit sur une chemise tachée, la tache est toujours là.
La solution : Les auteurs ont construit un « frotteur multi-couches ». Ils ont examiné le cerveau de l'IA à différentes profondeurs (couches précoces, intermédiaires et tardives) et ont constaté que le « signal de toxicité » apparaît différemment à chaque niveau.
La méthode : Ils ont entraîné des détecteurs spéciaux (sondes) à diverses couches pour trouver exactement où la toxicité se cache. Ensuite, ils ont poussé l'IA à modifier son comportement à toutes ces couches simultanément, éliminant ainsi la tache de toute la chemise, et non pas d'un seul endroit.

4. Le tableau de bord : S-Unlearning

Comment savoir si l'IA est meilleure ? Vous ne pouvez pas simplement dire : « Elle est moins toxique », car peut-être qu'elle a aussi arrêté d'être utile.
Les auteurs ont créé un nouveau score appelé S-Unlearning.

Imaginez une balance. D'un côté se trouve « À quel point avons-nous bien éliminé les mauvaises choses ? » et de l'autre « À quel point avons-nous bien conservé les bonnes choses ? ».
Le score S-Unlearning est comparable à l'aire d'un rectangle formé par ces deux côtés. Vous voulez un grand rectangle (élimination élevée des mauvaises choses ET rétention élevée des bonnes choses). Si vous éliminez les mauvaises choses mais que vous brisez l'IA au point qu'elle ne puisse plus parler, votre rectangle rétrécit à zéro.

5. Ce qu'ils ont découvert

Ils ont testé cela sur quatre modèles d'IA open-source différents (comme Llama, Mistral et Qwen).

Pour les faits dangereux : Leur nouvelle méthode « basée sur la direction » a mieux fonctionné que les méthodes précédentes pour faire oublier à l'IA les informations dangereuses sans perdre son intelligence générale.
Pour la toxicité : Leur « frotteur multi-couches » était beaucoup plus efficace que d'essayer d'utiliser la même méthode employée pour les faits dangereux. Ils ont constaté que la toxicité est en effet répartie, et qu'il faut cibler plusieurs couches pour la corriger.
La grande conclusion : Vous ne pouvez pas utiliser une seule « baguette magique » pour résoudre tous les problèmes de l'IA. Vous devez comprendre comment l'IA stocke le problème (comme un fait spécifique ou comme un comportement dispersé) et choisir le bon outil pour le corriger.

En bref : Pour corriger un fait spécifique, changez la direction. Pour corriger une mauvaise attitude, frottez l'ensemble du système couche par couche.

Résumé Technique : Les Objectifs d'Oubli du Modèle Varient selon les Fonctions Linguistiques Distinctes

Énoncé du Problème

Les Grands Modèles de Langage (LLM) acquièrent des propriétés indésirables durant le pré-entraînement, notamment des connaissances factuelles dangereuses (par exemple, des risques de biosécurité) et une génération de langage toxique. Bien que les méthodes d'après-entraînement utilisent des objectifs distincts pour façonner différents comportements (par exemple, le suivi d'instructions versus la sécurité), les approches d'oubli existantes traitent souvent la suppression de ces propriétés distinctes comme un problème unique et générique.

Les auteurs soutiennent que l'oubli doit être dépendant de l'objectif, à l'instar de la diversité des objectifs d'après-entraînement. Plus précisément, ils postulent que les connaissances dangereuses (informations factuelles ou procédurales) et la toxicité (comportement socialement nuisible) sont représentées différemment au sein des mécanismes internes du modèle. Par conséquent, un objectif d'oubli unique peut s'avérer inefficace pour les deux. Les méthodes actuelles échouent souvent à supprimer robustement ces capacités ou dégradent involontairement l'utilité générale du modèle.

Méthodologie

L'article propose des stratégies d'oubli distinctes adaptées à la nature mécanistique spécifique de la propriété cible, évaluées sur quatre modèles open-source de 7 à 8 milliards de paramètres (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. Oubli des Connaissances Dangereuses

Basé sur des preuves mécanistiques indiquant que les connaissances factuelles sont stockées dans des emplacements relativement stables (sujet, objet et positions du dernier token) à travers les couches, les auteurs modifient le cadre de la Désorientation de Représentation pour l'Oubli (RMU) :

Perte basée sur le Cosinus : Ils remplacent la perte de distance L2 standard par une perte basée sur le cosinus. L'hypothèse est que la direction de la représentation est plus critique que la position euclidienne exacte. Cela optimise l'alignement entre la représentation mise à jour et la direction cible sans pénaliser les changements de magnitude inoffensifs.
Coefficient Méta-Appris ( $\alpha$ ) : Au lieu de fixer le coefficient de compromis entre les objectifs d'oubli et de rétention, les auteurs traitent $\alpha$ comme un paramètre apprenable. En utilisant REINFORCE, le modèle met à jour $\alpha$ de manière adaptative durant le fine-tuning pour équilibrer l'oubli et la rétention, éliminant ainsi le besoin d'un réglage manuel extensif.

2. Oubli de la Toxicité

Des études mécanistiques suggèrent que la toxicité est représentée différemment, souvent élicitée dans les couches MLP tardives et pas nécessairement éliminée par des méthodes d'alignement comme DPO. Une approche à couche unique ou à direction unique s'est révélée inefficace.

Objectif Multi-Couches : Les auteurs proposent une perte d'oubli ciblant les signaux liés à la toxicité à travers plusieurs couches.
Sondes Spécifiques aux Couches : Ils entraînent des sondes de régression logistique linéaire sur les représentations cachées du dernier token d'un modèle de référence figé à diverses couches pour identifier les directions spécifiques à la toxicité par couche ( $LR_i$ ).
Orthogonalisation : La perte d'oubli encourage les représentations du modèle mis à jour des entrées toxiques à devenir orthogonales à la direction de la toxicité à chaque couche ciblée. La perte élève au carré le produit scalaire pour assurer la non-négativité et des gradients symétriques, attribuant des gradients plus importants aux représentations fortement alignées avec la toxicité.
Sélection de Couches : Les expériences indiquent qu'un oubli efficace nécessite des mises à jour coordonnées à travers des profondeurs dispersées (couches précoces, intermédiaires et tardives), car les directions de toxicité tournent considérablement à travers la profondeur du réseau.

3. Métrique d'Évaluation : S-Oubli

Pour résumer le compromis entre la performance d'oubli ( $U$ ) et l'utilité retenue ( $R$ ), les auteurs introduisent le S-oubli :

Les scores d'utilité et d'oubli sont corrigés par le hasard.
Le score final est le produit $\bar{U} \cdot \bar{R}$ .
Cette métrique varie de 0 à 1, maximisée lorsque l'oubli est fort et l'utilité élevée, et tombant à zéro si l'utilité chute aux niveaux du hasard. Elle est géométriquement équivalente à l'aire du rectangle défini par le point $(\bar{U}, \bar{R})$ .

Résultats Clés

Les méthodes proposées ont été évaluées sur quatre modèles utilisant WMDP pour les connaissances dangereuses et RealToxicityPrompts pour la toxicité.

Connaissances Dangereuses : La variante RMU basée sur le cosinus et méta-apprise a obtenu de solides résultats, surpassant le RMU standard et le RMU adaptatif sur la plupart des modèles (Mistral, Qwen, Olmo) tout en préservant les capacités générales (MMLU). Elle a atteint le meilleur compromis S-oubli sur trois des quatre modèles.
Toxicité : L'objectif multi-couches a nettement surpassé les bases de référence. Alors que le RMU standard et le RMU adaptatif n'ont réduit la toxicité que de 2 à 3 %, la méthode proposée a atteint des réductions de 6 à 24 %.
- La méthode a produit les scores S-oubli les plus élevés pour la toxicité sur tous les modèles.
- Analyse des Couches : Les sondes ont révélé que les directions de toxicité sont largement spécifiques aux couches (similarité cosinus < 0,5 entre la plupart des paires inter-couches), validant la nécessité d'une intervention multi-couches.
- Ablation : La mise à jour de trois couches ou plus (spécifiquement un mélange de couches intermédiaires et tardives) a produit les meilleurs compromis sécurité-utilité. Les interventions à couche unique ont souvent échoué à réduire significativement la toxicité.

Importance et Revendications

L'article revendique que l'oubli doit être étudié comme une famille de problèmes plutôt que comme une intervention générique unique.

Conscience Mécanistique : Les résultats soutiennent le point de vue selon lequel différentes fonctions linguistiques (rappel factuel versus génération toxique) reposent sur des mécanismes internes distincts. Par conséquent, les objectifs d'oubli doivent être personnalisés en fonction de la fonction spécifique étant supprimée.
Géométrie de l'Oubli : Pour les connaissances factuelles, la préservation de la structure directionnelle via la perte cosinus est supérieure à la distance L2. Pour la toxicité, la nature distribuée et rotative de la représentation nécessite une orthogonalisation multi-couches guidée par des sondes.
Évaluation : La métrique S-oubli fournit un moyen unifié de capturer les compromis complexes inhérents à l'oubli, facilitant une meilleure comparaison entre les méthodes.

Les auteurs concluent que l'oubli efficace nécessite une compréhension plus profonde de ce qui est oublié, dépassant les approches universelles pour adopter des méthodes qui respectent les propriétés géométriques et structurelles spécifiques de la capacité cible au sein du LLM.