🤖 machine learning

Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

Cet article introduit un cadre de décomposition de récompense fondé sur des principes pour l'oubli par renforcement (Reinforcement Unlearning), qui remplace les récompenses binaires éparses par des fonctions graduées exponentielles et inspirées de PageRank, démontrant que ces conceptions accélèrent considérablement l'oubli de connaissances spécifiques tout en préservant l'utilité générale du modèle.

Auteurs originaux : Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un cerveau de robot géant et super intelligent en le nourrissant avec l'intégralité d'Internet. Il est incroyable pour écrire des histoires, résoudre des problèmes mathématiques et discuter de n'importe quel sujet. Mais il y a un hic : parfois, ce cerveau se souvient de choses qu'il ne devrait pas savoir, comme l'adresse privée d'une célébrité ou l'intrigue d'un livre protégé par le droit d'auteur qu'il n'était pas censé connaître. Dans le monde réel, des lois comme le RGPD donnent aux gens le « droit à l'oubli », ce qui signifie qu'ils peuvent exiger que leurs données soient effacées. L'ancienne méthode pour corriger cela consistait à supprimer les mauvaises données et à reconstruire tout le robot à partir de zéro, ce qui revient à démolir un gratte-ciel juste pour retirer une brique fissurée. C'est lent, coûteux et gaspille des ressources. Les scientifiques essaient maintenant d'apprendre au robot à « désapprendre » des faits spécifiques sans détruire ses autres compétences. Pour ce faire, ils utilisent une technique appelée l'Apprentissage par Renforcement, qui s'apparente à l'entraînement d'un chien : vous lui donnez une friandise (une récompense) lorsqu'il fait la bonne chose et rien du tout lorsqu'il se trompe. L'objectif est de faire oublier au robot l'information interdite tout en préservant ses capacités générales.

Le document que vous allez lire traite d'un problème spécifique de cette méthode d'« entraînement de chien ». Actuellement, les robots sont entraînés avec un système de récompense très rudimentaire : un signal simple « Oui/Non ». Si le robot mentionne accidentellement le nom interdit, il reçoit un zéro. S'il ne le mentionne pas, il reçoit un un. C'est comme un professeur qui dirait à un élève : « Tu as donné une mauvaise réponse », sans expliquer comment il s'est trompé ou à quel point il était proche de la bonne réponse. Cela rend l'apprentissage lent et frustrant car le robot n'a aucune idée s'il s'améliore ou s'il ne fait que deviner. Les auteurs de cette étude, Efstratios Zaradoukas et son équipe, se sont posé une question simple : « Et si nous donnions au robot un meilleur bulletin de notes ? » Au lieu d'une simple note de réussite ou d'échec, ils ont essayé de donner un rapport détaillé montrant exactement combien d'erreurs il a commises et quelle était l'importance de ces erreurs. Ils ont testé deux nouvelles façons de noter : une qui pénalise plus lourdement le robot plus il commet d'erreurs (comme un « briseur de série »), et une autre qui agit comme un « Concours de Popularité », où oublier la célébrité principale importe plus que d'oublier ses personnages secondaires mineurs.

Leurs expériences, menées sur un benchmark standard appelé RWKU, suggèrent que ces systèmes de notation plus intelligents fonctionnent bien mieux. L'équipe a constaté qu'en utilisant ces récompenses « graduées », le robot pouvait désapprendre l'information interdite jusqu'à trois fois plus vite qu'avec l'ancienne méthode de réussite ou d'échec. C'est comme si le robot était passé de l'aveugle tâtonnant dans le noir à l'utilisation d'une lampe torche qui montre exactement où se trouvent les obstacles. Crucialement, le robot n'a pas perdu sa capacité à faire d'autres choses ; il est simplement devenu meilleur pour oublier les choses spécifiques qui lui ont été demandées d'oublier. Les auteurs démontrent que la façon dont nous concevons ces récompenses est un ingrédient clé pour rendre le désapprentissage de la machine efficace et pratique, offrant une voie vers une IA plus propre et plus responsable sans avoir à tout recommencer à chaque fois.

L'histoire du robot « oublieux »

Le Problème : Le bâton rudimentaire
Imaginez que vous appreniez à un perroquet à ne plus dire un mot spécifique, comme « Banane ». Dans l'ancienne méthode (qu'ils appellent la « Récompense Binaire »), vous ne tapez que dans vos mains si le perroquet ne dit jamais le mot. S'il dit « Banane » une seule fois, vous restez silencieux. S'il le dit dix fois, vous restez silencieux. Le perroquet n'a aucune idée s'il se rapproche de l'objectif ou s'il est tout aussi mauvais qu'avant. C'est un signal « parcimonieux » — il y a très peu d'informations dont le perroquet peut tirer des enseignements. Le document soutient que c'est pourquoi le désapprentissage actuel de l'IA est lent ; l'IA devine dans l'obscurité.

La Solution : Le bulletin de notes gradué
Les auteurs proposent deux nouvelles façons de taper dans leurs mains (ou non) qui donnent un bien meilleur retour au perroquet.

La Récompense « Exponentielle » (Le compteur de série) :
Imaginez que le perroquet dise « Banane » trois fois dans une phrase. L'ancienne méthode lui donne un zéro. La nouvelle méthode « Exponentielle » dit : « D'accord, tu l'as dit trois fois, donc ton score est un peu bas, mais pas nul. » S'il le dit une fois, le score est élevé mais pas parfait. S'il le dit dix fois, le score chute brutalement. Cela donne à l'IA une courbe de feedback fluide. C'est comme un jeu vidéo où votre barre de vie descend progressivement à mesure que vous recevez des coups, plutôt que de disparaître instantanément dès que vous êtes touché une fois. Cela aide l'IA à comprendre à quel point elle doit s'améliorer.
La Récompense « PageRank » (La carte d'importance) :
C'est la partie la plus ingénieuse. Imaginez que le mot interdit ne soit pas seulement « Banane », mais une liste entière de choses liées à un auteur célèbre, comme « Stephen King ». La liste comprend « Stephen King », « Shining », « The Stand » et « Carrie ».

L'ancienne méthode traite tous ces mots de la même manière. Oublier « Stephen King » est aussi facile qu'oublier « The Stand ».
La nouvelle méthode « PageRank » observe les connexions. « Stephen King » est le personnage principal ; « The Shining » est son livre le plus célèbre. Si l'IA oublie « Stephen King », c'est une immense victoire. Si elle oublie « The Stand », c'est bien, mais pas aussi critique.
Le document utilise un graphe (une carte de connexions) pour déterminer quels mots sont les « chefs » et lesquels sont les « subordonnés ». Il donne une pénalité plus forte si l'IA oublie le « chef » mais mentionne encore les « subordonnés », et une pénalité plus faible si elle oublie les « subordonnés » mais se souvient du « chef ». C'est comme un professeur qui se soucie plus que vous reteniez l'idée principale d'une histoire plutôt que le nom d'un personnage secondaire.

Les Résultats : Plus rapides et plus intelligents
L'équipe a testé ces idées sur un modèle de langage de 3,8 milliards de paramètres (une IA très intelligente mais pas la plus grande) en utilisant un benchmark appelé RWKU. Voici ce qu'ils ont trouvé :

Vitesse : Les nouvelles méthodes ont permis à l'IA d'oublier l'information cible 3 fois plus vite que l'ancienne méthode binaire. Dans les graphiques du document, la méthode « PageRank » a atteint le même niveau d'oubli en 500 étapes que l'ancienne méthode mettait 1 500 étapes pour atteindre.
Qualité : L'IA n'a pas seulement oublié plus vite ; elle a oublié mieux. La méthode « PageRank » a été particulièrement efficace pour cibler les faits les plus importants en premier.
Effets secondaires : Une grande inquiétude dans le désapprentissage est que l'IA puisse tout oublier, même les bonnes choses (comme faire des maths ou écrire des poèmes). Le document montre que ces nouvelles méthodes de récompense ont maintenu les compétences générales de l'IA (comme le raisonnement et la fluidité) presque exactement identiques à celles d'origine. Les scores d'« utilité » n'ont pas chuté.

Ce qu'ils ont écarté
Le document a également testé certaines variations pour voir ce qui fonctionne le mieux.

Ils ont constaté que si la récompense « Exponentielle » est trop stricte (comme une récompense binaire), elle cesse de bien fonctionner.
Ils ont essayé différentes façons de répartir les scores « PageRank ». Ils ont découvert que répartir simplement les scores de manière uniforme (Linéaire) ne fonctionnait pas aussi bien que l'utilisation d'une méthode « Softmax », qui compresse doucement les scores afin que les éléments les plus importants reçoivent toujours le plus d'attention, tout en accordant un petit peu de pénalité aux autres.
Ils ont confirmé qu'il n'est pas nécessaire de connaître les données d'entraînement originales pour faire cela ; on peut vérifier les récompenses simplement en observant ce que l'IA dit.

L'essentiel à retenir
Le document suggère que le secret pour faire oublier des choses efficacement à une IA ne réside pas seulement dans les mathématiques de l'algorithme de désapprentissage, mais dans la conception de la récompense. En passant d'un simple système de « Réussite/Échec » à un système gradué et nuancé qui comprend l'importance de différents faits, nous pouvons apprendre à l'IA à désapprendre des souvenirs spécifiques beaucoup plus rapidement et plus efficacement. C'est un petit changement dans la façon dont nous « applaudissons » le robot, mais cela permet au robot d'apprendre à oublier en une fraction du temps.

Résumé Technique : Au-delà des Récompenses Binaires : Une Étude Comparative de la Conception de Récompenses pour le Désapprentissage par Renforcement

Énoncé du Problème

Le désapprentissage de données (Machine Unlearning - MU) vise à supprimer sélectivement des connaissances spécifiques (par exemple, des données personnelles, du matériel protégé par le droit d'auteur) de modèles de langage étendus (LLM) entraînés, sans le coût prohibitif d'un réentraînement complet. Cette capacité est de plus en plus imposée par des réglementations telles que le RGPD et la loi sur l'IA de l'UE.

Des approches récentes ont reformulé le désapprentissage comme un problème d'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR), utilisant spécifiquement l'Optimisation de Politique Relative de Groupe (GRPO). Dans ce cadre, les modèles sont optimisés par rapport à des récompenses calculées directement à partir de leurs sorties pour vérifier l'absence de concepts interdits. Cependant, les méthodes existantes, telles que PURGE, reposent sur des récompenses binaires éparses. Ces récompenses ne fournissent un signal de 1 que si une complétion ne contient aucun élément interdit, et 0 sinon. Cette parcité crée un signal d'apprentissage bruité, n'offrant au modèle aucune information de gradient concernant la proximité d'une réponse partielle de la réussite du désapprentissage. Cette limitation agit comme un goulot d'étranglement pour l'extension du Désapprentissage par Renforcement (RUL) à des tâches plus complexes, entraînant une convergence lente.

Méthodologie

Les auteurs proposent un cadre principiel pour découpler la vérifiabilité de la parcité. Ils soutiennent qu'une récompense peut être entièrement vérifiable (calculable sans accès aux données d'entraînement originales) tout en fournissant des signaux denses et informatifs.

1. Cadre de Décomposition de la Récompense

Le document introduit une structure de récompense générique définie par $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$ où :

Composante d'Information ( $I$ ) : Extrait des données de l'opérateur de correspondance interdite (comptage des occurrences d'éléments interdits) et d'informations auxiliaires (ex: graphes sémantiques).
Fonction de Transformation ( $\Gamma$ ) : Mappe l'information extraite vers une plage de récompense $[0, 1]$ .
Hypothèse : En faisant varier la composante d'information et la transformation, on peut créer des signaux d'apprentissage plus denses sans sacrifier la vérifiabilité.

2. Fonctions de Récompense Proposées

Les auteurs instaurent ce cadre avec deux nouvelles fonctions de récompense, positionnées plus haut dans une « Hiérarchie d'Information » que la récompense binaire standard :

Récompense Exponentielle :
- Mécanisme : Utilise le compte total d'occurrences de concepts interdits ( $m$ ) comme composante d'information.
- Formule : $\phi_{exp}(y) = \exp(-m/\tau)$ , où $\tau$ est une constante de décroissance.
- Effet : Fournit des pénalités graduées. Au lieu d'un binaire 0/1, la récompense diminue de manière fluide à mesure que le nombre de violations augmente, offrant un signal plus dense que la base binaire.
Récompense Inspirée de PageRank :
- Mécanisme : Exploite les relations sémantiques entre les concepts interdits. Il construit un graphe sémantique où les nœuds sont des éléments à oublier et les arêtes représentent la similitude sémantique (via la similitude cosinus des plongements/embeddings).
- Formule : Applique un algorithme de PageRank personnalisé biaisé vers l'entité cible principale pour calculer les poids d'importance ( $w_j$ ) pour chaque élément. La récompense pénalise les violations en fonction de ces poids.
- Effet : Assigne des pénalités plus élevées aux violations de concepts sémantiquement centraux (ex: l'entité cible elle-même) par rapport aux concepts périphériques. Cela crée un signal qui guide l'optimisation vers les violations les plus informatives en premier.

3. Analyse Théorique

Le document fournit une analyse théorique de la vitesse de convergence sous GRPO. Il postule que les récompenses plus denses maintiennent des estimations d'avantage plus stables (variance plus faible dans le terme d'avantage $\hat{A}$ ) par rapport aux récompenses binaires.

Récompenses Binaires : Souffrent d'un « effondrement de l'avantage » à mesure que la probabilité de succès approche 0 ou 1, entraînant des gradients évanescents.
Récompenses Plus Denses : Maintiennent une variance non nulle dans la distribution des récompenses tout au long de l'entraînement, permettant des tailles de pas effectives plus grandes et une convergence plus rapide.

Configuration Expérimentale

Benchmark : Real World Knowledge Unlearning (RWKU), qui évalue le désapprentissage sur 100 personnalités célèbres du monde réel.
Modèle : Phi-3-Mini-4K-Instruct (3,8 milliards de paramètres).
Baselines :
- Base : Le modèle original avant le désapprentissage.
- Binaire (PURGE) : La récompense binaire éparse standard.
Métriques :
- Oubli (Forget) : Rappel ROUGE-L sur Fill-in-the-Blank (FB), Question-Answering (QA) et Attaques Adverses (AA). Plus bas est préférable.
- Voisin (Neighbor) : Rétention des connaissances adjacentes à la cible. Plus élevé est préférable.
- MIA : Scores d'Attaque d'Inférence de Membre (confidentialité).
- Utilité : Capacités générales (MMLU, Raisonnement, Vérité, etc.). Plus élevé est préférable.

Résultats Clés

Les expériences ont été menées sur 1 500 étapes d'entraînement avec 20 cibles de désapprentissage.

Vitesse de Convergence : Les deux récompenses proposées surpassent significativement la base binaire en termes d'efficacité d'entraînement.
- La variante PageRank Softmax atteint le même niveau de performance d'oubli que la base binaire en environ 3× moins d'étapes d'entraînement.
- À l'étape 500, PageRank Softmax atteint une amélioration de 37,1 % par rapport à la base, un seuil que la base binaire n'atteint qu'à l'étape 1 500.
Performance de Désapprentissage :
- PageRank Softmax obtient les scores d'oubli les plus forts sur toutes les métriques (FB, QA, AA), surpassant systématiquement les bases Binaire et Décroissance Exponentielle.
- La Décroissance Exponentielle améliore également la base binaire mais est généralement moins efficace que PageRank.
Utilité et Préservation du Voisin :
- Crucialement, l'amélioration de l'efficacité ne se fait pas au détriment de l'utilité générale du modèle ou de la rétention des connaissances voisines. Les métriques d'utilité (GA, RA, TRU, FAC, FLU) restent stables à travers tous les designs de récompense, ne variant que de 0,014 par rapport au Modèle de Base.
- Les scores de Voisin montrent une dégradation uniforme à travers toutes les méthodes, indiquant que le compromis est piloté par l'objectif d'optimisation lui-même plutôt que par le design spécifique de la récompense.
Études d'Ablation :
- Décroissance Exponentielle : La constante de décroissance $\tau$ est critique. $\tau=0,5$ a été jugé optimal, équilibrant l'informativité du gradient et la pression d'optimisation. Trop petit ( $\tau=0,1$ ), cela revient à une parcité quasi-binaire ; trop grand ( $\tau \ge 1,0$ ), cela devient trop indulgent.
- Variantes PageRank : La variante Softmax (qui applique un softmax pondéré par température aux scores bruts de PageRank) surpasse la version PageRank standard et la version Linéaire. Le Softmax permet d'aplatir la distribution en loi de puissance des poids, répartissant la masse de pénalité de manière plus uniforme tout en préservant l'ordre sémantique, là où le redimensionnement Linéaire introduit des distorsions.

Signification et Revendications

Le papier affirme que le design de la récompense est un moteur clé de l'efficacité du désapprentissage au sein du cadre de Désapprentissage par Renforcement.

Contribution Théorique : Il formalise le compromis entre le biais inductif de la récompense et la vitesse d'optimisation, démontant que la vérifiabilité ne nécessite pas la parcité.
Impact Pratique : En introduisant les récompenses Exponentielle et PageRank, les auteurs fournissent une voie pratique vers un désapprentissage par renforcement scalable et efficace. Les résultats montrent que des récompenses soigneusement conçues peuvent accélérer le processus de désapprentissage jusqu'à 3× tout en maintenant une forte performance d'oubli et en préservant l'utilité générale du modèle.
Direction Future : Ce travail ouvre des directions vers des récompenses adaptatives qui restent vérifiables sans accès aux données d'entraînement originales, suggérant que la « hiérarchie d'information » des récompenses peut être davantage explorée.

Les auteurs concluent que passer au-delà des récompenses binaires n'est pas simplement un ajustement d'implémentation, mais une amélioration fondamentale de la structure du signal d'apprentissage, permettant au RUL de passer à des tâches de désapprentissage plus complexes.