💬 NLP

Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents

Cet article introduit l'Agentic Tool Unlearning (ATU), un cadre à deux étapes qui combine la suppression des connaissances paramétriques et l'apprentissage par renforcement au niveau des trajectoires afin d'empêcher les agents de grands modèles de langage de récupérer des informations oubliées via des outils externes tout en préservant leur utilité pour les connaissances conservées.

Auteurs originaux : Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les grands modèles de langage sont les moteurs de nombreux assistants numériques modernes, capables de générer du texte, de répondre à des questions et de tenir des conversations. Depuis des années, les chercheurs se concentrent sur l'apprentissage de l'« oubli » d'informations spécifiques, telles que des données privées ou des récits protégés par le droit d'auteur, en ajustant les paramètres internes qui stockent la connaissance. Ce processus, appelé désapprentissage automatique (machine unlearning), vise à supprimer l'influence de certains faits afin que le modèle ne puisse plus s'en souvenir. Cependant, une nouvelle complication est apparue à mesure que ces modèles évoluent de simples générateurs de texte vers des agents actifs. Ces agents ne reposent pas uniquement sur leur mémoire interne ; ils peuvent s'étendre vers le monde extérieur, utilisant des outils tels que des moteurs de recherche Web ou des bases de données pour trouver des réponses en temps réel. Ce changement crée une faille : même si un modèle a réussi à oublier un fait en interne, il peut toujours récupérer ce même fait sur Internet et le présenter comme sa propre réponse, contournant ainsi efficacement le processus d'oubli.

Une équipe de chercheurs a identifié ce mode de défaillance spécifique, qu'ils appellent « récupération médiée par les outils » (tool-mediated recovery), et a développé une nouvelle méthode pour combler cette lacune. Dans leur étude, ils ont démontré que les techniques standards de désapprentissage de la connaissance sont insuffisantes lorsque le modèle est déployé en tant qu'agent ayant accès à des outils externes. Ils ont constaté que, bien qu'un modèle puisse sembler avoir oublié une information lorsqu'il est testé de manière isolée, il pourrait facilement récupérer cette information une fois autorisé à effectuer des recherches sur le Web ou à consulter des données dans une base de données. Pour résoudre ce problème, les chercheurs ont proposé un cadre d'entraînement en deux étapes. La première étape effectue le travail traditionnel de suppression de la mémoire interne de l'information indésirable. La seconde étape est plus complexe ; elle entraîne le modèle dans un environnement simulé où il agit comme un agent, apprenant à reconnaître quand une recherche ou un appel d'outil mènerait à l'information interdite et choisissant plutôt de s'arrêter ou de fournir une réponse sûre et non révélatrice.

Les chercheurs ont testé cette approche sur des scénarios réels impliquant des personnalités célèbres et des livres protégés par le droit d'auteur. Dans une série d'expériences, ils ont mesuré la fréquence à laquelle un modèle ayant subi le désapprentissage révélait accidentellement une information oubliée. Lorsqu'il était utilisé comme un générateur de texte standard sans outils, le modèle évitait avec succès l'information. Cependant, une fois le même modèle doté d'outils de recherche, sa capacité à cacher l'information s'effondrait, et il commençait à révéler les faits oubliés à un taux beaucoup plus élevé. Par exemple, lors d'un test impliquant des personnalités publiques, le taux de divulgation accidentelle passait d'un niveau bas en isolation à un niveau élevé lorsque les outils étaient activés. Cela a confirmé que les outils eux-mêmes agissaient comme un canal de récupération, permettant au modèle de reconstruire la connaissance qu'il était censé avoir supprimée.

Pour remédier à cela, les chercheurs ont appliqué leur méthode en deux étapes. Après le désapprentissage interne initial, ils ont soumis le modèle à la deuxième étape d'entraînement, où il pratiquait l'interaction avec des outils dans un cadre contrôlé. Durant cette phase, le modèle était récompensé pour avoir évité l'information interdite même lorsque les outils la fournissaient, et pénalisé pour tenter d'utiliser les outils afin de trouver ces données spécifiques. Les résultats ont montré que cet entraînement supplémentaire réduisait considérablement la capacité du modèle à récupérer l'information oubliée via les outils. Dans les tests sur les personnalités publiques, la méthode a réduit le taux de divulgation accidentelle par une marge substantielle par rapport aux modèles n'ayant subi que la première étape de désapprentissage. De même, dans les tests impliquant des contenus de livres protégés par le droit d'auteur, la méthode a empêché le modèle d'utiliser des bases de données locales pour récupérer le texte caché.

Crucialement, les chercheurs se sont assurés que cette nouvelle méthode ne brisait pas la capacité du modèle à fonctionner normalement. Ils ont vérifié que le modèle pouvait toujours utiliser les outils efficacement pour des tâches ne concernant pas l'information interdite, comme la recherche de faits généraux ou l'exécution de calculs. L'entraînement n'a pas forcé le modèle à refuser tout usage d'outils ou à devenir inutile ; il lui a simplement appris à tracer une ligne, sachant quand arrêter la recherche pour protéger des données spécifiques et sensibles. L'étude suggère que pour que le désapprentissage soit réellement efficace à l'ère moderne des agents intelligents, il doit tenir compte de la manière dont ces agents interagissent avec le monde, et non seulement de la manière dont ils stockent les données en interne. En entraîant le modèle à résister à la tentation d'utiliser des outils pour récupérer des connaissances supprimées, les chercheurs ont créé une manière plus robuste de garantir que l'information oubliée reste oubliée, même dans un environnement numérique connecté.

Résumé technique : Désapprentissage d'outils agentique pour les agents LLM

Définition du problème : Récupération médiée par les outils

L'article identifie un mode de défaillance critique dans le déploiement des méthodes de désapprentissage (unlearning) pour les grands modèles de langage (LLM). Le désapprentissage de machine traditionnel vise à supprimer une information spécifique (la « cible à oublier ») des paramètres du modèle tout en préservant son utilité sur d'autres tâches. Cependant, les protocoles d'évaluation actuels testent principalement le désapprentissage dans un contexte d'inférence autonome, où le modèle répond directement sans aide externe.

Les auteurs soutiennent que cette évaluation est incomplète pour les agents augmentés par des outils modernes. Dans les déploiements réels, les agents peuvent appeler des outils externes (par exemple, recherche web, consultation de bases de données, récupération de documents) pour répondre à des requêtes. L'article définit la récupération médiée par les outils comme le phénomène par lequel un agent, bien qu'ayant réussi à « oublier » une cible dans ses poids paramétriques, récupère l'information oubliée en la extrayant via des outils externes et en l'incorporant dans sa réponse finale.

Cela crée un décalage au niveau du déploiement : un modèle peut paraître désappris lors d'une évaluation autonome (scores faibles sur l'ensemble à oublier), mais peut réapprendre efficacement la cible lorsqu'il est enveloppé dans un cadre d'agent. Désactiver simplement les outils n'est pas une solution viable, car cela sacrifie l'utilité large et la facticité que l'augmentation par les outils apporte.

Méthodologie : Désapprentissage d'outils agentique (ATU)

Pour remédier à cela, les auteurs proposent l'Agentic Tool Unlearning (ATU), un cadre à deux étapes conçu pour supprimer à la fois le rappel paramétrique direct et la récupération médiée par les outils, tout en préservant l'utilisation normale des outils pour les connaissances conservées.

Étape 1 : Désapprentissage des connaissances paramétriques

La première étape applique des techniques de désapprentissage paramétrique standard au LLM de base ( $\pi_{\theta_0}$ ) en utilisant un ensemble à oublier $F(c)$ et un ensemble à conserver $R$ . L'objectif est de supprimer le rappel direct de la cible à oublier. Les auteurs utilisent des méthodes existantes telles que l'Ascension du Gradient (GA), le Rejection Tuning (RT), l'Optimisation de Préférence Directe (DPO) et l'Optimisation de Préférence Négative (NPO) pour produire un modèle intermédiaire désappris ( $\pi_{\theta_1}$ ). Cette étape garantit que le modèle ne génère pas la réponse cible à partir de ses poids internes seuls.

Étape 2 : Désapprentissage d'outils agentique (RL au niveau de la trajectoire)

La seconde étape traite le canal de récupération. Le modèle $\pi_{\theta_1}$ est entraîné davantage dans un environnement simulé augmenté par des outils ( $E_{train}$ ) en utilisant l'Optimisation de Politique Relative de Groupe (GRPO).

Environnement : L'agent interagit avec un ensemble d'outils (par exemple, recherche web, bases de données locales) pertinents pour les cibles à oublier.
Récompense au niveau de la trajectoire : Contrairement au désapprentissage standard qui se concentre sur la sortie finale, l'ATU attribue des récompenses à l'ensemble de la trajectoire d'interaction $\tau = (x, a_1, o_1, \dots, a_K, o_K, y)$ $τ = (x, a_{1}, o_{1}, \dots, a_{K}, o_{K}, y)$ .
- Requêtes de la cible (Forget Queries) : Un LLM figé servant de juge évalue la trajectoire. Des pénalités élevées sont attribuées si l'agent appelle des outils pour chercher la cible ou si la réponse finale divulgue la cible. Des récompenses sont données pour les refus sécurisés ou les réponses non informatives qui ne révèlent pas la cible, même si des outils ont été appelés.
- Requêtes de conservation (Retain Queries) : Les récompenses encouragent les réponses correctes et utiles ainsi qu'une utilisation appropriée des outils pour s'assurer que le modèle ne dégénère pas en une politique qui refuse toutes les requêtes ou désactive globalement les outils.
Objectif : La politique est mise à jour pour minimiser le comportement de recherche de cible via les outils et la fuite de la réponse finale, tout en maintenant une pénalité de divergence KL pour rester proche du modèle de l'Étape 1, préservant ainsi l'utilité générale.

Contributions clés

Identification de la récupération médiée par les outils : Les auteurs identifient et caractérisent formellement un nouveau décalage au niveau du déploiement où les agents augmentés par des outils contournent le désapprentissage paramétrique en reconstruisant les connaissances oubliées via des observations d'outils externes.
Cadre ATU : Ils proposent un nouveau cadre à deux étapes qui combine le désapprentissage paramétrique et l'apprentissage par renforcement au niveau de la trajectoire. Cette approche cible spécifiquement le comportement de l'agent dans les environnements augmentés par des outils, en pénalisant les appels d'outils de recherche de cible et la fuite de réponses.
Validation empirique : Des expériences approfondies sur différentes architectures de LLM (Qwen-3-4B, Qwen-2.5-7B, Qwen-3-8B) et des benchmarks (RWKU, MUSE) démontrent que l'ATU réduit considérablement la récupération médiée par les outils tout en maintenant l'utilité conservée et les capacités générales d'utilisation d'outils.

Résultats expérimentaux

L'article évalue l'ATU sur les benchmarks RWKU (Real-World Knowledge Unlearning) et MUSE (Machine Unlearning Six-way Evaluation).

Écart de récupération (Recovery Gap) : Les expériences confirment l'existence de l'écart de récupération. Par exemple, sur RWKU avec Qwen-3-4B, un modèle désappris via NPO (Étape 1) a réduit son score sur l'ensemble à oublier de 57,7 à 44,6 en mode autonome. Cependant, lorsqu'il est déployé en tant qu'agent, le score remonte à 68,6, rejoignant presque les performances du modèle de base.
Efficacité de l'ATU : L'application de l'Étape 2 (ATU) a considérablement atténué cette récupération. La configuration NPO + Étape 2 a réduit le score de l'ensemble à oublier lors du déploiement de l'agent à 47,5, soit une réduction de 21,1 points par rapport à l'agent de l'Étape 1. Des améliorations similaires ont été observées pour d'autres méthodes de désapprentissage (GA, DPO, RT) et différentes tailles de modèles.
Préservation de l'utilité : Le cadre a préservé avec succès l'utilité. Les modèles de l'Étape 2 ont maintenu des scores élevés sur la connaissance voisine (localité), la facticité, la fluidité et le raisonnement général (MMLU, BBH). Crucialement, les modèles ont conservé la capacité d'utiliser des outils pour des tâches indépendantes de la cible (par exemple, calcul de hash, requêtes de base de données sans rapport avec la cible à oublier), démontant que l'ATU ne supprime pas globalement l'usage des outils.
Généralisation : La méthode s'est généralisée à travers différents modèles de base et ensembles d'outils. Même lorsque les outils de récupération ont été remplacés par des API alternatives (par exemple, remplacer ddg-search par Tavily), l'ATU a continué de réduire la récupération médiée par les outils, indiquant qu'il apprend un comportement général d'évitement de la recherche de cible plutôt qu'un surapprentissage de noms d'outils spécifiques.

Signification et affirmations

L'article affirme que le désapprentissage des connaissances paramétriques seul est insuffisant pour un déploiement sécurisé dans les contextes d'agents augmentés par des outils. L'évaluation standard du désapprentissage sur des sorties autonomes surestime la robustesse car elle ignore le canal de récupération fourni par les outils externes.

La signification de l'ATU réside dans sa capacité à aligner le désapprentissage avec la réalité du déploiement des agents. En entraînant le modèle à reconnaître et à éviter les trajectoires de recherche de cible (incluant les appels d'outils et les observations), l'ATU fournit une défense plus robuste contre la fuite d'informations. Les auteurs positionnent ce travail comme une étape nécessaire vers des agents LLM plus sûrs, garantissant que les exigences de désapprentissage (telles que la confidentialité ou la conformité au droit d'auteur) tiennent même lorsque le modèle est intégré dans des flux de travail complexes et dotés d'outils.

L'article reste modeste quant aux limites, reconnaissant que l'ATU ne parvient pas toujours à combler totalement l'écart avec les niveaux de performance en mode autonome et que la politique apprise peut encore laisser fuiter des informations si les observations des outils sont explicites ou si l'environnement de déploiement diffère significativement de la simulation d'entraînement. Ils suggèrent que les travaux futurs pourraient impliquer des moniteurs d'exécution ou un contrôle d'accès côté outil pour renforcer davantage ces défenses.