💬 NLP

LLM Ghostbusters: Surgical Hallucination Suppression via Adaptive Unlearning

Ce papier présente l'oubli adaptatif (AU), un cadre post-déploiement qui supprime chirurgicalement les hallucinations des LLM, en particulier dans la génération de code où elles permettent des attaques de « slopsquatting », en utilisant un objectif hybride au niveau des tokens et une boucle de découverte adaptative pour réduire les taux d'hallucination de 81 % sans nécessiter d'annotation humaine ni de réentraînement complet du modèle.

Auteurs originaux : Joseph Spracklen, Pedram Aghazadeh, Farinaz Koushanfar, Murtuza Jadliwala

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joseph Spracklen, Pedram Aghazadeh, Farinaz Koushanfar, Murtuza Jadliwala

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant brillant et hyper-créatif qui écrit du code informatique pour vous. Cet assistant est incroyablement rapide et parle un « informatique » parfait, mais il a une habitude dangereuse : il invente parfois des choses.

Plus précisément, lorsqu'on lui demande d'écrire un programme, il pourrait inventer un outil logiciel qui n'existe pas. Il dira : « Vous devez installer la bibliothèque super-fast-plotter », et vous donnera la commande pour le faire.

Voici le problème : parce que l'assistant semble si confiant, un développeur pourrait réellement essayer de l'installer. Si un pirate informatique voit que l'assistant a inventé ce nom, il peut rapidement enregistrer un faux paquet appelé super-fast-plotter sur Internet, le remplir d'un virus et attendre. Lorsque le développeur (ou un robot automatisé) tente d'installer l'« outil » recommandé par l'assistant, il télécharge accidentellement le virus à la place. C'est ce qu'on appelle une attaque de type "SlopSquatting".

L'article présente une nouvelle méthode appelée Désapprentissage Adaptatif (Adaptive Unlearning - AU) pour résoudre ce problème. Imaginez-la comme un « effaceur chirurgical » qui élimine les mauvaises habitudes de l'assistant sans le faire oublier comment coder.

Le problème des anciennes solutions

Habituellement, si une IA commet des erreurs, vous avez deux mauvaises options :

Réentraîner tout le système : C'est comme envoyer l'assistant à l'école pendant un an pour tout réapprendre. C'est coûteux, lent, et vous risquez de perdre ses autres compétences dans le processus.
Dire simplement « Ne fais pas ça » : Si vous dites juste « Arrête d'inventer des noms de bibliothèques », l'IA est souvent perdue. Elle pourrait arrêter d'inventer des noms, mais elle arrête aussi d'écrire du code correctement, ou elle commence à inventer d'autres choses fausses.

La solution : Désapprentissage Adaptatif (L'approche « Ghostbuster »)

Les auteurs ont créé un système qui agit comme un Ghostbuster pour l'imagination de l'IA. Au lieu d'essayer de supprimer toute la mémoire de l'IA, ils retirent chirurgicalement uniquement les « fantômes » (les faux paquets) tout en maintenant la « réalité » (le vrai code) intacte.

Voici comment cela fonctionne, en utilisant une boucle simple en trois étapes :

1. La boucle du détective (Découverte adaptative)

Le système ne devine pas simplement ce que l'IA pourrait faire de travers. Il agit comme un détective qui demande constamment à l'IA : « Écris-moi du code pour X, Y et Z ».

Si l'IA invente un faux paquet, le système le repère.
Si l'IA arrête d'inventer ce faux paquet spécifique, le système modifie légèrement la question (une « mutation ») pour piéger l'IA et la pousser à inventer un nouveau faux paquet.
L'analogie : Imaginez un professeur qui change constamment les problèmes de mathématiques. Si l'élève mémorise la réponse à « 2+2 », le professeur demande « 3+3 ». L'objectif est d'enseigner à l'élève la règle des mathématiques, et non pas seulement la réponse à une question spécifique.

2. Le masque chirurgical (Tri-Masking)

C'est l'astuce la plus ingénieuse de l'article. Lorsque l'IA écrit une phrase comme « Importer real-lib et fake-lib », le système place un masque spécial sur les mots :

Masque Vert (Renforcer) : Sur real-lib, il dit : « Bien joué ! Souviens-toi que c'est réel. »
Masque Rouge (Supprimer) : Sur fake-lib, il dit : « Stop ! C'est un mensonge. Oublie ce nom. »
Masque Gris (Ignorer) : Sur le reste de la phrase (la structure du code, la ponctuation), il dit : « Ne touche pas à ça. Continue d'écrire du code normalement. »

L'analogie : Imaginez un peintre qui a accidentellement mis une tache rouge sur un mur blanc. Au lieu de repeindre tout le mur (ce qui gâcherait le tableau), le système utilise un pochoir pour frotter uniquement la tache rouge tout en protégeant le reste du tableau.

3. La boucle de « pratique » (Entraînement imbriqué)

Le système ne se contente pas de corriger l'erreur une fois avant de passer à autre chose. Il réalise que si l'on change l'esprit de l'IA trop vite, celle-ci se perd et oublie comment peindre le mur en entier.

Ainsi, il prend les « mauvais » exemples qu'il a trouvés et fait en sorte que l'IA s'exerce à les corriger encore et encore avant de partir à la recherche de nouvelles erreurs.
L'analogie : C'est comme un entraîneur qui fait pratiquer à un athlète un mauvais mouvement spécifique 10 fois de suite pour créer une mémoire musculaire, plutôt que de simplement dire « ne fais pas ça » une fois et de lui lancer immédiatement un nouveau ballon.

Les résultats

L'article a testé cette méthode sur deux modèles d'IA de codage différents. Voici ce qui s'est passé :

Faux paquets : Le nombre de noms de paquets faux et dangereux inventés par l'IA a chuté de 81 % à 88 %.
Vrai code : La capacité de l'IA à écrire du code réel et fonctionnel est restée exactement la même (voire légèrement améliorée).
Sécurité : Les changements étaient si précis que le « cerveau » de l'IA n'a changé que dans la zone spécifique des « noms de paquets ». Ses connaissances générales sur la façon de coder sont restées intactes.

Pourquoi cela compte

Il s'agit d'une correction « post-déploiement ». Cela signifie que les entreprises n'ont pas besoin d'arrêter leur IA, de la réentraîner pendant des mois et de risquer de la casser. Elles peuvent simplement exécuter ce processus « Ghostbuster » sur l'IA qu'elles possèdent déjà, en retirant chirurgicalement le risque de sécurité spécifique de l'invention de fausses bibliothèques logicielles, tout en maintenant l'IA utile et intelligente.

En bref : L'article nous apprend comment retirer chirurgicalement la tendance d'une IA à mentir sur des choses spécifiques (faux paquets logiciels) sans lui faire oublier comment accomplir sa tâche réelle (écrire du code).

Résumé technique : LLM Ghostbusters : Suppression chirurgicale des hallucinations par désapprentissage adaptatif

1. Énoncé du problème

Les grands modèles de langage (LLM) déployés pour la génération de code produisent fréquemment des hallucinations : des sorties linguistiquement fluides mais factuellement incorrectes. Dans le contexte du développement logiciel, cela se manifeste par des hallucinations de paquets, où un modèle invente des noms de bibliothèques logicielles inexistantes (par exemple, un faux paquet Python).

Ce mode de défaillance crée une vulnérabilité critique de la chaîne d'approvisionnement connue sous le nom de slopsquatting. Un adversaire peut enregistrer proactivement ces noms de paquets hallucinés sur des registres publics (comme PyPI) avec des charges malveillantes. Lorsque des développeurs ou des agents autonomes installent ensuite ces paquets sur la base des recommandations du LLM, le code malveillant est exécuté.

Les stratégies d'atténuation existantes sont insuffisantes pour un affinage post-déploiement :

Le re-entraînement complet est prohibitif en termes de calcul.
La génération augmentée par la récupération (RAG) et la vérification au moment de l'inférence ajoutent de la latence et de la complexité sans modifier les représentations apprises sous-jacentes du modèle.
Le désapprentissage machine standard (par exemple, l'ascension du gradient, NPO) nécessite généralement un « ensemble d'oubli » pré-spécifié et fini. Cependant, l'espace des invites induisant des hallucinations est illimité, et les hallucinations spécifiques qu'un modèle produira sont inconnues jusqu'à ce qu'elles soient provoquées.
L'effondrement partiel du modèle (PMC) offre un mécanisme pour la suppression ciblée de contenu, mais suppose un ensemble de données fixe et connu à oublier, ce qui ne s'applique pas à la nature dynamique et illimitée des hallucinations.

2. Méthodologie : Désapprentissage adaptatif (AU)

Les auteurs proposent le Désapprentissage adaptatif (AU), un cadre en boucle fermée, post-déploiement, conçu pour supprimer chirurgicalement les hallucinations tout en préservant l'utilité générale du modèle. L'AU fonctionne entièrement sur des données synthétiques générées par le modèle lui-même, ne nécessitant aucune annotation humaine.

Composants principaux

Boucle de mutation adaptative des invites :
- Au lieu de s'appuyer sur un ensemble d'oubli statique, l'AU découvre continuellement de nouveaux contextes induisant des hallucinations.
- Le système génère des échantillons à partir du modèle actuel. Si une invite ne parvient pas à induire une hallucination ou a été entraînée pendant un nombre défini d'époques, elle est considérée comme « épuisée ».
- L'invite est ensuite mutée (variée sémantiquement) pour provoquer de nouveaux schémas d'hallucination, assurant ainsi que le modèle apprend à supprimer des schémas plutôt qu'à mémoriser des paires invite-sortie spécifiques.
Routage de jetons à triple masque :
- Un mécanisme novateur de routage de gradient à trois valeurs partitionne le flux de jetons en trois populations disjointes pour chaque échantillon d'entraînement :
  - Masque = 0 (Régulariser) : Jetons contextuels (invites, structure du code, ponctuation). Ceux-ci reçoivent une perte d'entropie croisée (CE) mise à l'échelle pour ancrer la distribution du modèle et prévenir des sorties incohérentes.
  - Masque = 1 (Renforcer) : Jetons valides (par exemple, noms de paquets corrects confirmés par un oracle de registre). Ceux-ci reçoivent une perte CE standard pour renforcer les générations correctes.
  - Masque = 2 (Supprimer) : Jetons hallucinés (par exemple, noms de paquets inexistants). Ceux-ci reçoivent une perte d'optimisation de préférence négative (NPO) pour repousser la masse de probabilité loin de ces jetons.
- Ce triple masquage garantit que les gradients de renforcement et de suppression agissent sur des ensembles de jetons disjoints, empêchant l'effondrement catastrophique souvent observé lors de l'application d'objectifs opposés aux mêmes jetons.
Fonction objectif hybride :
- La perte totale combine les trois termes :
  $L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$
- Cela permet au modèle d'apprendre simultanément ce qu'il ne faut pas générer (hallucinations) et ce qu'il faut générer (alternatives valides) au sein de la même séquence.
Boucles d'entraînement imbriquées :
- Pour stabiliser le processus de désapprentissage, l'AU emploie une structure d'entraînement à deux échelles de temps :
  - Époques externes : Régénérer des échantillons et détecter les hallucinations pour mettre à jour les triple masques.
  - Époques internes : Entraîner sur les échantillons mis en cache de l'époque externe pendant plusieurs étapes avant de rééchantillonner. Cela permet au modèle de consolider le signal de suppression plutôt que de constamment « courir après » des échantillons changeants.

3. Contributions clés

Cadre de désapprentissage adaptatif : La première méthode de désapprentissage couplant une boucle adaptative de découverte d'hallucinations avec un objectif hybride au niveau des jetons, permettant une généralisation à des invites non vues sans ensemble d'oubli pré-spécifié.
Routage de jetons à triple masque : Un mécanisme permettant des modifications chirurgicales au sein d'une seule séquence en partitionnant les jetons en catégories valides, hallucinées et contextuelles, permettant aux objectifs CE et NPO de fonctionner sans conflit.
Mutation adaptative des invites : Une stratégie qui étend le désapprentissage des ensembles finis aux espaces d'invites illimités, assurant que le modèle supprime les schémas d'hallucination plutôt que de surajuster à des invites spécifiques.
Entraînement imbriqué pour la stabilité : Un schéma de rafraîchissement de cache qui adresse l'instabilité des méthodes de désapprentissage basées sur l'effondrement précédentes, crucial pour une réduction stable des hallucinations.
Évaluation conjointe systématique : Une comparaison empirique évaluant simultanément le taux d'hallucination, la dérive distributionnelle et l'utilité du codage, démontrant qu'une atténuation efficace nécessite d'équilibrer ces trois axes.

4. Résultats expérimentaux

Les auteurs ont évalué l'AU sur les modèles DeepSeek-Coder (7B et 16B paramètres) en utilisant un ensemble de données d'invites de génération de code conçu pour provoquer des hallucinations de paquets.

Réduction des hallucinations :
- Sur le modèle DeepSeek-7B, l'AU a réduit le taux total d'hallucination de paquets de 21,2 % (Base) à 2,56 %, soit une réduction de 88 %.
- Sur le modèle DeepSeek-16B, le taux est passé de 27,75 % à 6,13 %, soit une réduction de 78 %.
- Cela surpasse significativement les bases de référence : Ascension du gradient (GA), Optimisation de préférence négative (NPO) et Effondrement partiel du modèle (PMC).
Préservation de l'utilité :
- L'AU a maintenu ou légèrement amélioré les performances sur les benchmarks de codage standard (HumanEval, MBPP et leurs variantes EvalPlus).
- Pour DeepSeek-7B, le score moyen du benchmark de codage s'est amélioré à 68,57 (contre 66,98 pour le modèle de base).
- Pour DeepSeek-16B, le score est resté stable à 73,17 (contre 77,4 pour la base, notant une légère baisse attribuée à la dynamique d'entraînement MoE mais restant supérieure aux autres bases de désapprentissage).
Dérive distributionnelle (Divergence KL) :
- L'analyse a montré que les changements de comportement induits par l'AU étaient fortement concentrés dans la distribution de génération de paquets (divergence KL ~1,4 nats pour les requêtes de paquets) tout en restant minime pour la génération de code générale (divergence KL ~0,08 nats) et le suivi d'instructions.
- Cela confirme le caractère « chirurgical » du désapprentissage, évitant des dommages collatéraux larges aux capacités du modèle.
Études d'ablation :
- Composition de la perte : Ni CE uniquement (renforcement) ni NPO uniquement (suppression) n'étaient suffisants ; les deux ont entraîné des taux d'hallucination >12 %. L'approche hybride était essentielle.
- Époques internes : L'entraînement sans époques internes (rééchantillonnage en une seule étape) n'a pas permis de réduire efficacement les hallucinations. Un minimum d'environ 10 époques internes était requis pour une consolidation stable.
- Mutation des invites : La mutation adaptative était cruciale pour la généralisation. Sans mutation, les taux d'hallucination restaient élevés (~10,7 %) ; avec 6 mutations, les taux chutaient à ~3,9 %.

5. Signification et revendications

L'article revendique que le Désapprentissage adaptatif fournit une voie fondée sur des principes et pratique pour les éditeurs afin de traiter les hallucinations dans les LLM déployés entre les cycles de publication.

Impact sur la sécurité : En réduisant les taux d'hallucination de paquets de plus de 80 %, l'AU réduit directement la surface d'attaque pour les attaques de slopsquatting, une vulnérabilité critique de la chaîne d'approvisionnement.
Faisabilité opérationnelle : Contrairement au re-entraînement complet, l'AU fonctionne sur des données synthétiques auto-générées, ne nécessite aucune annotation humaine et ne dépend pas de bases de connaissances externes ni de la surcharge de vérification au moment de l'inférence.
Généralisabilité : Bien que les expériences se concentrent sur les hallucinations de paquets Python, les auteurs soutiennent que le cadre est agnostique à l'écosystème et applicable à tout domaine disposant d'un oracle déterministe (par exemple, points de terminaison API, citations, affirmations historiques).
Limites : Les auteurs notent modestement que l'oracle actuel vérifie la validité au niveau de la chaîne de caractères (existence du registre) plutôt que la correction sémantique dans le code. Ils reconnaissent également que le fine-tuning à paramètres complets à plus grande échelle (au-delà de 16B) nécessite des ressources au-delà de leur étude actuelle, et que la généralisation aux LLM à usage général (non code) reste une extension ouverte.

En résumé, l'article présente l'AU comme une méthode qui navigue avec succès dans le compromis entre la suppression de comportements indésirables spécifiques et la préservation de l'utilité générale du modèle, comblant une lacune où les méthodes de désapprentissage précédentes échouaient en raison de la nature illimitée des hallucinations.