💬 NLP

Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

Cet article introduit le Divergence Decoding, une méthode de désapprentissage lors de l'inférence qui exploite de petits modèles auxiliaires pour détourner les logits des grands modèles de langage des données sensibles, atténuant efficacement les risques de confidentialité et de droit d'auteur avec une perte d'utilité minimale tout en offrant une solution généralisable applicable aux domaines du texte et de l'image.

Auteurs originaux : Humzah Merchant, Bradford Levy

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Humzah Merchant, Bradford Levy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Cerveau « Inoubliable »

Imaginez que vous avez un bibliothécaire super intelligent (un Grand Modèle de Langage) qui a lu tous les livres du monde. Parfois, ce bibliothécaire mémorise des détails spécifiques et sensibles — comme l'entrée d'un journal intime privé ou une histoire protégée par le droit d'auteur — qu'il ne devrait pas partager.

Habituellement, si vous voulez que le bibliothécaire « désapprenne » ce secret spécifique, vous avez deux mauvaises options :

Tout recommencer : Brûler la bibliothèque et la reconstruire de zéro sans ce livre précis. Cela coûte des millions de dollars et des années de travail.
La chirurgie cérébrale : Essayer de retirer chirurgicalement la mémoire du cerveau du bibliothécaire. C'est risqué ; souvent, vous endommagez accidentellement sa capacité à faire d'autres choses, comme écrire de la poésie ou résoudre des problèmes mathématiques (c'est ce qu'on appelle l'« oubli catastrophique »).

La Solution : Le Système du « Chien de Guide »

Les auteurs de ce papier proposent une nouvelle astuce ingénieuse appelée Divergence Decoding (DD). Au lieu d'essayer de changer le cerveau du bibliothécaire, ils le laissent exactement tel quel et ajoutent deux petits « chiens de guide » spécialisés pour l'aider à diriger ses conversations.

Voici comment le système fonctionne :

Le Bibliothécaire (Le Grand Modèle) : C'est l'IA principale que nous utilisons. Il sait tout, y compris les secrets que nous voulons lui faire oublier.
Le Chien de Guide A (Le Modèle « Oubli ») : C'est une IA minuscule et peu coûteuse, entraînée uniquement sur l'information secrète que nous voulons supprimer. Elle est obsédée par cette donnée spécifique.
Le Chien de Guide B (Le Modèle « Mémoire ») : C'est une autre petite IA entraînée uniquement sur les informations publiques et sûres. Elle sait tout, sauf le secret.

Comment ça marche : Le « Volant »

Lorsque vous posez une question au Bibliothécaire, le système ne se contente pas de laisser le Bibliothécaire répondre. Il demande aux deux Chiens de Guide ce qu'ils pensent que la réponse devrait être.

La Logique : Le système regarde la différence entre ce que le Chien de Guide A (celui qui est obsédé par le secret) veut dire et ce que le Chien de Guide B (celui qui est en sécurité) veut dire.
Le Pilotage : Si le Chien de Guide A hurle : « Dis le secret ! » et que le Chien de Guide B dit : « Non, ne dis pas ça ! », le système utilise cette différence pour pousser la réponse du Bibliothécaire loin du secret et vers la version sûre.

Voyez cela comme conduire une voiture. Le Bibliothécaire est la voiture. Les Chiens de Guide sont deux personnes sur le siège passager. L'un pointe un précipice (le secret), et l'autre pointe la route (la réponse sûre). Le conducteur (le système) se contente de diriger la voiture vers la route, ignorant le précipice, sans jamais avoir besoin de reconstruire le moteur de la voiture.

Pourquoi est-ce meilleur ?

Pas de chirurgie cérébrale : Le cerveau du grand Bibliothécaire reste intact. Cela signifie qu'il ne perd pas sa capacité à effectuer d'autres tâches.
Moins cher et plus rapide : Entraîner les deux petits Chiens de Guide, c'est comme entraîner un chiot — c'est rapide et peu coûteux comparé à la reconstruction d'une bibliothèque entière.
Efficace sur les questions difficiles : Les méthodes précédentes étaient bonnes pour empêcher l'IA de réciter une phrase mot pour mot, mais elles échouaient lorsque l'IA essayait de répondre à des questions complexes sur le secret. Cette méthode utilise le « raisonnement » des Chiens de Guide pour empêcher l'IA de même penser au secret de manière complexe.

Le « Correctif Permanent » (Distillation)

Le papier note que faire fonctionner trois modèles à la fois (le Bibliothécaire + deux chiens) demande un peu de puissance de calcul supplémentaire. Si vous voulez un correctif permanent où vous n'utilisez plus qu'un seul modèle plus tard, vous pouvez utiliser un processus appelé Distillation.

Imaginez que le Bibliothécaire, guidé par les chiens, rédige une « fiche de révision » parfaite sur la façon de répondre aux questions sans les secrets. Vous enseignez ensuite à un nouveau Bibliothécaire unique de mémoriser cette fiche. Vous avez maintenant un seul modèle, propre, qui a « appris » à oublier, sans plus avoir besoin des chiens.

Est-ce que ça marche ?

Les auteurs ont testé cela sur deux benchmarks majeurs (TOFU et MUSE), qui sont comme des tests standardisés pour l'« oubli ».

Résultats : Leur méthode a battu toutes les méthodes précédentes de l'état de l'art. Elle était meilleure pour supprimer les secrets tout en gardant l'IA intelligente.
Au-delà du texte : Ils ont également testé cela sur la génération d'images (créer des images). Ils ont entraîné l'IA à « oublier » comment dessiner certains types de chiens. La méthode a également fonctionné là, réussissant à empêcher l'IA de dessiner ces chiens sans ruiner sa capacité à dessiner d'autres choses.

Résumé

Au lieu d'essayer d'effacer une mémoire d'un cerveau géant et complexe (ce qui est difficile et dangereux), ce papier suggère de laisser le cerveau tel quel et d'utiliser deux petits assistants intelligents pour détourner doucement la conversation des sujets interdits. C'est une approche d'« apprentissage par l'oubli » qui est moins chère, plus sûre et plus efficace que les méthodes précédentes.

Résumé Technique : Divergence Decoding (Décodage par Divergence)

Énoncé du Problème

Les grands modèles de langage (LLM) mémorisent fréquemment des données d'entraînement sensibles, créant des risques importants pour la confidentialité et le droit d'auteur. Lever ces risques en supprimant des connaissances spécifiques des checkpoints de modèles existants est un défi majeur. Les approches traditionnelles, telles que le réentraînement de modèles à partir de zéro sur des jeux de données assainis, sont informatiquement irréalisables à l'échelle des modèles de pointe (nécessitant des millions d'heures-GPU). Les méthodes actuelles d'oubli machine (machine unlearning), qui modifient les poids du modèle via des techniques comme l'ascension de gradient ou l'optimisation de préférence négative, souffrent souvent d'une perte d'utilité catastrophique, sont fragiles et restent coûteuses. De plus, ces méthodes dégradent fréquemment la performance globale du modèle sur les données conservées.

Méthodologie : Divergence Decoding (DD)

Les auteurs proposent le Divergence Decoding (DD), un mécanisme d'oubli au moment de l'inférence qui oriente les logits d'un modèle cible loin de données spécifiques sans modifier directement les poids du modèle. La méthode s'inspire du cadre du Produit d'Experts (Product of Experts) et de l'échantillonnage préférentiel (Importance Sampling).

Mécanisme Central

Le DD utilise deux petits modèles auxiliaires, $p$ et $q$ , entraînés via des pipelines de fine-tuning standards pour agir comme des proxys de la différence entre le Modèle Cible actuel ( $P$ , entraîné sur les ensembles de rétention et d'oubli) et le Modèle de Réentraînement idéal ( $Q$ , entraîné uniquement sur l'ensemble de rétention).

Modèle auxiliaire $p$ : Entraîné sur l'ensemble de l'oubli (ou une combinaison de l'oubli et de la rétention, selon la configuration du benchmark).
Modèle auxiliaire $q$ : Entraîné sur l'ensemble de la rétention.

La méthode approxime l'échantillonnage à partir du modèle de réentraînement idéal $Q$ en ajustant les logits du modèle cible accessible $P$ sur la base de la différence entre les modèles auxiliaires. Deux ajustements spécifiques sont proposés :

Divergence Decoding Linéaire : Une combinaison linéaire de logits où la différence entre les modèles auxiliaires oriente la cible :
$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$
Ici, $\alpha$ est un hyperparamètre. Le ratio $q/p$ agit comme un « Expert de Domaine » qui surpondère les tokens probablement présents dans l'ensemble de rétention et sous-pondère ceux probablement présents dans l'ensemble d'oubli.
Divergence Decoding par Rang (Rank-Based) : Un ajustement basé sur le rang qui supprime les $k$ logits les plus divergents :
$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$
(En pratique, pour éviter des scores de confidentialité dégénérés, les $k$ meilleurs logits sont remplacés par le $k$ -ième plus grand logit de la distribution non modifiée).

Distillation de Modèle

Pour remédier aux coûts de latence et de calcul liés à l'exécution simultanée de trois modèles (Cible + 2 Auxiliaires) lors de l'inférence, les auteurs proposent de distiller le comportement du système augmenté par DD dans un seul modèle. Un système de DD Linéaire gelé sert de professeur, et le Modèle Cible est affiné (fine-tuned) en tant qu'élève en utilisant un objectif de divergence KL sur l'ensemble d'oubli. Cela convertit le contrôleur au moment de l'inférence en un réseau paramétrique pouvant être servi sans modèles auxiliaires.

Principales Contributions

Le papier apporte les contributions suivantes à la littérature sur l'oubli machine :

Nouvelle Orientation de Logits (Logit Steering) : Un mécanisme qui dépasse les méthodes de l'état de l'art (SOTA) actuelles sur les benchmarks d'oubli standards (TOFU et MUSE).
Pont entre les Paradigmes : Une connexion entre l'oubli au moment de l'inférence et l'oubli basé sur les poids via la distillation, permettant un déploiement flexible.
Efficacité Trans-domaine : Des explorations initiales démontrant l'applicabilité de la méthode au-delà de la génération de texte, spécifiquement dans la génération d'images basée sur les transformers.
Ablations Exhaustives : Une analyse complète couvrant le choix des hyperparamètres, l'impact sur le calcul/latence, la généralisation inter-tokenizers/inter-familles et la robustesse adversaire.

Résultats Expérimentaux

Les auteurs ont évalué le DD en utilisant le cadre Open Unlearning sur les benchmarks TOFU (requêtes complexes, instruction-tuned) et MUSE (pré-entraîné, few-shot Q&A).

Performance : Le DD surpasse nettement les bases de référence SOTA (incluant Gradient Ascent, NPO, RMU et UNDIAL) sur le benchmark TOFU. Sur MUSE, il améliore marginalement les bases fortes sur les tâches de mémorisation de connaissances et de Q&A, bien qu'il soit moins efficace sur la mémorisation verbatim (où des méthodes de filtrage plus simples excellent souvent).
Préservation de l'Utilité : Contra�à de nombreuses méthodes d'oubli qui provoquent un oubli catastrophique, le DD préserve les connaissances générales et l'utilité du modèle.
Distillation : Le modèle distillé récupère la majeure partie des gains de performance du DD Linéaire au moment de l'inférence, surpassant les méthodes d'oubli antérieures basées sur le gradient.
Scalabilité et Durabilité : La méthode s'adapte bien à l'augmentation de la taille des ensembles d'oubli et gère les demandes d'oubli séquentielles sans dégradation significative des performances.
Robustesse Adversaire : Sous le benchmark Leak@K, qui teste si les informations oubliées peuvent être récupérées via des sollicitations (prompting) adverses répétées, le DD distillé égale les performances d'un réentraînement complet, indiquant que l'oubli est robuste et n'est pas une simple correction superficielle.
Génération d'Images : Les résultats préliminaires sur la génération d'images basée sur ImageNet montrent que le DD peut réduire la génération de certaines sémantiques visuelles (ex: classes de chiens dans l'ensemble d'oubli) tout en maintenant la qualité perceptuelle, bien que des valeurs $\alpha$ plus élevées soient requises pour les configurations linéaires par rapport au texte.

Signification et Revendications

L'article soutient que la voie vers une IA plus sûre et conforme ne réside pas dans l'« amputation » du modèle de base par une modification directe des poids, mais dans son orientation. Les auteurs affirment que pour de nombreux cas d'usage pratiques (ex : demandes de « droit à l'oubli », conformité au droit d'auteur et backtesting financier pour prévenir le biais d'anticipation), modifier les poids du modèle est inutile et potentiellement préjudiciable à l'utilité.

Au lieu de cela, le DD propose une approche de « apprentissage par l'oubli » où de petits modèles auxiliaires peu coûteux orientent la génération d'un grand modèle. Cela offre une solution pratique pour les déploiements à enjeux élevés où un oubli fréquent et ad hoc est requis, redéfinissant la performance SOTA en équilibrant l'efficacité de l'oubli avec la préservation des capacités du modèle. La méthode est présentée comme étant généralement applicable à tout modèle probabiliste, étendant son utilité au-delà du texte vers des domaines comme la génération d'images.