Résumé technique : Désapprentissage géométrique pour les LLM avec divulgation minimale de données

Énoncé du problème

Alors que les grands modèles de langage (LLM) sont déployés dans des systèmes réels, ils font face à des contraintes réglementaires et de gouvernance croissantes exigeant la suppression a posteriori de contenus spécifiques (par exemple, données personnelles, sujets sensibles) tout en préservant l'utilité générale. Cela est connu sous le nom de désapprentissage sélectif.

Les approches existantes reposent généralement sur des pipelines axés sur les données qui nécessitent l'accès au corpus d'entraînement original. Ces méthodes se divisent généralement en deux catégories :

1. Ajustement du refus au niveau de la sortie : Susciter des refus ou des réponses non correspondantes via l'ingénierie de prompts ou des interventions au moment de l'inférence.
2. Mises à jour des paramètres : Utilisation de procédures basées sur le gradient sur des ensembles de données désignés « à oublier » et « à conserver ».

Cependant, ces stratégies font face à une tension critique : elles nécessitent souvent l'accès aux données d'entraînement originales (qui peuvent être indisponibles en raison de contraintes de confidentialité, de licence ou de gouvernance) et risquent de réexposer des données sensibles durant le processus de désapprentissage. De plus, s'appuyer sur de grands flux de conservation correspondant à la distribution pour prévenir la dégradation collatérale est souvent peu pratique dans les environnements déployés. L'article postule la nécessité d'un désapprentissage sélectif sans corpus original qui atteint une forte suppression ciblée avec une divulgation minimale de données.

Méthodologie : Désapprentissage géométrique (DG)

Les auteurs proposent le Désapprentissage géométrique (DG), une approche au niveau des représentations qui opère directement sur les états de planification au moment du prompt du modèle sans accéder au corpus d'entraînement original. La méthode est fondée sur l'observation que les représentations cachées des LLM au stade du prompt encodent des signaux décodables linéairement prédictifs des propriétés de réponse, et que les facteurs sémantiques de haut niveau sont souvent structurés dans des sous-espaces linéaires de faible dimension.

Le DG procède en trois étapes principales :

1. Construction de la géométrie de planification cible

Au lieu d'utiliser les données d'entraînement originales, le DG définit un petit ensemble de prompts de référence sûrs ($D_{ref}$) conçus pour susciter des comportements sûrs souhaités (par exemple, modèles de refus ou réponses du type « Je ne sais pas »).

• Le modèle traite ces prompts pour extraire les états cachés au moment du prompt ($h^{pr}_{\ell}$) à des couches spécifiques.
• Un sous-espace de faible rang (la « géométrie de planification sûre ») est estimé via l'ACP sur ces activations centrées.
• Un projecteur orthogonal $P_{\ell}$ est calculé pour mapper les vecteurs sur ce sous-espace sûr, tandis que $P^{\perp}_{\ell}$ projette sur le complément orthogonal. Ces tampons sont précalculés et figés.

2. Prompts virtuels conditionnés par ancrage

Pour éviter de nécessiter un ensemble de données de désapprentissage complet, le DG génère un ensemble de prompts virtuels ($D_{virt}$) compact en utilisant des points d'ancrage (par exemple, l'entité ou le sujet spécifique à oublier).

• Des ancres sont insérées dans divers modèles contextuels (biographiques, instructifs, comparatifs, etc.) pour créer des prompts synthétiques.
• Pour chaque prompt, une fenêtre locale de tokens entourant l'occurrence de l'ancre est identifiée.
• Le modèle traite ces prompts pour collecter les états cachés au sein de cette fenêtre.

3. Alignement géométrique et stabilisation

Le modèle est affiné pour aligner les états cachés des prompts virtuels avec la géométrie sûre figée, tout en préservant l'utilité non ciblée.

• Objectif principal de désapprentissage : Pour chaque correspondance d'ancre, l'état caché agrégé par fenêtre est décomposé en composantes dans le sous-espace et hors du sous-espace. La fonction de perte ($L_{core}$) comprend :
  • Attraction du centroïde ($L_{cent}$) : Minimisation de la distance de l'état par rapport à la moyenne de référence.
  • Confinement par repli ($L_{fold}$) : Pénalisation de l'énergie de la composante résiduelle orthogonale au sous-espace sûr. Cela est réalisé en réfléchissant l'état à travers le sous-espace et en minimisant la dissimilarité cosinus, forçant efficacement l'état à se situer dans la variété sûre.
• Stabilisation côté conservation : Pour prévenir la dérive collatérale (dégradation des connaissances non ciblées), la méthode emploie un modèle enseignant figé (initialisé à partir du même point de contrôle).
  • Perte de maintien en arrière-plan : Aligne la sortie de l'élève sur les tokens hors fenêtre des prompts cibles avec celle de l'enseignant.
  • Distillation de conservation synthétique : Aligne l'élève avec l'enseignant sur un pool synthétique séparé de prompts non cibles (incluant des noms confusables pour prévenir la généralisation excessive).

Contributions clés

1. Cadre sans corpus original : Le DG élimine le besoin d'accès au corpus de préentraînement original ou à de grands ensembles de données de conservation, adressant une barrière principale au déploiement pratique.
2. Intervention au niveau des représentations : Plutôt que de modifier directement les probabilités de sortie ou les poids via la descente de gradient sur les données, le DG manipule la structure directionnelle des états de planification cachés pour induire un état « flou » ou incertain pour les sujets cibles.
3. Efficacité des données : La méthode atteint un désapprentissage efficace en utilisant uniquement un ensemble minimal de prompts synthétiques générés à partir d'ancres et un petit ensemble de prompts de référence sûrs.
4. Régularisation géométrique : L'introduction du confinement par repli et de la projection orthogonale fournit un mécanisme mathématiquement fondé pour orienter les représentations vers un sous-espace sûr tout en préservant le contenu orthogonal.

Résultats expérimentaux

Les auteurs ont évalué le DG sur deux benchmarks axés sur la confidentialité : ToFU (désapprentissage factuel) et UnlearnPII (désapprentissage d'informations personnellement identifiables), en utilisant les modèles LLaMA-2-7B et LLaMA-3.2-1B.

• Efficacité du désapprentissage : Le DG a atteint une forte suppression ciblée (faible Force d'extraction et ROUGE d'oubli), comparable ou supérieure aux bases de référence basées sur le gradient comme GA et GradDiff.
• Préservation de l'utilité : Le DG a maintenu une utilité élevée du modèle sur les tâches non ciblées, surpassant les méthodes qui induisaient des sorties « vides » ou « illisibles ».
• Risque de confidentialité : Dans les attaques par inférence d'appartenance (MIA), le DG a réduit le risque de confidentialité (mesuré par l'écart par rapport à l'AUC aléatoire) à des niveaux proches de zéro, indiquant que les données oubliées sont devenues indiscernables des données non issues de l'entraînement.
• Caractéristiques de sortie : Contrairement aux bases de référence qui produisent souvent des réponses de « substitution » (non liées) ou des réponses « vides », le DG a constamment produit des sorties de style refus (par exemple, « Je ne suis pas sûr »), représentant un comportement de désapprentissage plus structuré et conforme à la sécurité.
• Études d'ablation :
  • Budget d'échantillons : 20 à 30 échantillons synthétiques par ancre ont fourni l'équilibre optimal entre force de désapprentissage et préservation de l'utilité.
  • Sélection de couches : L'alignement des dernières une ou deux couches a produit le meilleur compromis, car les états de planification des couches tardives sont les plus directement couplés à la politique de génération.

Importance et affirmations

L'article affirme qu'un désapprentissage efficace peut être atteint avec une divulgation minimale de données synthétiques, soutenant un paradigme « Moins c'est plus ». En opérant sur la structure géométrique des états de planification au moment du prompt, le DG contourne le besoin de réexposer des données d'entraînement sensibles.

Les auteurs soulignent que si le DG atteint de fortes performances sur les évaluations standard basées sur l'extractibilité, il est plus efficace lorsque les cibles sont invoquées de manière fiable par des ancres. Ils reconnaissent des limitations concernant les alias, les variantes multilingues et les mentions indirectes, notant que la méthode ne certifie pas une effacement représentatif complet sous des audits blancs plus stricts. Cependant, ce travail démontre que le contrôle d'un petit ensemble d'états au moment du prompt via un alignement géométrique est une stratégie viable et efficace pour le désapprentissage sélectif dans des environnements contraints et sensibles à la confidentialité.