Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

1. Problématique

L'oubli machine (Machine Unlearning) dans les grands modèles de langage (LLM) vise à supprimer sélectivement des connaissances spécifiques (par exemple, des données sensibles ou des informations erronées) tout en préservant les capacités générales du modèle.
Le défi principal réside dans l'équilibre entre l'efficacité de l'oubli et la préservation de l'utilité du modèle.

• Limitation des approches actuelles : Les méthodes existantes appliquent souvent une perte d'oubli (comme l'ascension de gradient) uniformément à tous les tokens d'une séquence. D'autres approches tentent de pondérer les tokens en fonction de la confiance (confidence) du modèle envers le token de vérité terrain ou en utilisant des parseurs linguistiques externes (ex: spaCy pour identifier les noms propres).
• Le problème identifié : Ces méthodes échouent à distinguer efficacement les tokens informatifs (porteurs de sens sémantique clé, comme un nom propre ou un fait spécifique) des tokens structurels (mots fonctionnels comme "le", "un", qui sont hautement prévisibles et peu ambigus). Une pénalité uniforme ou basée uniquement sur la confiance dégrade inutilement l'utilité du modèle en affectant les tokens structurels, ou échoue à oublier suffisamment les tokens informatifs.

2. Méthodologie : ETW (Entropy-guided Token Weighting)

Les auteurs proposent ETW, un régularisateur au niveau du token qui utilise l'entropie de la distribution prédictive du modèle comme indicateur d'informativité.

• Hypothèse centrale :
  • Les tokens structurels (ex: "the") ont une faible entropie car le modèle est très confiant et la distribution de probabilité est concentrée sur un seul token.
  • Les tokens informatifs (ex: "Carmen" dans un contexte de biographie) ont une entropie plus élevée. Le modèle est plus incertain car plusieurs alternatives plausibles existent, reflétant la complexité sémantique et la rareté de l'information.
• Formulation de la méthode :
  1. Pour chaque token $y_i$ dans une séquence à oublier, l'entropie $H(y_i)$ est calculée sur l'ensemble du vocabulaire, basée sur la distribution de probabilité prédite par le modèle (avant la mise à jour des gradients).
  2. Une pondération $\omega_i$ est attribuée à chaque token proportionnellement à son entropie :
     $$\omega_i^{ETW} = \frac{n \cdot H(y_i | y_{<i}, x; \hat{\theta})}{\sum_{j=1}^{n} H(y_j | y_{<j}, x; \hat{\theta})}$$
     Où $\hat{\theta}$ est une copie des paramètres du modèle avec arrêt du gradient (stop-gradient) pour éviter que le calcul des poids n'affecte la mise à jour.
  3. La perte d'oubli est ensuite calculée comme une somme pondérée des pertes par token, pénalisant davantage les tokens à haute entropie (informatifs) et minimisant l'impact sur les tokens à faible entropie (structurels).

3. Contributions Clés

1. Introduction d'ETW : Une nouvelle méthode de pondération des tokens qui s'appuie sur l'entropie de la distribution prédictive globale plutôt que sur la simple confiance du token de vérité terrain ou sur des règles linguistiques externes.
2. Distinction Informatif/Structurel : Démonstration théorique et empirique que l'entropie est un signal plus riche et plus précis pour identifier les tokens porteurs de connaissances critiques par rapport aux méthodes basées sur la confiance.
3. Performance Équilibrée : Démonstration que l'approche ETW permet un oubli efficace des connaissances ciblées tout en préservant significativement mieux l'utilité globale du modèle (capacités linguistiques générales) que les méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks TOFU (oubli de faits fictifs) et WMDP (sécurité biologique/cyber) avec des modèles de différentes tailles (LLaMA-3.2 1B, 3B, 7B et StableLM Zephyr 3B).

• Qualité de l'oubli (Forget Quality) : ETW atteint des scores de qualité d'oubli supérieurs ou comparables aux meilleures méthodes (comme NPO), en particulier dans les scénarios difficiles (ex: 10% de données à oublier).
• Préservation de l'utilité (Model Utility) : C'est le point fort de la méthode. ETW subit une dégradation de l'utilité ($\Delta MU$) nettement inférieure à celle des autres méthodes (GA, WGA, SatImp, etc.).
• Analyse des Tokens :
  • Les courbes ROC montrent que ETW distingue mieux les tokens informatifs des tokens structurels (AUC supérieur de 0,06 par rapport aux meilleures baselines).
  • L'analyse des probabilités montre que les modèles oubliés avec ETW conservent des distributions de probabilité pour les tokens informatifs très proches de celles d'un modèle re-entraîné (retrained), indiquant un oubli "propre" sans dégradation excessive.
• Robustesse : La méthode reste performante quelle que soit la taille du modèle et le taux d'oubli (1%, 5%, 10%).

5. Signification et Impact

Cet article apporte une contribution majeure au domaine de l'oubli machine en déplaçant le focus de la confiance statique vers l'incertitude dynamique (entropie).

• Efficacité : En ciblant spécifiquement les tokens où le modèle est incertain (donc informatifs), ETW évite de "casser" la structure syntaxique du langage, ce qui préserve la fluidité et la capacité de généralisation du modèle.
• Indépendance : Contrairement aux méthodes précédentes, ETW ne nécessite pas de parseurs linguistiques externes (comme spaCy) ni de modèles de référence complexes, ce qui la rend plus simple à déployer et plus adaptable à différents contextes.
• Sécurité : La capacité à supprimer des connaissances spécifiques sans détruire le modèle est cruciale pour la conformité aux régulations (RGPD), la correction de biais et la prévention des attaques (jailbreak, inférence d'appartenance).

En résumé, ETW propose une approche élégante et mathématiquement fondée pour rendre l'oubli machine plus "intelligent", en oubliant ce qui compte vraiment (l'information) tout en gardant le reste (la structure).