Revisiting the Past: Data Unlearning with Model State History

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont entraînés sur d'immenses corpus web contenant souvent des données privées, du matériel protégé par le droit d'auteur, de la désinformation ou des données de faible qualité. Lorsque de telles données problématiques doivent être supprimées pour se conformer à la réglementation (par exemple, le « droit à l'oubli ») ou améliorer la qualité du modèle, l'approche standard — réentraîner le modèle à partir de zéro sur un jeu de données excluant ces points — est computationnellement prohibitif.

Les algorithmes existants de Machine Unlearning (oubli machine) tentent d'approcher ce réentraînement en modifiant les poids du modèle à un coût inférieur. Cependant, ces méthodes font face à des défis significatifs :

• Oubli insuffisant (Under-forgetting) : Le modèle conserve des traces des données à oublier.
• Dégradation de l'utilité : Le modèle perd des capacités sur les données qu'il aurait dû conserver.
• Inexactitude : Le modèle oublié ne correspond pas fonctionnellement à un « modèle idéal » (un modèle entraîné à partir de zéro sans les données cibles).
• Limitation des approches actuelles : La plupart des méthodes existantes opèrent uniquement sur le dernier point de contrôle (checkpoint) du modèle, tentant d'inverser l'influence des données en utilisant uniquement l'état actuel, ce qui conduit souvent à des estimations bruyantes ou biaisées de l'influence des données.

2. Méthodologie : Arithmétique des États de Modèle (MSA)

Les auteurs proposent MSA, un nouvel algorithme d'oubli qui exploite les points de contrôle intermédiaires du modèle (artifacts régulièrement stockés par les développeurs pour la tolérance aux pannes et l'expérimentation) pour estimer et inverser plus précisément l'influence de points de données spécifiques.

Concept Central

Au lieu de calculer un « vecteur d'oubli » basé sur le modèle final (qui a déjà internalisé les données), MSA calcule le vecteur basé sur un point de contrôle ($C$) antérieur à l'introduction des cibles d'oubli ($D_f$).

Étapes de l'Algorithme

1. Entrée : Un modèle cible $\theta_D$ (entraîné sur les données complètes $D$), un point de contrôle intermédiaire $\theta_0$ (entraîné sur les données $D \setminus D_f$), et l'ensemble à oublier $D_f$.
2. Calcul du Vecteur d'Oubli ($\vec{\theta}_f$) :
   • Affiner le point de contrôle $\theta_0$ sur l'ensemble à oublier $D_f$ pour obtenir un nouvel état $\theta_1$.
   • Calculer la différence : $\vec{\theta}_f = \theta_1 - \theta_0$. Ce vecteur représente l'influence pure de $D_f$ sur les paramètres du modèle avant que le modèle n'ait acquis d'autres connaissances conflictuelles.
3. Application de l'Oubli :
   • Soustraire le vecteur d'oubli du modèle cible : $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, où $\alpha$ est un facteur d'échelle.
4. Vecteur de Conservation Optionnel ($\vec{\theta}_r$) :
   • Si un ensemble de conservation $D_r$ est disponible, un vecteur similaire peut être calculé en affinant $\theta_0$ sur $D_r$ pour obtenir $\theta_2$, où $\vec{\theta}_r = \theta_2 - \theta_0$.
   • La mise à jour finale devient : $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Insight Clé

Les auteurs émettent l'hypothèse que les vecteurs dérivés du modèle final sont entremêlés avec les connaissances existantes du modèle, ce qui en fait de mauvaises estimations de l'influence spécifique des données. En utilisant un point de contrôle « propre » d'avant que les données n'aient été vues, MSA isole l'effet sémantique de l'ensemble à oublier plus efficacement.

3. Contributions Clés

• Nouveau Cadre : Introduction de MSA, qui réutilise les points de contrôle d'entraînement standards pour l'oubli de données a posteriori, déplaçant le paradigme de « uniquement l'état final » vers « conscient de l'historique des états ».
• Nouvelles Métriques d'Évaluation : Le papier critique les métriques standards comme ROUGE-L pour l'oubli (qui peuvent être trompées par une similarité syntaxique malgré des erreurs factuelles) et introduit des métriques sémantiques basées sur GPT-4o :
  • Accforget : Mesure si le modèle évite avec succès de générer la vérité terrain pour les éléments oubliés.
  • Accrecover : Mesure si la sortie du modèle s'aligne avec le « modèle idéal » (le modèle qui n'a jamais vu les données).
  • Accretain : Mesure la préservation des connaissances sur les données non à oublier.
• Évaluation Complète : Évaluation sur trois benchmarks majeurs : TOFU (auteurs fictifs), RESTOR (restauration de connaissances corrompues par la désinformation) et MUSE-Books (mémorisation de livres et vie privée).
• Analyse de Robustesse : Démonstration que MSA reste efficace même lorsque le point de contrôle utilisé est antérieur de centaines de milliards de tokens à la cible d'oubli, bien que des points de contrôle plus proches donnent de meilleurs résultats.

4. Résultats Expérimentaux

Les auteurs ont évalué MSA par rapport à des baselines de l'état de l'art (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) sur les modèles OLMo-2-7B et Llama-3.1/3.2.

• Benchmark TOFU :
  • Les variantes de MSA (par exemple, utilisant des points de contrôle antérieurs de 3,6T de tokens) ont obtenu des performances compétitives ou supérieures sur toutes les métriques par rapport aux baselines.
  • Contrairement aux baselines qui sacrifient souvent l'utilité (Accretain) pour atteindre l'oubli, ou qui échouent à retrouver le comportement idéal (Accrecover), MSA a équilibré efficacement les trois objectifs.
  • Par exemple, sur la tâche forget10, les variantes de MSA ont atteint ~89% d'Accforget et ~96% d'Accrecover, tandis que des baselines comme RMU présentaient un fort oubli mais une récupération très faible (refusant de répondre plutôt qu'oubliant).
• Benchmark RESTOR :
  • MSA a nettement surpassé les baselines dans la restauration de connaissances corrompues par la désinformation.
  • Sur Llama-3.1-8B, la précision du modèle idéal était de 64,80%. Le modèle corrompu est tombé à 44,31%. MSA a récupéré la précision à 48,45% - 49,19%, tandis que des baselines comme NPO et SatImp ne récupéraient qu'à ~44-46%.
• Benchmark MUSE-Books :
  • MSA a démontré de solides performances dans les Attaques par Inférence d'Appartenance (MIN-K% et MIN-K%++), indiquant que le modèle oublié ne reconnaît plus les livres oubliés comme faisant partie de ses données d'entraînement.
  • Les variantes de MSA utilisant des points de contrôle plus proches (par exemple, MSA3859B) ont égalé ou dépassé les performances du modèle idéal sur les métriques de fuite de vie privée.
• Distance du Point de Contrôle :
  • Les expériences ont montré que bien que les points de contrôle précédant immédiatement l'ensemble à oublier soient optimaux, des points de contrôle antérieurs de centaines de milliards de tokens produisent toujours des résultats solides, rendant MSA pratique même pour des modèles avec un checkpointing peu fréquent.

5. Signification et Conclusion

• Praticité : MSA offre une solution computationnellement efficace ($O(|D_f|)$) qui utilise des artifacts (points de contrôle) déjà présents dans les pipelines d'entraînement standards des LLM, ne nécessitant aucun changement au processus d'entraînement original.
• Conformité Réglementaire : Elle fournit une voie viable pour les fournisseurs de modèles afin de satisfaire les demandes de « droit à l'oubli » sans le coût d'un réentraînement complet.
• Changement Théorique : Ce travail remet en question l'hypothèse selon laquelle l'oubli doit reposer uniquement sur l'état final du modèle. Il suggère que l'historique des états du modèle est une ressource critique pour l'effacement précis des données.
• Direction Future : Le papier plaide pour que les développeurs de modèles maintiennent des index indiquant quand les modèles rencontrent des informations spécifiques pendant l'entraînement, non seulement pour l'attribution, mais pour permettre des techniques d'oubli avancées comme MSA.

En résumé, MSA représente une avancée significative dans l'oubli machine en exploitant la dynamique temporelle de l'entraînement pour réaliser une suppression de données plus précise, préservant l'utilité et fidèle fonctionnellement.