Towards Certified Unlearning for Deep Neural Networks

1. Problématique

L'apprentissage automatique moderne repose sur d'énormes volumes de données utilisateurs. Avec l'adoption de réglementations comme le RGPD (GDPR) et le CCPA, le "droit à l'oubli" permet aux utilisateurs de demander la suppression de leurs données. Le machine unlearning (apprentissage non appris) vise à supprimer l'influence de ces données d'un modèle entraîné sans avoir à le réentraîner entièrement à partir de zéro, ce qui serait trop coûteux en calcul.

Bien que l'apprentissage non appris certifié (Certified Unlearning) ait été largement étudié pour les modèles convexes (linéaires, bayésiens, etc.) avec des garanties théoriques fortes, son application aux Réseaux de Neurones Profonds (DNN) reste un défi majeur. Les DNN sont intrinsèquement non convexes, ce qui rend les méthodes existantes (basées sur des approximations de Newton) inapplicables ou sans garanties théoriques solides. De plus, les scénarios réels impliquent souvent des entraînements qui ne convergent pas vers un optimum global (arrêt précoce) et des demandes de suppression séquentielles.

2. Méthodologie

Les auteurs proposent un cadre pour étendre l'apprentissage non appris certifié aux objectifs non convexes des DNN, en décomposant le problème en deux étapes principales : l'estimation du modèle réentraîné et l'ajout de bruit pour garantir la certification.

A. Estimation du modèle réentraîné (Approximation)

Pour estimer le modèle réentraîné $\tilde{w}^*$ à partir du modèle original $w^*$, les auteurs adaptent la mise à jour de Newton classique :

1. Approximation de l'erreur : Ils dérivent une borne d'erreur d'approximation pour les fonctions faiblement convexes (typiques des DNN) en utilisant des hypothèses de Lipschitz sur le gradient et la Hessienne, sans supposer la convexité globale.
2. Local Convex Approximation : Pour borner la norme de l'inverse de la Hessienne (qui peut être arbitrairement grande en non-convexe), ils ajoutent un terme de régularisation $\ell_2$ ($\lambda I$) à la Hessienne, rendant l'objectif localement fortement convexe.
3. Contrainte de norme : Ils imposent une contrainte de norme sur les paramètres du modèle ($\|w\|_2 \leq C$) via une descente de gradient projetée. Cela permet de borner la distance entre le modèle original et le modèle réentraîné, indépendamment de la taille de l'ensemble de données supprimé.

B. Efficacité computationnelle

Le calcul direct de l'inverse de la Hessienne est prohibitif ($O(p^3)$). Pour contourner cela :

• Ils utilisent l'algorithme LiSSA (Linear-time Stochastic Second-order Approximation) pour estimer l'inverse de la Hessienne de manière itérative et stochastique, réduisant la complexité à $O(sp^2)$.
• Ils exploitent la relation entre les gradients sur l'ensemble complet et l'ensemble supprimé pour calculer le gradient résiduel uniquement sur les données à supprimer ($D_u$), réduisant la complexité de $O(np)$à$O(n_u p)$.

C. Certification et Bruit

Selon le théorème 2.3, une fois l'approximation $\tilde{w}$ obtenue avec une erreur bornée $\Delta$, on ajoute un bruit gaussien $Y \sim \mathcal{N}(0, \sigma^2 I)$ où $\sigma$ est proportionnel à $\Delta$. Cela garantit que la distribution du modèle "oublié" est indistinguable (avec des paramètres $\epsilon, \delta$) de celle d'un modèle réentraîné à partir de zéro.

D. Adaptations aux scénarios réels

• Non-convergence : Le cadre est adapté aux modèles où l'entraînement s'arrête avant convergence (gradient résiduel non nul), en ajustant la borne d'erreur pour inclure la norme du gradient résiduel.
• Apprentissage séquentiel : Ils montrent que la méthode fonctionne de manière itérative pour des demandes de suppression successives, en mettant à jour le modèle étape par étape tout en maintenant les garanties de certification.

3. Contributions Clés

1. Extension aux DNN non convexes : Première méthode offrant des garanties théoriques d'apprentissage non appris certifié pour les réseaux de neurones profonds, sans hypothèse de convexité.
2. Techniques d'approximation robustes : Introduction de la régularisation locale de la Hessienne et de la contrainte de norme des paramètres pour borner l'erreur d'approximation dans des paysages d'optimisation complexes.
3. Efficacité computationnelle : Combinaison de l'approximation LiSSA et de l'exploitation des gradients sur les sous-ensembles pour rendre la méthode viable pour de grands modèles.
4. Généralisation aux cas pratiques : Analyse théorique et pratique des scénarios de non-convergence et d'apprentissage séquentiel.
5. Validation empirique rigoureuse : Expérimentation sur trois jeux de données réels (MNIST, CIFAR-10, SVHN) avec des métriques de confidentialité avancées.

4. Résultats Expérimentaux

Les expériences ont été menées sur des architectures variées (MLP, All-CNN, ResNet18) et comparées à plusieurs baselines (Réentraînement, Fine-tuning, Gradient négatif, Fisher Forgetting, L-CODEC).

• Performance de l'oubli (Privacy) :
  • La méthode certifiée surpasse les autres baselines dans la suppression des informations des données supprimées.
  • Attaques par inférence d'appartenance : Le modèle certifié présente un taux de succès d'attaque plus faible (AUC et précision plus bas) que les autres méthodes, indiquant une meilleure protection de la vie privée.
  • Temps de réapprentissage (Relearn time) : Le temps nécessaire pour qu'un adversaire réapprenne les données supprimées est plus élevé pour la méthode certifiée, prouvant que l'information a été efficacement effacée.
• Utilité du modèle (Utility) :
  • La méthode maintient une performance (F1-score) sur les données retenues et le jeu de test comparable au modèle réentraîné à partir de zéro, tout en dégradant significativement la performance sur les données supprimées (ce qui est l'objectif).
• Efficacité :
  • La méthode certifiée est plus de 10 fois plus rapide que le réentraînement complet (retrain from scratch).
  • L'utilisation de l'approximation de l'inverse de la Hessienne (LiSSA) offre un gain de vitesse de 470 fois par rapport au calcul exact de l'inverse (sur des modèles plus petits).
• Études d'ablation :
  • L'ajout de la régularisation locale ($\lambda > 0$) et de la contrainte de norme réduit considérablement la borne d'erreur d'approximation.

5. Signification et Impact

Cet article comble un fossé théorique majeur entre l'apprentissage non appris certifié et les réseaux de neurones profonds.

• Théorique : Il démontre que des garanties de confidentialité rigoureuses (basées sur la différentielle de confidentialité) sont possibles même dans des contextes non convexes et non convergents, élargissant ainsi le champ d'application de ces garanties.
• Pratique : Il offre une solution viable pour les entreprises devant respecter le RGPD tout en utilisant des modèles DNN complexes, évitant le coût prohibitif du réentraînement complet.
• Robustesse : La capacité à gérer des demandes séquentielles et des entraînements non convergents rend la méthode applicable aux déploiements réels où les données et les modèles évoluent continuellement.

En conclusion, cette recherche établit une nouvelle norme pour l'effacement de données dans l'apprentissage automatique profond, en combinant efficacité computationnelle, utilité préservée et garanties de confidentialité mathématiquement prouvées.