Verification of Machine Unlearning is Fragile

1. Problématique

Avec l'essor des réglementations sur la protection des données (comme le RGPD et le CCPA), les propriétaires de données ont le droit de demander la suppression de leurs données des modèles d'apprentissage automatique, un processus appelé Machine Unlearning (MUL) ou "oubli machine".

Cependant, une fois la demande d'oubli envoyée, les propriétaires de données ne peuvent pas vérifier si le fournisseur de modèle a réellement supprimé leurs données. Pour combler ce manque de transparence et éviter la malhonnêteté des fournisseurs, des stratégies de vérification ont été proposées. Ces stratégies visent à garantir que les données ciblées ont été effectivement effacées.

Le problème central identifié par les auteurs :
La sécurité de ces mécanismes de vérification est mal comprise. Les auteurs se demandent : Un fournisseur de modèle malhonnête peut-il contourner les stratégies de vérification actuelles tout en conservant les informations des données censées avoir été oubliées ?

La réponse de l'article est pessimiste : la vérification de l'oubli machine est fragile. Les fournisseurs peuvent tromper les vérificateurs tout en mémorisant les données supprimées.

2. Méthodologie

Les auteurs catégorisent les stratégies de vérification existantes en deux types principaux et proposent deux méthodes adverses (malhonnêtes) pour les contourner.

A. Types de Vérification Ciblées

1. Vérification par Backdoor (Porte dérobée) : Le propriétaire injecte des données "piégées" (backdoor) dans l'ensemble d'entraînement. Si l'oubli est honnête, le modèle ne devrait plus réagir à ces déclencheurs. Si le fournisseur triche, le modèle continue de prédire la classe cible du backdoor.
2. Vérification par Reproduction (Reproducing Verification) : Le fournisseur doit fournir une Preuve de Réentraînement (PoRT) qui enregistre chaque étape du réentraînement (paramètres intermédiaires, mini-batches utilisés, fonctions de mise à jour). Le vérificateur reproduit ces étapes pour s'assurer qu'aucune donnée à oublier ($D_u$) n'a été utilisée.

B. Méthodes Adverses Proposées

Les auteurs proposent deux processus d'oubli adverses conçus pour satisfaire les critères de vérification tout en préservant les informations de $D_u$.

Méthode 1 : Contournement par Réentraînement Adversaire (Retraining-based)

• Principe : Au lieu de réentraîner le modèle sur $D \setminus D_u$ (données restantes) de manière aléatoire, le fournisseur sélectionne intelligemment les mini-batches à partir de $D \setminus D_u$.
• Stratégie : Pour chaque mini-batch original contenant des données à oublier, le fournisseur remplace ces données par des données retenues ($D \setminus D_u$) qui produisent un gradient très similaire.
  • Approche 1 (Voisin le plus proche) : Remplacer les données supprimées par leurs voisins les plus proches dans l'espace des caractéristiques (même classe).
  • Approche 2 (Échantillonnage aléatoire) : Tester plusieurs échantillons aléatoires pour trouver celui qui minimise la distance des gradients.
• Résultat : Le modèle réentraigné reçoit des mises à jour quasi identiques à celles qu'il aurait reçues avec les données originales. Il conserve donc l'information de $D_u$ tout en générant une PoRT valide (les données dans les preuves sont bien dans $D \setminus D_u$ et les gradients sont cohérents).

Méthode 2 : Contournement par Falsification (Forging-based)

• Principe : Cette méthode est plus efficace computationnellement. Elle ne réentraîne pas le modèle, mais falsifie la preuve de réentraînement (PoRT) à partir de la preuve d'entraînement originale (PoT).
• Stratégie :
  • Pour les étapes où le mini-batch ne contenait pas de données à oublier, le fournisseur modifie légèrement les paramètres du modèle (via une descente de gradient stochastique sur une donnée retenue) pour éviter que les paramètres ne soient identiques à l'original (ce qui serait détectable).
  • Pour les étapes contenant des données à oublier, il remplace les données par des données retenues (comme dans la Méthode 1) mais applique une fonction de mise à jour directe pour générer la nouvelle preuve.
• Limitation : Cette méthode ne fonctionne que sous une seuil d'erreur de vérification $\epsilon > 0$. Elle ne peut pas tromper une vérification avec une tolérance d'erreur nulle, mais elle est très rapide.

3. Contributions Clés

1. Identification de la vulnérabilité : Démonstration théorique et empirique que les stratégies de vérification actuelles (backdoor et reproduction) ne garantissent pas la sécurité de l'oubli machine face à un fournisseur malhonnête.
2. Deux attaques adverses :
   • Une méthode de réentraînement qui satisfait parfaitement la vérification (erreur nulle) tout en préservant les données.
   • Une méthode de falsification plus efficace qui satisfait la vérification sous un seuil d'erreur toléré.
3. Garanties théoriques : Preuves mathématiques montrant que ces méthodes peuvent satisfaire les propriétés de "reproductibilité" et de "suppression" des preuves, tout en maintenant l'utilité du modèle proche de l'entraînement original.
4. Validation empirique : Expériences sur des jeux de données réels (MNIST, CIFAR-10, SVHN) confirmant que les modèles adverses trompent les vérificateurs (taux d'erreur de type II élevé pour la vérification backdoor) tout en conservant une haute utilité.

4. Résultats Expérimentaux

• Contournement de la vérification Backdoor :
  • Les méthodes adverses (surtout la réentraînement) obtiennent un taux d'erreur de type II (le vérificateur pense que les données sont oubliées alors qu'elles ne le sont pas) proche de 1.0 (99.7% - 99.9%), ce qui signifie qu'elles sont indétectables par cette méthode.
  • À l'inverse, l'entraînement original (qui n'a pas oublié les données) est facilement détecté (probabilité très faible de passer la vérification).
• Utilité du Modèle :
  • Les modèles "oubliés" de manière adverse conservent une utilité (précision/F1-score) très proche, voire supérieure dans certains cas déséquilibrés, par rapport à un réentraînement naïf.
  • La méthode de falsification (Adv-F) conserve une utilité quasi identique à l'entraînement original.
• Efficacité :
  • La méthode de falsification est significativement plus rapide qu'un réentraînement complet, offrant un avantage économique au fournisseur malhonnête.
  • La méthode de réentraînement adversaire est légèrement plus lente qu'un réentraînement naïf en raison du calcul des voisins, mais reste viable.

5. Signification et Implications

• Fragilité des systèmes actuels : L'article démontre qu'il n'existe actuellement aucune garantie stricte pour la vérification de l'oubli machine. Un fournisseur malhonnête peut facilement simuler un oubli honnête tout en conservant les données sensibles pour une réutilisation future ou pour améliorer son modèle.
• Nécessité de nouvelles recherches : Les méthodes de vérification actuelles reposent sur des hypothèses de "similarité naturelle" des données ou de l'aléatoire de l'algorithme, qui peuvent être exploitées.
• Perspectives :
  • Il est urgent de développer des méthodes de vérification pour l'oubli approximatif (qui est plus courant en pratique que l'oubli exact).
  • Les vérificateurs doivent être plus vigilants, par exemple en choisissant des seuils d'erreur ($\epsilon$) très stricts pour la méthode de falsification, bien que cela puisse impacter la convergence du modèle.
  • L'article suggère que la détection des attaques basées sur la réentraînement est extrêmement difficile car le modèle final est statistiquement très proche d'un modèle honnêtement réentraîné.

En conclusion, cet article met en lumière une faille critique dans l'écosystème de la confidentialité des données en IA, soulignant que la simple confiance dans les preuves de réentraînement ou les tests de backdoor est insuffisante pour garantir le respect du "droit à l'oubli".