Résumé technique : Audit des algorithmes de désapprentissage (Unlearning)

Énoncé du problème

Le désapprentissage de données (machine unlearning) vise à supprimer l'influence d'échantillons d'entraînement spécifiques d'un modèle entraîné, pour obtenir idéalement un modèle indiscernable de celui qui aurait été réentraîné à partir des données restantes. Si le désapprentissage exact offre des garanties fortes, il est souvent trop coûteux en termes de calcul pour les réseaux profonds. Par conséquent, des méthodes de désapprentissage approximatif ont émergé, allant d'approches heuristiques (par exemple, l'ascension de gradient sur l'ensemble à oublier, le nettoyage basé sur le Hessien) à des méthodes certifiées qui fournissent des garanties d'indiscernabilité $(\varepsilon, \delta)$.

Un défi majeur reste l'évaluation empirique de ces affirmations. Les bornes théoriques existantes reposent souvent sur des hypothèses (par exemple, la convexité) qui peuvent ne pas se vérifier en pratique, et il manque des outils pratiques pour vérifier si une garantie de désapprentissage revendiquée est réellement respectée. Ce document traite de la nécessité d'un auditeur utilisant des preuves empiriques pour tester les garanties de désapprentissage, visant spécifiquement à rejeter l'hypothèse que le paramètre de désapprentissage $\varepsilon$ est inférieur à une certaine borne inférieure ($\varepsilon < \varepsilon_{LB}$).

Méthodologie

Modèle de menace

Les auteurs adoptent un modèle d'adversaire boîte noire fort. L'adversaire a connaissance de :

1. L'algorithme d'apprentissage ($A$) et l'algorithme de désapprentissage ($U$).
2. Le mélangeur de chargement de données (permutation aléatoire $\pi$).
3. Les poids initiaux du modèle ($x_0$) au début de l'entraînement.
   L'adversaire n'observe pas les réalisations aléatoires spécifiques (par exemple, le bruit du gradient) pendant l'entraînement ou le désapprentissage, et n'a pas accès à l'état interne des algorithmes. Ce modèle renforce l'adversaire par rapport aux définitions standards, mais il est cohérent avec les garanties des algorithmes certifiés comme le Model Clipping et le Rewind-to-Delete (R2D).

Le cadre de l'auditeur

L'auditeur proposé est un cadre de test d'hypothèse conçu pour calculer une borne inférieure de $\varepsilon$ dépendante des données, notée $\varepsilon_{LB}$.

1. Configuration : L'ensemble de données d'entraînement est partitionné en un ensemble de rétention ($D_r$) et un ensemble à oublier ($D_f$). $D_f$ est ensuite divisé en $m$ lots (batches) candidats.
2. Vecteurs de signe : L'auditeur échantillonne un vecteur de signe équilibré $S \in \{\pm 1\}^m$, où $+1$ indique qu'un lot est inclus dans l'ensemble d'entraînement (et est donc sujet au désapprentissage), et $-1$ indique qu'il est exclu.
3. Exécution : Pour chaque exécution $\ell$ :
   • Un ensemble d'entraînement $D(S^{(\ell)})$ est construit sur la base du vecteur de signe.
   • Le modèle est entraîné puis désappris pour produire $f_u^{(\ell)}$.
   • L'auditeur tente de prédire le vecteur de signe $S^{(\ell)}$ à partir de $f_u^{(\ell)}$.
4. Score : L'auditeur calcule un score de chevauchement $V^{(\ell)}$, comptant le nombre de prédictions non nulles correctes (où le signe prédit correspond au signe réel).
5. Réduction à la LDP : L'audit est réduit à un problème de Confidentialité Différentielle Locale (LDP). Si l'algorithme de désapprentissage est certifié $(\varepsilon, 0)$, le mécanisme de l'auditeur est démontré comme étant $(2\varepsilon, 0)$-LDP.
6. Test d'hypothèse : En utilisant la distribution des scores de chevauchement sur plusieurs exécutions indépendantes, l'auditeur calcule une borne inférieure $\varepsilon_{LB}$. Si le chevauchement observé dépasse significativement le hasard, l'hypothèse nulle ($H_0: \varepsilon \le \varepsilon_{LB}$) est rejetée, indiquant un désapprentissage faible.

Instantiations de l'auditeur

Deux instantiations spécifiques du mécanisme de l'auditeur $M$ sont proposées :

• Instantiation I (Par lot) : Adaptée lorsque $m$ est grand. Elle ajuste des distributions gaussiennes aux scores de logits pour chaque lot indépendamment (inspiré de LiRA) afin de prédire l'inclusion ou l'exclusion.
• Instantiation II (Vecteur de signe conjoint) : Adaptée lorsque $m$ est petit (énumérable). Elle traite l'ensemble du vecteur de signe comme une hypothèse, capturant les corrélations entre les lots, et sélectionne le vecteur ayant la vraisemblance cumulative la plus élevée.

Contributions clés

1. Conception d'un auditeur pratique : Le papier introduit un méta-algorithme qui étend les techniques d'audit de confidentialité différentielle au contexte du désapprentissage, spécifiquement adapté aux ensembles à oublier de niveau sous-ensemble plutôt qu'aux voisins de point unique.
2. Bornes théoriques : Les auteurs dérivent de nouvelles bornes théoriques (Théorème 4.2) qui convertissent les scores de chevauchement empiriques en une borne inférieure valide sur $\varepsilon$ avec un taux d'erreur de Type I contrôlé, spécifiquement pour le cas $\delta=0$.
3. Falsification empirique : Le cadre fournit un outil pour falsifier empiriquement les revendications de désapprentissage. Il distingue les algorithmes dotés de garanties rigoureuses de ceux qui sont purement heuristiques.

Résultats

L'auditeur a été évalué sur CIFAR-100 (utilisant un modèle TinyNet) et le jeu de données textuel Shakespeare (utilisant un LSTM). Les expériences ont couvert des algorithmes de désapprentissage certifiés et non certifiés.

Séparation nette entre méthodes certifiées et non certifiées

• Algorithmes certifiés : Les méthodes possédant des garanties formelles, telles que le Model Clipping (Koloskova et al., 2025) et le Rewind-to-Delete (R2D), ont systématiquement produit des valeurs de $\varepsilon_{LB}$ très faibles (souvent proches de 0). Cela indique que les preuves empiriques ne falsifient pas leurs garanties théoriques.
• Algorithmes non certifiés/heuristiques : Les méthodes dépourvues de garanties formelles, incluant le désapprentissage basé sur le Hessien, l'Interleaved Ascent-Descent (IDA), l'Ascension sur l'ensemble à oublier et le Fine-tuning pur sur l'ensemble de rétention, ont présenté des valeurs de $\varepsilon_{LB}$ élevées, dépassant fréquemment 50–60.
  • Notamment, la méthode basée sur le Hessien (Zhang et al., 2025), qui revendique une certification sous condition de convexité, a produit un $\varepsilon_{LB}$ de 142,5 sur CIFAR-100 (un régime non convexe), démontant que l'auditeur a réussi à signaler l'échec de la précondition de la méthode.
  • Le fine-tuning pur et l'ascension sur l'ensemble à oublier ont montré des bornes similaires et élevées, indiquant une faible performance de désapprentissage.

Impact des divisions de données

L'étude a observé que les divisions uniformes (où les ensembles à oublier et de rétention partagent un support de caractéristiques) résultaient généralement en des valeurs de $\varepsilon_{LB}$ plus élevées par rapport aux divisions adverses (classes d'étiquettes disjointes). Cela suggère que la mémorisation résiduelle et l'adjacence sémantique dans les divisions uniformes rendent le désapprentissage plus difficile à réaliser efficacement.

Régimes convexes vs non convexes

Dans les expériences sur les pertes convexes (cubiques et logistiques), l'écart entre le $\varepsilon$ certifié et le $\varepsilon_{LB}$ empirique était beaucoup plus faible que dans le contexte non convexe du deep learning. Cela confirme que l'auditeur est plus précis dans les contextes analytiquement traitables et que les bornes élevées observées en deep learning sont probablement dues à de véritables échecs de désapprentissage des méthodes heuristiques plutôt qu'à un simple manque de précision de l'auditeur.

Signification et affirmations

Le papier affirme fournir le premier outil pratique pour falsifier empiriquement les garanties de désapprentissage via un cadre de test d'hypothèse. Sa principale importance réside dans la valeur diagnostique de l'auditeur :

• Il révèle que les méthodes heuristiques, souvent utilisées en pratique pour leur efficacité, échouent fréquemment à supprimer l'influence des données, comme en témoignent les valeurs élevées de $\varepsilon_{LB}$.
• Il valide que les méthodes certifiées (lorsque leurs hypothèses sont respectées) maintent leurs garanties même face à un adversaire fort.
• Il souligne la fragilité des revendications de certification reposant sur des hypothèses (comme la convexité) qui peuvent ne pas se vérifier dans les scénarios réels de deep learning.

Les auteurs concluent que bien que leur analyse soit actuellement limitée à $\delta=0$, l'auditeur proposé offre un standard rigoureux pour évaluer l'efficacité des algorithmes de désapprentissage de machine, distinguant ceux qui possèdent de véritables garanties de ceux qui semblent simplement avoir oublié.