Résumé Technique : Inférence Statistique d'Appartenance (SMI) pour l'Audit Fiable des Modèles Oubliés

1. Énoncé du Problème

L'Oubli Machine (MU) est un mécanisme crucial pour faire respecter le « droit à l'oubli », permettant de supprimer des données d'entraînement spécifiques d'un modèle sans le réentraîner depuis zéro. Un défi central dans ce domaine est l'audit : vérifier de manière fiable si un modèle a véritablement oublié les données spécifiées.

Les normes d'audit actuelles reposent principalement sur les Attaques d'Inférence d'Appartenance (MIA). L'hypothèse prédominante est que si une MIA échoue à identifier un échantillon comme membre, le modèle l'a oublié avec succès. Les auteurs soutiennent que cette hypothèse est fondamentalement erronée pour deux raisons principales :

1. Biais d'Alignement : Les échantillons oubliés ($F_u$) occupent un espace de caractéristiques distinct à la fois des échantillons membres originaux ($F_m$) et des échantillons non-membres authentiques ($F_n$). Alors que $F_m$ contribue à des gradients positifs, $F_n$ ne contribue à aucun gradient, et $F_u$ induit des gradients négatifs. Les MIA conventionnelles supposent que $F_u$ s'aligne sur $F_n$ ; cependant, l'échec de l'inférence résulte souvent de ce désalignement plutôt que d'un véritable oubli, conduisant à un « oubli illusoire ».
2. Surcoût Computations : Les méthodes d'audit MIA les plus avancées (par exemple, LiRA, RMIA) nécessitent l'entraînement de nombreux « modèles ombres » pour établir des références, entraînant des coûts computationnels prohibitifs comparables au réentraînement du modèle cible lui-même.

2. Méthodologie : Inférence Statistique d'Appartenance (SMI)

Pour répondre au biais d'alignement et à l'inefficacité computationnelle, les auteurs proposent l'Inférence Statistique d'Appartenance (SMI), un cadre d'audit sans entraînement.

Fondement Théorique

L'article reformule le problème d'audit en utilisant la théorie du Transport Optimal. Au lieu de considérer l'oubli comme une tâche de classification binaire (membre vs non-membre), la SMI modélise la distribution des caractéristiques oubliées $F_u$ comme un mélange convexe de la distribution des membres $F_m$ et de la distribution des non-membres $F_n$ :
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
Ici, $\rho$ représente la proportion de mélange (ou taux d'oubli). L'objectif de l'audit passe de l'entraînement d'un classifieur à l'estimation de $\rho$. Les auteurs prouvent via la théorie PAC-Bayes (en utilisant la divergence $\chi^2$) que l'audit basé sur MIA souffre d'un terme d'erreur d'alignement inévitable, contrôlé par le décalage de distribution entre les données d'entraînement de l'attaquant et les données réellement oubliées.

Variantes Algorithmiques

La SMI estime $\rho$ en faisant correspondre les moments statistiques des distributions sans entraîner aucun modèle auxiliaire :

1. SMI (Moments d'Ordre Inférieur) :

   • Suppose que le modèle de mélange vaut pour les deux premiers moments (moyenne $\mu$ et covariance $\Sigma$).
   • Déduit une solution sous forme fermée en minimisant l'écart de la norme de Frobenius entre la covariance empirique des données oubliées et la covariance prédite par le modèle de mélange.
   • Résout une équation cubique univariée pour trouver le $\rho$ optimal.

2. SMI-M (Discrépance Maximale des Moyennes) :

   • Aborde l'instabilité de l'estimation de la covariance dans les espaces de haute dimension et les distributions non gaussiennes.
   • Incorpore les distributions de caractéristiques dans un Espace de Hilbert à Noyau Reproductible (RKHS) en utilisant des embeddings de moyenne de noyau.
   • Formule l'estimation comme un problème de programmation quadratique convexe pour minimiser la MMD entre la distribution oubliée et la combinaison convexe des distributions de membres et de non-membres.

Quantification de l'Incertitude

Contrairement aux méthodes MIA qui s'appuient sur des modèles ombres pour les intervalles de confiance, la SMI emploie le bootstrap sur l'ensemble des caractéristiques d'audit. En rééchantillonnant les données oubliées et en réestimant $\rho$, la SMI fournit des plages de référence (par exemple, du 5e au 95e percentile) pour quantifier la fiabilité du résultat de l'audit.

3. Contributions Clés

• Insight Théorique : L'article prouve que l'échec de l'inférence d'appartenance n'implique pas un véritable oubli en raison d'un « biais d'alignement » inhérent entre les échantillons oubliés et les non-membres. Il établit que l'audit doit mesurer les proportions de mélange distributionnel plutôt que le succès de la classification binaire.
• Cadre Sans Entraînement : La SMI élimine le besoin de modèles ombres et d'entraînement de classifieurs MIA, réduisant considérablement la surcharge computationnelle.
• Métriques de Fiabilité : Le cadre fournit des plages de référence basées sur le bootstrap, offrant une manière fondée d'évaluer la confiance des décisions d'audit.
• Supériorité Empirique : Des expériences extensives démontrent que la SMI (particulièrement SMI-M) surpasse constamment les références MIA existantes (y compris LiRA, RMIA, IAM et RULI) en précision d'estimation sur divers jeux de données (CIFAR-10/100, CINIC-10) et architectures de modèles (ResNet, ViT).

4. Résultats Expérimentaux

Les auteurs ont évalué la SMI contre sept références basées sur MIA dans des configurations en boîte blanche :

• Précision : SMI-M a atteint la précision d'estimation ($\rho^*$) la plus élevée sur tous les jeux de données, dépassant souvent 90 % de précision dans les scénarios d'oubli complet (cibles de réentraînement), tandis que les méthodes MIA ont montré une variance significative et une précision plus faible.
• Efficacité : Les variantes SMI n'ont requis qu'un seul passage d'inférence (plus le bootstrap) et aucun entraînement de modèle ombre. En revanche, les références MIA ont nécessité l'entraînement de 8 à 64 modèles ombres, résultant en des coûts computationnels d'ordres de grandeur supérieurs à ceux de la SMI.
• Robustesse : SMI-M est restée stable sous les variations des choix de noyaux et des largeurs de bande. La méthode a démontré des performances fiables avec aussi peu que 20 échantillons par classe, bien que les performances se soient améliorées avec des ensembles d'audit plus grands.
• Scénarios Pratiques : Lorsqu'appliquée aux méthodes d'oubli approximatif (FineTune, Fisher, Scrub), la SMI a réussi à différencier les niveaux variables d'oubli, identifiant Scrub comme la méthode approximative la plus efficace parmi celles testées.

5. Signification et Revendications

L'article positionne la SMI comme une alternative fondée et efficace à l'audit basé sur MIA. Sa signification réside dans :

1. Correction d'une Défaut Fondamental : Elle remet en question la dépendance de la communauté envers la MIA pour la vérification de l'oubli, démontrant que l'heuristique « attaque échouée = oublié » est structurellement infondée.
2. Évolutivité : En supprimant la dépendance aux modèles ombres, la SMI rend l'audit fiable réalisable pour les modèles à grande échelle où l'entraînement de modèles ombres est computationnellement prohibitif.
3. Garanties Théoriques : La méthode est ancrée dans les bornes PAC-Bayes et la théorie du transport optimal, fournissant une base mathématique rigoureuse pour l'audit des performances d'oubli.

Les auteurs concluent que la SMI établit une nouvelle norme pour l'audit des modèles oubliés, offrant à la fois des garanties théoriques et de fortes performances empiriques sans la charge computationnelle des approches précédentes.