🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

L'article introduit LoTUS, une nouvelle méthode d'apprentissage par désapprentissage (machine unlearning) efficace qui élimine l'influence des échantillons d'entraînement des modèles pré-entraînés en lissant les probabilités de prédiction vers une borne informationnelle, surpassant ainsi les méthodes de référence de l'état de l'art sur des jeux de données standards et à grande échelle sans nécessifier de réentraînement.

Auteurs originaux : Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent qui a mémorisé un manuel colossal. Cet étudiant est si doué qu'il peut réciter des faits spécifiques sur chaque page. Mais maintenant, imaginez une situation où quelques pages de ce manuel ont été écrites par quelqu'un qui souhaite rester anonyme, ou peut-être que ces pages contiennent des informations sensibles qui doivent être effacées.

Vous voulez que l'étudiant « oublie » complètement ces pages spécifiques, comme s'il ne les avait jamais vues, sans avoir à renvoyer l'étudiant à l'école pour relire l'intégralité du livre depuis le début. C'est le problème de l'Apprentissage Machine de l'Oubli (Machine Unlearning).

L'article présente une nouvelle méthode appelée LoTUS (Logits Tempering Unlearning Strategy) pour résoudre cela. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : L'étudiant « trop confiant »

Les modèles d'apprentissage profond (comme l'étudiant) mémorisent souvent des détails spécifiques des données sur lesquelles ils ont été entraînés. Si vous montrez une image de chat avec une cicatrice unique, ils n'apprennent pas seulement « chat » ; ils apprennent « chat avec cette cicace spécifique ».

À cause de cette mémorisation, le modèle devient trop confiant. Il dit : « Je suis sûr à 99,9 % qu'il s'agit de ce chat spécifique ! » Cela est dangereux car cela révèle que le modèle a déjà vu cette image spécifique auparavant. Des pirates peuvent utiliser cette excès de confiance pour déterminer si la photo d'une personne spécifique figurait dans les données d'entraînement (une attaque de confidentialité).

La Solution : LoTUS (La stratégie de « refroidissement »)

Au lieu de réentraîner tout le modèle (ce qui revient à faire relire toute la bibliothèque à l'étudiant), LoTUS « refroidit » doucement la confiance du modèle sur les images spécifiques qu'il doit oublier.

Imaginez la sortie du modèle comme un faisceau laser chaud et tranchant. LoTUS transforme ce laser en un projecteur doux et diffus.

Lissage des probabilités : La méthode prend les prédictions du modèle pour les images à « oublier » et les rend moins certaines. Elle répartit la confiance afin que le modèle ne soit plus aussi sûr de ces détails spécifiques.
L'objectif de la « Norme d'Or » : Le but est que le modèle se comporte sur ces images à « oublier » exactement comme il l'aurait fait s'il ne les avait jamais vues. S'il n'avait jamais vu le « chat cicatrisé », il serait moins sûr de lui. LoTUS force le modèle à être moins sûr, imitant cet état de « ne jamais avoir vu ».
Le bouton de réglage de la Température : La méthode utilise un réglage de « température » (comme un thermostat).
- Si le modèle est encore trop confiant (trop chaud), le système augmente la température pour rendre les prédictions plus aléatoires et incertaines.
- Si le modèle devient trop confus (trop froid), le système baisse la température pour affiner à nouveau la précision.
- Il ajuste constamment ce bouton jusqu'à ce que le comportement du modèle sur les images à « oublier » corresponde au comportement d'un modèle qui ne les a jamais vues.

Le Nouvel Outil : Le « Bulletin sans Réexamen »

Habituellement, pour prouver que vous avez réussi à faire oublier quelque chose à un étudiant, vous devez le renvoyer à l'école, lui réenseigner tout sans les mauvaises pages, et comparer les deux versions. C'est coûteux et lent.

Les auteurs ont inventé une nouvelle façon de vérifier le travail appelée RF-JSD (Jensen-Shannon Divergence sans réentraînement).

L'analogie : Au lieu de réenseigner à l'étudiant et de comparer les deux versions, vous regardez simplement ses réponses actuelles et les comparez à une « boîte mystère » de nouvelles questions inédites.
Si les réponses de l'étudiant aux questions à « oublier » ressemblent à ses réponses aux « nouvelles » questions (où il n'a aucun souvenir), vous savez qu'il a réussi à oublier.
Cela permet de vérifier les fuites de confidentialité sans avoir besoin de réentraîner le modèle, ce qui est crucial pour les ensembles de données massifs comme ImageNet où le réentraînement est impossible.

Ce qu'ils ont trouvé

Les chercheurs ont testé LoTUS sur divers modèles (comme les Vision Transformers et ResNet) et des jeux de données (allant de petits comme CIFAR aux massifs comme ImageNet).

Meilleur que les autres : LoTUS était plus rapide et plus efficace que toutes les autres méthodes contre lesquelles ils l'ont comparée.
Cela fonctionne sur de grandes données : Ils ont utilisé avec succès LoTUS sur ImageNet (plus d'un million d'images), un scénario où le réentraînement est pratiquement impossible.
Cela évite l'« Effet Streisand » : Parfois, quand on essaie de cacher quelque chose, on le rend plus visible. LoTUS évite cela ; il ne se contente pas de faire faire de mauvaises réponses au modèle (ce qui serait évident) ; il le rend véritablement incertain, ce qui est l'état naturel de l'ignorance.

En résumé

LoTUS est un « effaceur » intelligent pour l'IA. Il ne supprime pas tout le livre ; il se contente de rendre flou les passages spécifiques qui doivent être oubliés, garantissant que l'IA ne devienne pas trop confiante à leur sujet, tout en économisant un temps et une puissance de calcul considérables. Ils ont également construit une nouvelle règle (RF-JSD) pour mesurer l'efficacité de l'effacement sans avoir besoin de reconstruire toute la machine.

Résumé technique : LoTUS – Un apprentissage de l'oubli à grande échelle avec une touche d'incertitude

1. Énoncé du problème

L'apprentissage de l'oubli (Machine Unlearning - MU) vise à supprimer l'influence d'échantillons d'entraînement spécifiques (l'ensemble à oublier ou « forget set ») d'un modèle pré-entraîné sans avoir à réentraîner le modèle de zéro. Cela est crucial pour la protection de la vie privée, la conformité au droit d'auteur et l'atténuation des biais. Cependant, les méthodes existantes sont confrontées à trois défis majeurs :

Efficacité : Le réentraînement de zéro (le « gold standard » ou étalon) est trop coûteux en termes de calcul, particulièrement pour des jeux de données à grande échelle comme ImageNet1k.
Accessibilité des données : Dans des scénarios réels, l'accès complet aux données d'entraînement originales est souvent restreint en raison de politiques de confidentialité ou de limitations de stockage, rendant le réentraînement impossible.
Efficacité vs Rétention : Les méthodes doivent éliminer efficacement l'influence des échantillons à oublier tout en préservant l'utilité du modèle sur les données restantes. Les approches existantes peinent souvent à équilibrer ces objectifs concurrents ou échouent à approximer précisément les performances du modèle étalon.

Les techniques actuelles d'oubli se classent généralement en deux catégories : l'oubli exact (statistiquement indiscernable d'un réentraînement, mais souvent irréalisable) et l'oubli approximatif (utilisant diverses métriques pour mesurer la proximité avec l'étalon). Il existe un fossé important concernant les méthodes capables d'opérer efficacement sur des modèles à grande échelle sous des contraintes de données réalistes, tout en fournissant des métriques d'évaluation robustes qui ne nécessitent pas un modèle étalon réentraîné.

2. Méthodologie : LoTUS

Les auteurs proposent LoTUS (Logits Tempering Unlearning Strategy), une nouvelle approche qui opère directement dans l'espace de sortie du modèle en utilisant un cadre informationnel.

Concept central : Entropie et Incertitude

LoTUS s'attaque à la tendance des réseaux de neurones profonds (DNN) à mémoriser des caractéristiques propres à l'échantillon, ce qui conduit à des prédictions trop confiantes sur les données d'entraînement. Cette sur-confiance est une vulnérabilité exploitée par les attaques par inférence d'appartenance (Membership Inference Attacks - MIA). LoTUS cherche à lisser les probabilités de prédiction des échantillons à oublier pour augmenter leur entropie, afin que la réponse du modèle à ces échantillons ressemble à sa réponse face à des données non vues.

Cadre théorique

La méthode repose sur la séparation de l'information globale (caractéristiques partagées entre les classes, ex: une forme générale de chat) et de l'information spécifique au sous-ensemble (caractéristiques uniques d'échantillons spécifiques, ex: des motifs de fourrure uniques).

Objectif : Éliminer l'information spécifique au sous-ensemble ( $I(f_{orig}(X_f); X_f | X)$ ) tout en conservant l'information globale ( $I(f_{orig}(X_f); X)$ ).
Approximation : Comme l'estimation directe de l'information mutuelle est coûteuse en calcul, LoTUS approxime l'objectif d'oubli en égalisant la précision du modèle ayant subi l'oubli sur l'ensemble à oublier ( $D_f$ ) à la précision du modèle original pré-entraîné sur un ensemble non vu ( $D_u$ ) :
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
Ici, $D_u$ peut être un ensemble de validation ou des données synthétiques. Cela garantit que le modèle ayant subi l'oubli ne conserve pas la confiance « mémorisée » qu'il avait sur $D_f$ .

Implémentation : Température dynamique et Bruit de Gumbel

LoTUS utilise un cadre de distillation de connaissances où un modèle étudiant ( $f_{un}$ ) apprend d'un modèle enseignant ( $f_{orig}$ ).

Perturbation Gumbel-Softmax : Les logits de l'enseignant sont perturbés par un bruit de Gumbel ( $g \sim \text{Gumbel}(0,1)$ ) et un paramètre de température ( $\tau$ ) via la fonction Gumbel-Softmax. Cela introduit de la stochasticité et permet un échantillonnage différentiable.
Ajustement de la température dynamique : La température $\tau_d$ $τ_{d}$ est ajustée dynamiquement à chaque époque en fonction de l'écart de précision entre l'étudiant sur l'ensemble à oublier et l'enseignant sur l'ensemble non vu :
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- Si l'étudiant est trop précis sur $D_f$ (indiquant une mémorisation), $\tau_d > 1$ , lissant les probabilités pour augmenter l'entropie.
- Si l'étudiant est trop imprécis (sur-oubli), $\tau_d < 1$ , accentuant les probabilités pour restaurer l'utilité.
Fonction de perte : La fonction de perte combine un terme d'« oubli » (utilisant la sortie perturbée de l'enseignant avec $\tau_d$ dynamique) et un terme de « rétention » (utilisant la sortie de l'enseignant avec $\tau \to 0$ pour accentuer les prédictions et préserver l'utilité sur l'ensemble à conserver).

3. Principales contributions

Algorithme LoTUS : La première méthode d'oubli opérant directement dans l'espace de sortie via une borne informationnelle. Elle contrôle l'incertitude via un paramètre de température dynamique, évitant une maximisation indiscriminée de l'entropie.
Métrique RF-JSD : L'introduction de la Divergence de Jensen-Shannon sans réentraînement (RF-JSD). Cette métrique évalue l'efficacité de l'oubli en comparant la sortie du modèle ayant subi l'oubli sur l'ensemble à oublier avec la sortie du modèle original sur un ensemble non vu. Elle élimine le besoin d'un modèle étalon réentraîné, la rendant adaptée aux scénarios réels à grande échelle. La RF-JSD présente une forte corrélation de Pearson ( $0,92 \pm 0,04$ ) avec le score JSD établi.
Configuration expérimentale à grande échelle : Un nouveau cadre d'évaluation utilisant le jeu de données ImageNet1k (1,2 million d'échantillons) avec un accès restreint aux données, simulant les conditions où le réentraînement est irréalisable.

4. Résultats expérimentaux

Les auteurs ont évalué LoTUS sur des architectures Vision Transformer (ViT) et ResNet18 à travers cinq jeux de données : CIFAR-10, CIFAR-100, MUFAC, TinyImageNet et ImageNet1k.

Efficacité : LoTUS surpasse systématiquement huit bases de référence de l'état de l'art (incluant Finetuning, NegGrad+, SalUn et SCRUB) en termes de la métrique Avg Gap (équilibrant l'oubli et la rétention) et de JSD (mesurant la similitude de distribution avec l'étalon et la résilience à l'effet Streisand).
Efficience : LoTUS a démontré une efficacité de calcul supérieure, nécessitant souvent moins de temps que les autres méthodes. Cela est dû à sa capacité à n'utiliser qu'un faible pourcentage d'échantillons à conserver (30 %) et à sa complexité linéaire dans les calculs auxiliaires.
Performance à grande échelle : Sur ImageNet1k, où le réentraînement était impossible, LoTUS a obtenu le score RF-JSD le plus bas (1,11 contre 1,22 pour le modèle original, et plus élevé pour les autres méthodes), indiquant un oubli efficace. Elle a également préservé de manière unique la précision de rétention (Retain Accuracy) tout en réduisant significativement la précision des attaques par inférence d'appartenance (MIA).
Robustesse : La méthode est restée efficace même lorsque l'ensemble non vu consistait en des données synthétiques générées par IA (CIFAKE), validant la relaxation de l'hypothèse de similitude de distribution.

5. Signification et affirmations

L'article affirme que LoTUS représente une avancée significative dans l'apprentissage de l'oubli en :

Comblant le fossé : Fournissant une méthode qui est à la fois efficace et performante pour les modèles à grande échelle où le réentraînement est impraticable.
Applicabilité réelle : L'introduction de la métrique RF-JSD permet une évaluation rigoureuse dans les scénarios où le modèle étalon n'est pas disponible, une contrainte courante dans les industries sensibles à la confidentialité.
Rigueur théorique : Dépassant les approches heuristiques en ancrant le processus d'oubli dans la théorie de l'information, ciblant spécifiquement la suppression de l'information spécifique au sous-ensemble tout en préservant l'utilité globale.
Supériorité : Démontrant que LoTUS surpasse les méthodes actuelles de l'état de l'art pour équilibrer le compromis entre l'oubli de données spécifiques et le maintien des performances du modèle, tout en atténuant l'effet Streisand (où l'oubli rend par inadvertance les données plus identifiables).

Les auteurs notent que bien que le cadre s'étende à l'oubli de classe, leur validation expérimentale principale se concentre sur l'oubli par instance. Ce travail est présenté comme une étape vers un apprentissage automatique à grande échelle et respectueux de la vie privée dans des environnements contraints.