🤖 AI

SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Cet article présente SUPREME, un framework open-source multi-GPU conçu pour accélérer et standardiser l'évaluation reproductible des méthodes d'oubli d'images en distribuant les étapes d'entraînement et de test, coûteuses en termes de calcul, sur plusieurs accélérateurs.

Auteurs originaux : Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant qui a étudié une bibliothèque massive de livres pour devenir un expert. Soudain, le propriétaire de la bibliothèque lui dit : « S'il vous plaît, oubliez tout ce que vous avez appris sur ces cinq livres spécifiques ». Vous ne pouvez pas simplement effacer les pages du cerveau de l'étudiant ; vous devez lui apprendre à désapprendre cette information sans qu'il oublie tout le reste de ses connaissances.

C'est le problème de l'oubli machine (Machine Unlearning). Il s'agit de supprimer l'influence de données spécifiques d'un modèle d'IA sans avoir à jeter tout le modèle pour repartir de zéro.

Le document que vous avez fourni présente un nouvel outil appelé SUPREME pour aider les chercheurs à déterminer quelles techniques d'« oubli » fonctionnent réellement le mieux. Voici une décomposition simple de ce qu'ils ont fait et pourquoi cela est important.

Le Problème : Le piège de la « graine unique » (One-Seed Trap)

Imaginez que vous testez une nouvelle recette de gâteau. Si vous la cuisinez une seule fois et qu'elle est bonne, vous pourriez penser que la recette est parfaite. Mais et si, cette fois-là, vous aviez juste eu de la chance avec la température ou la marque de la farine ? Pour en être sûr, vous devez cuisiner ce gâteau dix fois avec différents lots d'ingrédients pour voir si la recette est constamment bonne.

En recherche d'IA, ce « lot d'ingrédients » est appelé une graine (seed - un point de départ aléatoire).

Le problème : La plupart des outils précédents pour tester l'oubli ne pouvaient fonctionner que sur une seule puce informatique (un seul GPU) à la fois. Comme l'entraînement de l'IA est lent et coûteux, les chercheurs ne pouvaient se permettre de lancer le test qu'une fois ou deux.
Le risque : Si vous ne faites le test qu'une seule fois, vous pourriez obtenir un résultat chanceux qui ne reflète pas la réalité. Le document soutient que vous devez lancer le test de nombreuses fois (à travers de nombreuses « graines ») pour savoir si une méthode fonctionne réellement.

La Solution : SUPREME

Les auteurs ont construit SUPREME, qui signifie Standardised Unlearning Platform for Reproducible Method Evaluation (Plateforme d'Oubli Standardisée pour l'Évaluation Reproductible des Méthodes). Voyez cela comme une piste de course à plusieurs voies à grande vitesse pour les expériences d'IA.

Voici comment cela fonctionne en utilisant des analogies de la vie quotidienne :

1. L'autoroute multi-GPU
Les outils précédents étaient comme une route de terre à voie unique où une seule voiture (une expérience) pouvait circuler à la fois. SUPREME est une autoroute à plusieurs voies. Elle répartit le travail sur plusieurs cartes graphiques (GPU) simultanément. Cela signifie que les chercheurs peuvent exécuter la même expérience dix fois dans le temps qu'il fallait auparavant pour l'exécuter une seule fois. Cela leur permet de voir si les résultats sont cohérents ou s'il s'agit d'un coup de chance.

2. La boîte à outils « Plug-and-Play »
Le framework est conçu comme un jeu de LEGO.

Les chercheurs peuvent y emboîter différents jeux de données (comme le jeu de données « Pins Face Recognition » utilisé dans le document).
Ils peuvent y emboîter différents modèles d'IA (comme ResNet18 ou ViT).
Ils peuvent y emboîter différentes méthodes d'oubli (comme « Bad Teacher » ou « Selective Synaptic Dampening »).
Ils peuvent y emboîter différentes manières de mesurer le succès.
Vous n'avez pas besoin de reconstruire toute la boîte à outils pour ajouter une nouvelle pièce ; il vous suffit d'enregistrer la nouvelle pièce, et le système s'occupe du reste.

3. La course en trois étapes
Pour chaque expérience, SUPREME exécute un processus en trois étapes :

Étape 1 (Entraînement) : L'IA apprend à partir de la bibliothèque complète de données.
Étape 2 (Oubli) : L'IA tente d'« oublier » des données spécifiques (soit une catégorie entière, comme « toutes les photos de Bill Gates », soit un échantillon aléatoire de 0,1 % des photos). Elle crée également un modèle « Gold Standard » (étalon-or) qui a été réentraîné à partir de zéro sans ces données.
Étape 3 (Évaluation) : Le système compare l'IA « oubliée » au modèle « Gold Standard ». Il demande : « L'IA a-t-elle réellement oublié la cible ? A-t-elle conservé ses compétences sur le reste des données ? Est-elle toujours sécurisée ? »

Ce qu'ils ont trouvé (La Démo)

Les auteurs ont testé ce système sur un ensemble de données de visages de célébrités (Pins Face Recognition). Ils ont demandé à l'IA d'oublier des personnes spécifiques (comme Hugh Jackman ou Bill Gates) ou une poignée de photos aléatoires.

La surprise : Lorsqu'ils ont lancé les tests une seule fois, les résultats semblaient très différents de lorsqu'ils les ont lancés dix fois. Certaines méthodes semblaient incroyables lors d'un seul passage, mais affichaient des performances médiocres lorsqu'elles étaient moyennées sur dix passages.
La conclusion : Cela prouve que lancer plusieurs graines est essentiel. Vous ne pouvez pas faire confiance au résultat d'un test unique. Le « hasard du tirage » (la façon dont l'IA commence de manière aléatoire) modifie considérablement le résultat.

Pourquoi cela importe

Le document ne prétend pas avoir inventé une nouvelle façon d'oublier des données. Au lieu de cela, il a construit la règle pour mesurer l'efficacité des méthodes existantes.

Avant SUPREME : Les chercheurs devinaient quelle méthode d'oubli était la meilleure en se basant sur des expériences uniques, potentiellement chanceuses.
Avec SUPREME : Les chercheurs peuvent désormais effectuer des comparaisons équitables et à grande échelle pour voir quelles méthodes sont réellement robustes et lesquelles sont simplement chanceuses.

Résumé

SUPREME est un nouvel outil open-source qui permet aux chercheurs de tester l'« oubli » de l'IA plus rapidement et plus équitablement en utilisant plusieurs puces informatiques à la fois. Il a montré que les tests précédents étaient souvent trop limités pour être fiables, et que pour savoir réellement si une IA a « oublié » quelque chose, il faut la tester de nombreuses fois, et non une seule.

Note : Le document se concentre entièrement sur le cadre technique et l'évaluation des méthodes sur un ensemble de données spécifique de visages de célébrités. Il ne traite pas des applications concrètes comme la suppression de données utilisateur des réseaux sociaux, et ne fait aucune affirmation concernant des utilisations cliniques ou juridiques.

Résumé Technique : SUPREME : Un cadre multi-GPU pour l'évaluation reproductible des méthodes d'oubli d'images

Énoncé du Problème
L'oubli de données (machine unlearning) vise à supprimer l'influence de données d'entraînement spécifiques d'un modèle entraîné sans avoir à le réentraîner de zéro. Bien que de nombreuses méthodes approximatives (par exemple, le fine-tuning, la distillation, les schémas basés sur l'importance des paramètres) aient été proposées, leur évaluation présente des défis importants. Une évaluation rigoureuse nécessite de répéter l'intégralité du pipeline — entraînement, oubli et évaluation — sur plusieurs graines aléatoires (seeds) pour tenir compte de la stochasticité des poids initiaux, de l'ordre des données et des opérations d'oubli. Les cadres d'évaluation existants pour la classification d'images (par exemple, MUBox, ERASURE, Deep Unlearn) fonctionnent généralement sur un seul GPU en précision complète. Cette limitation restreint le nombre de graines pouvant être évaluées dans un délai raisonnable, ce qui peut conduire à des conclusions trompeuses basées sur des résultats à graine unique. De plus, à mesure que les architectures de modèles (par exemple, les Vision Transformers) et les ensembles de données croissent, le coût computationnel de ces évaluations augmente, nécessissant une infrastructure plus efficace.

Méthodologie : Le Cadre SUPREME
Les auteurs présentent SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation), un cadre open-source conçu pour distribuer le pipeline d'évaluation de l'oubli sur plusieurs GPU. Le cadre est construit sur PyTorch et Lightning Fabric, prenant en charge des stratégies distribuées telles que le Distributed Data Parallel (DDP), le Fully Sharded Data Parallel (FSDP) et le DeepSpeed ZeRO.

Le cœur de SUPREME est un pipeline multi-étapes par graine (Algorithme 1) qui exécute trois étapes distinctes sur $P$ dispositifs :

Étape 1 (Entraînement) : Un modèle $M_o$ est entraîné sur l'ensemble de données complet $D$ en utilisant une graine d'entraînement spécifique.
Étape 2 (Oubli et Réentraînement) : Pour chaque cible d'oubli, le cadre définit un ensemble à oublier ( $D_f$ $D_{f}$ ) et un ensemble à conserver ( $D_r$ $D_{r}$ ). Il procède ensuite à :
- Le réentraînement d'un modèle de référence $M_r$ à partir de zéro sur $D_r$ en utilisant une graine d'oubli spécifique.
- L'application d'une méthode d'oubli $a$ à $M_o$ en utilisant $D_f$ et $D_r$ pour produire le modèle oublié $M_u$ .
- Le réentraînement et l'oubli utilisent tous deux la synchronisation des gradients entre les dispositifs.
Étape 3 (Évaluation) : $M_u$ est évalué par rapport à $M_r$ à l'aide de métriques configurées sur des ensembles de test ( $D'_f$ et $D'_r$ ). Les résultats sont agrégés via une opération d'all-gather.

Le cadre prend en charge deux scénarios d'oubli :

Oubli Ciblé : Supprime tous les échantillons associés à une étiquette de classe spécifique.
Oubli d'Échantillons Aléatoires : Supprime un sous-ensemble aléatoire d'échantillons (défini par un pourcentage) tirés de l'ensemble de données complet.

Contributions Clés
L'article expose trois contributions principales :

Extensibilité basée sur un Registre : SUPREME emploie une conception où les ensembles de données, les architectures de modèles, les méthodes d'oubli, les métriques d'évaluation et les scénarios sont enregistrés via des chemins de modules. De nouveaux composants peuvent être ajoutés en implémentant des interfaces standards et en enregistrant le chemin du module, sans modifier le code central du cadre.
Architecture Multi-GPU : Contrairement aux outils précédents, SUPREME distribue l'entraînement, l'oubli et l'évaluation sur plusieurs accélérateurs. Il prend en charge divers modes de précision (par exemple, précision mixte, 8-bit/4-bit via BitsandBytes) et des stratégies distribuées, réduisant considérablement le temps requis pour les évaluations multi-graines.
Démonstration sur la Reconnaissance Faciale Pins : Les auteurs démontrent le cadre en utilisant l'ensemble de données de reconnaissance faciale Pins avec les architectures ResNet18 et Vision Transformer (ViT). Ils évaluent plusieurs méthodes d'oubli sous des scénarios de classe complète et d'échantillons aléatoires sur dix graines.

Résultats Expérimentaux
La démonstration a été menée sur un seul GPU NVIDIA L40S pour maintenir la parité numérique avec les implémentations de référence, bien que le cadre supporte l'exécution multi-GPU. Les principales conclusions incluent :

Variance Inter-Graines : L'étude souligne que les résultats à graine unique peuvent être très trompeurs. Par exemple, dans le scénario d'échantillons aléatoires, la différence de précision sur l'ensemble à oublier ( $\Delta Acc_{D'_f}$ ) pour "Random Labels" sur ResNet18 a montré un écart-type de $\pm 34,03$ points de pourcentage sur dix graines. De même, "Selective Synaptic Dampening" sur ViT a montré une déviation de $\pm 37,99$ . Cela confirme qu'une évaluation multi-graines est nécessaire pour des comparaisons cohérentes.
Sensibilité des Métriques : Dans le scénario de classe complète, les différences d'attaque d'inférence d'appartenance (MIA) ( $\Delta MIA$ ) étaient minimales pour toutes les méthodes (principalement dans $\pm 0,05$ ), ne parvenant pas à distinguer les méthodes. Inversement, les différences de précision de l'ensemble à oublier ( $\Delta Acc_{D'_f}$ ) variaient considérablement (de 0,00 à 89,44 sur ResNet18), prouvant qu'il s'agit d'une métrique plus discriminante dans ce contexte.
Performance : Le cadre a exécuté avec succès le pipeline complet pour ResNet18 et ViT, capturant la variance introduite par les différentes graines et démontrant la faisabilité d'une évaluation reproductible à grande échelle.

Signification et Revendications
Les auteurs positionnent SUPREME comme un outil permettant des comparaisons cohérentes et reproductibles des méthodes d'oubli, répondant à la complexité croissante des modèles et à la nécessité de l'évaluation multi-graines. Ils précisent explicitement que les chiffres rapportés caractérisent les capacités du cadre plutôt que de fournir un classement définitif des méthodes d'oubli, car la démonstration était limitée à un seul ensemble de données, deux architectures et un seul dispositif. L'article conclut que les travaux futurs étendront la démonstration à d'autres composants enregistrés et utiliseront des graines indépendantes pour les étapes d'entraînement, d'oubli et d'évaluation afin de décomposer davantage les sources de variance. Le cadre est destiné à faciliter le benchmarking rigoureux requis à mesure que le domaine de l'oubli de machine mûrit.

Le Problème : Le piège de la « graine unique » (One-Seed Trap)

La Solution : SUPREME

Ce qu'ils ont trouvé (La Démo)

Pourquoi cela importe

Résumé

Articles similaires