🤖 AI

SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Dieses Paper stellt SUPREME vor, ein Open-Source-Multi-GPU-Framework, das darauf ausgelegt ist, die reproduzierbare Evaluierung von Image-Unlearning-Methoden durch die Verteilung rechenintensiver Trainings- und Testphasen auf mehrere Beschleuniger zu beschleunigen und zu standardisieren.

Ursprüngliche Autoren: Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Studenten, der eine riesige Bibliothek von Büchern studiert hat, um ein Experte zu werden. Plötzlich sagt der Bibliotheksbesitzer: „Bitte vergiss alles, was du über diese spezifischen fünf Bücher gelernt hast.“ Man kann nicht einfach die Seiten aus dem Gehirn des Studenten löschen; man muss ihn lehren, diese Informationen zu „entlernen“, ohne dass er dabei alles andere vergisst, was er weiß.

Dies ist das Problem des Machine Unlearning (Maschinelles Entlernen). Es geht darum, den Einfluss spezifischer Daten aus einem KI-Modell zu entfernen, ohne das gesamte Modell wegwerfen und von vorne beginnen zu müssen.

Das von Ihnen bereitgestellte Paper stellt ein neues Werkzeug namens SUPREME vor, das Forschern helfen soll herauszufinden, welche „Unlearning“-Techniken tatsächlich am besten funktionieren. Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und warum es wichtig ist.

Das Problem: Die „Ein-Seed“-Falle

Stellen Sie sich vor, Sie testen ein neues Rezept für einen Kuchen. Wenn Sie es einmal backen und es schmeckt gut, denken Sie vielleicht, das Rezept sei perfekt. Aber was, wenn Sie dieses eine Mal einfach nur Glück mit der Temperatur oder der Marke des Mehls hatten? Um sicherzugehen, müssen Sie diesen Kuchen zehnmal mit verschiedenen Chargen von Zutaten backen, um zu sehen, ob das Rezept konsistent gut ist.

In der KI-Forschung wird diese „Charge von Zutaten“ als Seed (ein zufälliger Startpunkt) bezeichnet.

Das Problem: Die meisten bisherigen Werkzeuge zum Testen von Unlearning konnten nur auf einem einzigen Computerchip (einer GPU) gleichzeitig laufen. Da das Training von KI langsam und teuer ist, konnten sich Forscher nur leisten, den Test ein oder zweimal durchzuführen.
Das Risiko: Wenn Sie den Test nur einmal durchführen, erhalten Sie möglicherweise ein glückliches Ergebnis, das nicht der Realität entspricht. Das Paper argumentiert, dass man den Test viele Male durchführen muss (über viele „Seeds“ hinweg), um zu wissen, ob eine Methode wirklich funktioniert.

Die Lösung: SUPREME

Die Autoren haben SUPRENE entwickelt, was für Standardised Unlearning Platform for Reproducible Method Evaluation steht. Betrachten Sie es als eine Hochgeschwindigkeits-Rennstrecke mit mehreren Spuren für KI-Experimente.

So funktioniert es anhand alltäglicher Analogien:

1. Die Multi-GPU-Autobahn
Frühere Werkzeuge waren wie eine einspurige Schotterstraße, auf der immer nur ein Auto (ein Experiment) fahren konnte. SUPREME ist eine Autobahn mit mehreren Spuren. Es verteilt die Arbeit gleichzeitig auf mehrere Grafikkarten (GPUs). Das bedeutet, dass Forscher dasselbe Experiment zehnmal in der Zeit durchführen können, die es früher für ein einziges Mal benötigt hätte. Dies ermöglicht es ihnen zu sehen, ob die Ergebnisse konsistent sind oder nur ein Zufallstreffer.

2. Der „Plug-and-Play“-Werkzeugkasten
Das Framework ist wie ein Lego-Set konzipiert.

Forscher können verschiedene Datensätze einsetzen (wie den im Paper verwendeten „Pins Face Recognition“-Datensatz).
Sie können verschiedene KI-Modelle einsetzen (wie ResNet18 oder ViT).
Sie können verschiedene Unlearning-Methoden einsetzen (wie „Bad Teacher“ oder „Selective Synaptic Dampening“).
Sie können verschiedene Wege zur Erfolgsmessung einsetzen.
Sie müssen nicht den gesamten Werkzeugkasten neu bauen, um ein neues Teil hinzuzufügen; Sie registrieren das neue Teil einfach, und das System erledigt den Rest.

3. Das Drei-Stufen-Rennen
Für jedes Experiment führt SUPREME einen dreistufigen Prozess aus:

Stufe 1 (Training): Die KI lernt aus der vollständigen Bibliothek der Daten.
Stufe 2 (Unlearning): Die KI versucht, spezifische Daten zu „vergessen“ (entweder eine ganze Kategorie, wie „alle Fotos von Bill Gates“, oder einen zufälligen Anteil von 0,1 % der Fotos). Sie erstellt auch ein „Gold Standard“-Modell, das ohne diese Daten von Grund auf neu trainiert wurde.
Stufe 3 (Evaluierung): Das System vergleicht die „entlernte“ KI mit dem „Gold Standard“. Es fragt: „Hat die KI das Ziel tatsächlich vergessen? Hat sie ihre Fähigkeiten auf den restlichen Daten behalten? Ist sie noch sicher?“

Was sie herausgefunden haben (Die Demo)

Die Autoren haben dieses System an einem Datensatz von Promi-Gesichtern (Pins Face Recognition) getestet. Sie baten die KI, bestimmte Personen (wie Hugh Jackman oder Bill Gates) oder eine zufällige Handvoll Fotos zu vergessen.

Die Überraschung: Als sie die Tests nur einmal durchführten, sahen die Ergebnisse sehr unterschiedlich aus im Vergleich dazu, als sie sie zehnmal durchführten. Einige Methoden sahen in einem einzelnen Durchlauf fantastisch aus, schnitten aber bei einer Mittelung über zehn Durchläufe schlecht ab.
Das Fazit: Dies beweist, dass das Durchführen mehrerer Seeds essenziell ist. Man kann ein einzelnes Testergebnis nicht vertrauen. Der „Zufall des Losverfahrens“ (die Zufälligkeit, wie die KI startet) verändert das Ergebnis erheblich.

Warum das wichtig ist

Das Paper behauptet nicht, eine neue Art des Datent verlernens erfunden zu haben. Stattdessen hat es das Lineal gebaut, um zu messen, wie gut bestehende Wege funktionieren.

Vor SUPREME: Forscher haben basierend auf einzelnen, potenziell glücklichen Experimenten geraten, welche Unlearning-Methode die beste ist.
Mit SUPREME: Können Forscher nun faire, groß angelegte Vergleiche durchführen, um zu sehen, welche Methoden wirklich robust sind und welche nur Glück hatten.

Zusammenfassung

SUPREME ist ein neues Open-Source-Werkzeug, das es Forschern ermöglicht, KI-„Unlearning“-Tests schneller und fairer durchzuführen, indem es mehrere Computerchips gleichzeitig nutzt. Es hat gezeigt, dass bisherige Tests oft zu klein waren, um zuverlässig zu sein, und dass man, um wirklich zu wissen, ob eine KI etwas „vergessen“ hat, sie viele Male testen muss und nicht nur einmal.

Hinweis: Das Paper konzentriert sich vollständig auf den technischen Rahmen und die Evaluierung von Methoden an einem spezifischen Datensatz von Promi-Gesichtern. Es diskutiert keine realen Anwendungen wie das Löschen von Nutzerdaten aus sozialen Medien, noch erhebt es Ansprüche auf klinische oder rechtliche Anwendungen.

Technische Zusammenfassung: SUPREME: Ein Multi-GPU-Framework für die reproduzierbare Evaluierung von Methoden des Bild-Unlearning

Problemstellung
Machine Unlearning zielt darauf ab, den Einfluss spezifischer Trainingsdaten aus einem trainierten Modell zu entfernen, ohne das Modell von Grund auf neu zu trainieren. Während zahlreiche approximative Methoden (z. B. Fine-Tuning, Destillation, Parameter-Wichtigkeits-Schemata) vorgeschlagen wurden, stellt deren Evaluierung eine erhebliche Herausforderung dar. Eine rigorose Evaluierung erfordert die Wiederholung der gesamten Pipeline – Training, Unlearning und Bewertung – über mehrere Zufallssamen (Random Seeds) hinweg, um die Stochastizität in den Initialgewichten, der Datenreihenfolge und den Unlearning-Operationen zu berücksichtigen. Bestehende Frameworks für das Unlearning in der Bildklassifikation (z. B. MUBox, ERASURE, Deep Unlearn) operieren typischerweise auf einer einzelnen GPU mit voller Präzision. Diese Einschränkung begrenzt die Anzahl der Seeds, die in einer angemessenen Zeitspanne evaluiert werden können, was zu irreführenden Schlussfolgerungen basierend auf Einzelsamen-Ergebnissen führen kann. Da zudem sowohl Modellarchitekturen (z. B. Vision Transformer) als auch Datensätze wachsen, steigt der Rechenaufwand dieser Evaluierungen, was eine effizientere Infrastruktur erforderlich macht.

Methodik: Das SUPREME-Framework
Die Autoren führen SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation) ein, ein Open-Source-Framework, das darauf ausgelegt ist, die Unlearning-Evaluierungs-Pipeline über mehrere GPUs zu verteilen. Das Framework basiert auf PyTorch und Lightning Fabric und unterstützt verteilte Strategien wie Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP) und DeepSpeed ZeRO.

Der Kern von SUPREME ist eine gesäte mehrstufige Pipeline (Algorithmus 1), die drei distinkte Phasen über $P$ Geräte hinweg ausführt:

Stufe 1 (Training): Ein Modell $M_o$ wird auf dem vollständigen Datensatz $D$ unter Verwendung eines spezifischen Trainings-Seeds trainiert.
Stufe 2 (Unlearning & Retraining): Für jedes Forget-Target definiert das Framework einen Forget-Set ( $D_f$ $D_{f}$ ) und einen Retain-Set ( $D_r$ $D_{r}$ ). Es führt dann Folgendes aus:
- Es trainiert ein Baseline-Modell $M_r$ von Grund auf auf $D_r$ unter Verwendung eines spezifischen Unlearning-Seeds.
- Es wendet eine Unlearning-Methode $a$ auf $M_o$ unter Verwendung von $D_f$ und $D_r$ an, um das ungelernte Modell $M_u$ zu erzeugen.
- Sowohl das Retraining als auch das Unlearning nutzen die Gradientensynchronisation über die Geräte hinweg.
Stufe 3 (Evaluierung): $M_u$ wird gegenüber $M_r$ unter Verwendung konfigurierter Metriken auf Testsets ( $D'_f$ und $D'_r$ ) evaluiert. Die Ergebnisse werden mittels einer All-Gather-Operation aggregiert.

Das Framework unterstützt zwei Unlearning-Szenarien:

Targeted Unlearning: Entfernt alle Samples, die mit einem spezifischen Klassenlabel assoziiert sind.
Random-Sample Unlearning: Entfernt eine zufällige Teilmenge von Samples (definiert durch einen Prozentsatz), die aus dem gesamten Datensatz gezogen wurde.

Hauptbeiträge
Das Paper skizziert drei primäre Beiträge:

Registry-basierte Erweiterbarkeit: SUPREME verwendet ein Design, bei dem Datensätze, Modellarchitekturen, Unlearning-Methoden, Evaluierungsmetriken und Szenarien über Modulpfade registriert werden. Neue Komponenten können hinzugefügt werden, indem man Standard-Schnittstellen implementiert und den Modulpfad registriert, ohne den Kerncode des Frameworks zu modifizieren.
Multi-GPU-Architektur: Im Gegensatz zu früheren Werkzeugen verteilt SUPREME Training, Unlearning und Evaluierung über mehrere Beschleuniger. Es unterstützt verschiedene Präzisionsmodi (z. B. Mixed Precision, 8-Bit/4-Bit via BitsandBytes) und verteilte Strategien, was die benötigte Zeit für Multi-Seed-Evaluierungen signifikant reduziert.
Demonstration an Pins Face Recognition: Die Autoren demonstrieren das Framework anhand des Pins Face Recognition Datensatzes mit ResNet18 und Vision Transformer (ViT) Architekturen. Sie evaluieren mehrere Unlearning-Methoden unter Full-Class- und Random-Sample-Szenarien über zehn Seeds hinweg.

Experimentelle Ergebnisse
Die Demonstration wurde auf einer einzelnen NVIDIA L40S GPU durchgeführt, um die numerische Parität mit Referenzimplementierungen zu wahren, obwohl das Framework die Multi-GPU-Ausführung unterstützt. Wichtige Erkenntnisse sind:

Varianz über Seeds hinweg: Die Studie hebt hervor, dass Einzelsamen-Ergebnisse hochgradig irreführend sein können. Beispielsweise zeigte im Random-Sample-Szenario die Genauigkeitsdifferenz auf dem Forget-Set ( $\Delta Acc_{D'_f}$ ) für "Random Labels" auf ResNet18 eine Standardabweichung von $\pm 34,03$ Prozentpunkten über zehn Seeds hinweg. Ähnlich zeigte "Selective Synaptic Dampening" auf ViT eine Abweichung von $\pm 37,99$ . Dies bestätigt, dass eine Multi-Seed-Evaluierung für konsistente Vergleiche notwendig ist.
Metriken-Sensitivität: Im Full-Class-Szenario waren die Unterschiede in den Membership Inference Attack (MIA) Differenzen ( $\Delta MIA$ ) über alle Methoden hinweg minimal (meist innerhalb von $\pm 0,05$ ) und konnten Methoden nicht unterscheiden. Im Gegensatz dazu variierten die Genauigkeitsunterschiede des Forget-Sets ( $\Delta Acc_{D'_f}$ ) signifikant (von 0,00 bis 89,44 auf ResNet18), was sie zu einer diskriminativeren Metrik in diesem Kontext macht.
Performance: Das Framework führte die vollständige Pipeline erfolgreich für sowohl ResNet18 als auch ViT aus, erfasste die durch verschiedene Seeds eingeführte Varianz und demonstrierte die Machbarkeit groß angelegter, reproduzierbarer Evaluierungen.

Bedeutung und Ansprüche
Die Autoren positionieren SUPREME als ein Werkzeug, um konsistente, reproduzierbare Vergleiche von Unlearning-Methoden zu ermöglichen, und adressieren damit die wachsende Komplexität von Modellen und die Notwendigkeit der Multi-Seed-Evaluierung. Sie stellen explizit klar, dass die berichteten Zahlen die Fähigkeiten des Frameworks charakterisieren und kein definitives Ranking der Unlearning-Methoden darstellen, da die Demonstration auf einen Datensatz, zwei Architekturen und ein einzelnes Gerät beschränkt war. Das Paper schließt mit dem Hinweis, dass zukünftige Arbeiten die Demonstration auf andere registrierte Komponenten ausweiten und unabhängige Seeds für die Trainings-, Unlearning- und Evaluierungsphasen verwenden werden, um die Quellen der Varianz weiter zu dekomponieren. Das Framework ist dazu bestimmt, das für die Reifung des Feldes des Machine Unlearnings erforderliche rigorose Benchmarking zu erleichtern.

Das Problem: Die „Ein-Seed“-Falle

Die Lösung: SUPREME

Was sie herausgefunden haben (Die Demo)

Warum das wichtig ist

Zusammenfassung

Mehr davon