🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

Das Papier stellt LoTUS vor, eine neuartige und effiziente Methode des Machine Unlearning, die den Einfluss von Trainingsbeispielen auf vortrainierte Modelle eliminiert, indem sie die Vorhersagewahrscheinlichkeiten auf eine informationstheoretische Schranke glättet und dadurch sowohl auf Standard- als auch auf groß angelegten Datensätzen die aktuellen State-of-the-Art-Baselines übertrifft, ohne dass ein erneutes Training erforderlich ist.

Ursprüngliche Autoren: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler, der ein massives Lehrbuch auswendig gelernt hat. Dieser Schüler ist so gut, dass er spezifische Fakten über jede einzelne Seite rezitieren kann. Aber stellen Sie sich nun eine Situation vor, in der einige Seiten dieses Lehrbuchs von jemandem geschrieben wurden, der anonym bleiben möchte, oder in denen diese Seiten sensible Informationen enthalten, die gelöscht werden müssen.

Sie möchten, dass der Schüler diese spezifischen Seiten komplett „vergisst“, als hätte er sie nie gesehen, ohne den Schüler zurück in die Schule schicken zu müssen, um das gesamte Buch von vorne zu lesen. Das ist das Problem des Machine Unlearning (Maschinelles Vergessen).

Das Paper stellt eine neue Methode namens LoTUS (Logits Tempering Unlearning Strategy) vor, um dieses Problem zu lösen. So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Der „überhebliche“ Schüler

Deep-Learning-Modelle (wie der Schüler) „merken“ sich oft spezifische Details über die Daten, mit denen sie trainiert wurden. Wenn man ihnen das Bild einer Katze mit einer einzigartigen Narbe zeigt, lernen sie nicht nur „Katze“; sie lernen „Katze mit dieser spezifischen Narbe“.

Aufgrund dieses Auswendiglernens wird das Modell übermäßig selbstbewusst (over-confident). Es sagt: „Ich bin mir zu 99,9 % sicher, dass dies genau diese spezifische Katze ist!“ Das ist gefährlich, denn es offenbart, dass das Modell dieses spezifische Bild zuvor gesehen hat. Hacker können diese Überentschlossenheit nutzen, um herauszufinden, ob das Foto einer bestimmten Person in den Trainingsdaten enthalten war (ein Privacy Attack).

Die Lösung: LoTUS (Die „Abkühlungs“-Strategie)

Anstatt das gesamte Modell neu zu trainieren (was so wäre, als müsste der Schüler die ganze Bibliothek noch einmal lesen), kühlt LoTUS das Selbstvertrauen des Modells bei den spezifischen Bildern, die es vergessen soll, sanft ab.

Stellen Sie sich die Ausgabe des Modells als einen heißen, scharfen Laserstrahl vor. LoTUS verwandelt diesen Laser in einen weichen, diffusen Scheinwerfer.

Glättung der Wahrscheinlichkeiten: Die Methode nimmt die Vorhersagen des Modells für die „Vergessen“-Bilder und macht sie weniger sicher. Sie verteilt das Vertrauen so, dass das Modell bei diesen spezifischen Details nicht mehr so sicher ist.
Das „Goldstandard“-Ziel: Das Ziel ist es, dass das Modell bei den „Vergessen“-Bildern exakt so reagiert, wie es reagiert hätte, wenn es diese nie gesehen hätte. Wenn das Modell die „narbige Katze“ nie gesehen hätte, wäre es sich bei ihr weniger sicher. LoTUS zwingt das Modell dazu, weniger sicher zu sein, um diesen Zustand des „Niemals-Gesehen-Habens“ nachzuahmen.
Der Temperaturregler: Die Methode verwendet eine „Temperatur“-Einstellung (wie einen Thermostat).
- Wenn das Modell noch zu selbstbewusst ist (zu heiß), dreht das System die Temperatur hoch, um die Vorhersagen zufälliger und unsicherer zu machen.
- Wenn das Modell zu verwirrt ist (zu kalt), dreht es die Temperatur wieder herunter, um den Fokus zu schärfen.
- Es passt diesen Regler ständig an, bis das Verhalten des Modells bei den „Vergessen“-Bildern dem Verhalten eines Modells entspricht, das sie nie gesehen hat.

Das neue Werkzeug: Die „Kein-Nachprüfungs“-Skala

Normalerweise muss man, um zu beweisen, dass man einen Schüler erfolgreich etwas vergessen lassen hat, ihn zurück in die Schule schicken, ihm alles ohne die schlechten Seiten neu lehren und die beiden Versionen vergleichen. Das ist teuer und langsam.

Die Autoren haben einen neuen Weg entwickelt, um die Arbeit zu überprüfen, genannt RF-JSD (Retrain-Free Jensen-Shannon Divergence).

Die Analogie: Anstatt den Schüler neu zu unterrichten und die beiden Versionen zu vergleichen, schauen Sie sich einfach die aktuellen Antworten des Schülers an und vergleichen sie mit einer „Geheimbox“ neuer, ungesehener Fragen.
Wenn die Antworten des Schülers auf die „Vergessen“-Fragen ähnlich aussehen wie seine Antworten auf die „neuen“ Fragen (bei denen er kein Gedächtnis hat), wissen Sie, dass er erfolgreich vergessen hat.
Dies ermöglicht es Ihnen, Datenschutzverletzungen zu prüfen, ohne das Modell neu trainieren zu müssen, was bei riesigen Datensätzen wie ImageNet, wo ein erneutes Training praktisch unmöglich ist, entscheidend ist.

Was sie herausgefunden haben

Die Forscher haben LoTUS an verschiedenen Modellen (wie Vision Transformern und ResNet) und Datensätzen (von kleinen wie CIFAR bis hin zum massiven ImageNet) getestet.

Besser als die anderen: LoTUS war schneller und effektiver als alle anderen Methoden, mit denen es verglichen wurde.
Es funktioniert bei großen Datenmengen: Sie haben es erfolgreich auf ImageNet (über 1 Million Bilder) angewendet – ein Szenario, in dem ein erneutes Training praktisch unmöglich ist.
Es vermeidet den „Streisand-Effekt“: Manchmal bewirkt man, dass etwas erst recht auffällt, wenn man versucht, es zu verstecken. LoTUS vermeidet dies; es lässt das Modell nicht einfach nur falsch raten (was offensichtlich wäre), sondern es macht es aufrichtig unsicher, was der natürliche Zustand des Nichtwissens ist.

Zusammenfassend

LoTUS ist ein cleverer „Radiergummi“ für KI. Es löscht nicht das ganze Buch; es verschwommen nur sanft die spezifischen Seiten, die vergessen werden sollen. So wird sichergestellt, dass die KI bei diesen Seiten nicht zu selbstbewusst wird, während gleichzeitig massiv Zeit und Rechenleistung gespart werden. Sie haben auch ein neues Lineal (RF-JSD) gebaut, um zu messen, wie gut das Löschen funktioniert, ohne die gesamte Maschine neu aufbauen zu müssen.

Technisches Resümee: LoTUS – Large-Scale Machine Unlearning mit einem Hauch von Unsicherheit

1. Problemstellung

Machine Unlearning (MU) zielt darauf ab, den Einfluss spezifischer Trainingsbeispiele (das „Forget Set“) aus einem vortrainierten Modell zu entfernen, ohne das Modell von Grund auf neu trainieren zu müssen. Dies ist entscheidend für den Datenschutz, die Einhaltung von Urheberrechten und die Minderung von Bias. Bestehende Methoden stehen jedoch vor drei primären Herausforderungen:

Effizienz: Das Training von Grund auf (der „Goldstandard“) ist rechentechnisch prohibitiv, insbesondere bei groß angelegten Datensätzen wie ImageNet1k.
Datenzugänglichkeit: In realen Szenarien ist der volle Zugriff auf die ursprünglichen Trainingsdaten aufgrund von Datenschutzrichtlinien oder Speicherbeschränkungen oft eingeschränkt, was ein erneutes Training unmöglich macht.
Effektivität vs. Erhalt: Methoden müssen den Einfluss von Vergessens-Beispielen effektiv eliminieren und gleichzeitig den Nutzen des Modells auf den verbleibenden Daten bewahren. Bestehende Ansätze haben oft Schwierigkeiten, diese konkurrierenden Ziele auszubalancieren oder die Leistung des Goldstandards präzise zu approximieren.

Aktuelle Unlearning-Techniken fallen im Allgemeinen unter exaktes Unlearning (statistisch ununterscheidbar vom erneuten Training, aber oft nicht durchführbar) oder approximatives Unlearning (unter Verwendung verschiedener Metriken, um die Nähe zum Goldstandard zu messen). Es besteht eine signifikante Lücke bei Methoden, die effizient auf groß angelegten Modellen unter realistischen Datenbeschränkungen operieren können und gleichzeitig robuste Evaluierungsmetriken bieten, die keinen neu trainierten Goldstandard-Modellbedarf haben.

2. Methodik: LoTUS

Die Autoren schlagen LoTUS (Logits Tempering Unlearning Strategy) vor, einen neuartigen Ansatz, der direkt im Output-Raum des Modells unter Verwendung eines informationstheoretischen Frameworks operiert.

Kernkonzept: Entropie und Unsicherheit

LoTion US adressiert die Tendenz von Deep Neural Networks (DNNs), probenspezifische Merkmale zu memorieren, was zu übermäßig konfidenten Vorhersagen auf Trainingsdaten führt. Diese Überkonfidenz ist eine Schwachstelle, die von Membership Inference Attacks (MIAs) ausgenutzt wird. LoTUS zielt darauf ab, die Vorhersagewahrscheinlichkeiten der Vergessens-Samples zu glätten, um deren Entropie zu erhöhen, wodurch die Reaktion des Modells auf diese Samples der Reaktion auf ungesehene Daten ähnelt.

Theoretisches Framework

Die Methode basiert auf der Trennung von globaler Information (gemeinsame Merkmale über eine Klasse hinweg, z. B. allgemeine Katzenform) und subset-spezifischer Information (einzigartige Merkmale spezifischer Proben, z. B. einzigartige Fellmuster).

Ziel: Eliminierung der subset-spezifischen Information ( $I(f_{orig}(X_f); X_f | X)$ ) bei gleichzeitiger Beibehaltung der globalen Information ( $I(f_{orig}(X_f); X)$ ).
Approximation: Da die direkte Schätzung der gegenseitigen Information (Mutual Information) rechenintensiv ist, approximiert LoTUS das Unlearning-Ziel, indem es die Genauigkeit des unlearned Modells auf dem Vergessens-Set ( $D_f$ ) mit der Genauigkeit des ursprünglichen vortrainierten Modells auf einem ungesehenen Set ( $D_u$ ) gleichsetzt:
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
Hierbei kann $D_u$ ein Validierungsset oder synthetische Daten sein. Dies stellt sicher, dass das unlearned Modell nicht die „memorierte“ Konfidenz beibehält, die es auf $D_f$ hatte.

Implementierung: Dynamische Temperatur und Gumbel-Rauschen

LoTUS verwendet ein Knowledge-Distillation-Framework, bei dem ein Student-Modell ( $f_{un}$ ) von einem Teacher-Modell ( $f_{orig}$ ) lernt.

Gumbel-Softmax-Perturbation: Die Logits des Teachers werden mittels Gumbel-Rauschen ( $g \sim \text{Gumbel}(0,1)$ ) und einem Temperaturparameter ( $\tau$ ) über die Gumbel-Softmax-Funktion perturbiert. Dies führt Stochastizität ein und ermöglicht differentiierbares Sampling.
Dynamische Temperaturanpassung: Die Temperatur $\tau_d$ $τ_{d}$ wird in jeder Epoche basierend auf der Genauigkeitsdifferenz des Studenten auf dem Vergessens-Set und des Teachers auf dem ungesehenen Set dynamisch angepasst:
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- Ist der Student zu genau auf $D_f$ (was auf Memorierung hindeutet), ist $\tau_d > 1$ , was die Wahrscheinlichkeiten glättet, um die Entropie zu erhöhen.
- Ist der Student zu ungenau (Over-Unlearning), ist $\tau_d < 1$ , was die Wahrscheinlichkeiten schärft, um den Nutzen wiederherzustellen.
Loss-Funktion: Die Loss-Funktion kombiniert einen „Forget“-Term (unter Verwendung der perturbierten Teacher-Outputs mit dynamischem $\tau_d$ ) und einen „Retain“-Term (unter Verwendung der Teacher-Outputs mit $\tau \to 0$ , um die Vorhersagen zu schärfen und den Nutzen auf dem Retain-Set zu bewahren).

3. Zentrale Beiträge

LoTUS-Algorithmus: Die erste Unlearning-Methode, die direkt im Output-Raum unter Verwendung einer informationstheoretischen Schranke operiert. Sie steuert die Unsicherheit über einen dynamischen Temperaturparameter und vermeidet so eine wahllose Maximierung der Entropie.
RF-JSD-Metrik: Die Einführung der Retrain-Free Jensen-Shannon Divergence (RF-JSD). Diese Metrik evaluiert die Effektivität des Unlearnings durch den Vergleich des Outputs des unlearned Modells auf dem Vergessens-Set mit dem Output des Originalmodells auf einem ungesehenen Set. Sie eliminiert die Notwendigkeit eines neu trainierten Goldstandard-Modells und ist somit für reale, groß angelegte Szenarien geeignet. RF-JSD zeigt eine starke Pearson-Korrelation ( $0.92 \pm 0.04$ ) mit dem etablierten JSD-Score.
Groß angelegtes Experimentelles Setup: Ein neuartiges Evaluationsframework unter Verwendung des ImageNet1k-Datensatzes (1,2 Mio. Samples) mit eingeschränktem Datenzugriff, welches Bedingungen simuliert, unter denen ein erneutes Training unpraktikabel ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LoTUS auf Vision Transformer (ViT) und ResNet18 Architekturen über fünf Datensätze hinweg: CIFAR-10, CIFAR-100, MUFAC, TinyImageNet und ImageNet1k.

Effektivität: LoTUS übertraf konsistent acht State-of-the-Art-Baselines (einschließlich Finetuning, NegGrad+, SalUn und SCRUB) in Bezug auf die Avg Gap Metrik (Balance zwischen Vergessen und Erhalt) und JSD (Messung der Verteilungsähnlichkeit zum Goldstandard und Resilienz gegen den Streisand-Effekt).
Effizienz: LoTUS demonstrierte eine überlegene Recheneffizienz und benötigte oft weniger Zeit als die Baselines. Dies wird auf die Fähigkeit zurückgeführt, nur einen kleinen Prozentsatz der Retain-Samples (30%) zu verwenden, sowie auf die lineare Komplexität der Hilfsberechnungen.
Leistung bei großen Skalen: Auf ImageNet1k, wo ein erneutes Training unmöglich war, erreichte LoTUS den niedrigsten RF-JSD-Score (1.11 vs. 1.22 für das Originalmodell, und höher für die Baselines), was auf effektives Unlearning hindeutet. Es bewahrte zudem einzigartig die Retain Accuracy, während es die Membership Inference Attack (MIA) Genauigkeit signifikant reduzierte.
Robustheit: Die Methode blieb effektiv, selbst wenn das ungesehene Set aus synthetischen KI-generierten Daten (CIFAKE) bestand, was die Lockerung der Annahme der Verteilungsähnlichkeit validiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LoTUS einen signifikanten Fortschritt im Machine Unlearning darstellt, indem es:

Die Lücke schließt: Eine Methode bereitstellt, die sowohl effektiv als auch effizient für groß angelegte Modelle ist, bei denen ein erneutes Training unpraktikabel ist.
Reale Anwendbarkeit bietet: Die Einführung der RF-JSD-Metrik ermöglicht eine rigorose Evaluierung in Szenarien, in denen der Goldstandard nicht verfügbar ist – eine häufige Einschränkung in datenschutzsensiblen Branchen.
Theoretische Stringenz liefert: Über heuristische Ansätze hinausgeht, indem es den Unlearning-Prozess in der Informationstheorie verankert, speziell auf die Entfernung subset-spezifischer Informationen bei gleichzeitiger Bewahrung der globalen Nützlichkeit abzielt.
Überlegenheit demonstriert: Zeigt, dass LoTUS bestehende State-of-the-Art-Methoden bei der Balance zwischen dem Vergessen spezifischer Daten und der Aufrechterhaltung der Modellleistung übertrifft und gleichzeitig den Streisand-Effekt (bei dem Unlearning unbeabsichtigt Daten identifizierbarer macht) mildert.

Die Autoren merken an, dass das Framework auf Class Unlearning erweiterbar ist, ihre primäre experimentelle Validierung sich jedoch auf das Instance-wise Unlearning konzentriert. Die Arbeit wird als Schritt in Richtung skalierbarem, datenschutzbewusstem maschinellem Lernen in beschränkten Umgebungen präsentiert.