🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

Dieser Artikel stellt RULER vor, eine Reihe von Verifikationsmetriken auf Repräsentationsebene, die eine signifikante verbleibende Memorierung in Methoden des maschinellen Vergessens aufdecken, die unter traditionellen Evaluierungen auf Ausgabeebene erfolgreich erscheinen.

Ursprüngliche Autoren: Georgina Cosma, Axel Finke

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Georgina Cosma, Axel Finke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Studenten, der ein massives Lehrbuch studiert hat, um ein Experte zu werden. Eines Tages sagt der Verlag zum Studenten: „Bitte vergessen Sie alles, was Sie über Kapitel 5 gelernt haben." Der Student möchte gehorchen, kann das Buch aber nicht einfach verbrennen und von vorne beginnen; das würde zu viel Zeit und Energie kosten. Also versucht er, Kapitel 5 zu „verlernen", indem er diese spezifischen Seiten mental auslöscht, während er sein Wissen über den Rest des Buches intakt hält.

Dieser Artikel, RULER, handelt davon zu prüfen, ob der Student tatsächlich eine gute Arbeit beim Vergessen geleistet hat.

Das Problem: Das „Fake-Vergessen"

Derzeit prüfen Lehrer (oder Prüfer), ob der Student vergessen hat, indem sie zwei einfache Fragen stellen:

Der Test: Kann der Student immer noch Fragen über den Rest des Buches korrekt beantworten? (Ja, das kann er.)
Das Ratespiel: Wenn wir dem Studenten einen Satz aus Kapitel 5 zeigen und fragen: „Haben Sie das studiert?", können sie uns das sagen? (Im Idealfall sollten sie zufällig raten, wie beim Münzwurf.)

Die Autoren entdeckten eine Lücke. Sie stellten fest, dass ein Student beide Tests perfekt bestehen kann, aber dennoch den „Geist" von Kapitel 5 in seinem Gehirn hat. Es ist wie ein Magier, der erfolgreich ein Kaninchen aus einem Hut verschwinden lässt (die Ausgabe), aber das Kaninchenfell immer noch heimlich in seiner Tasche hält (das interne Gedächtnis). Die Antworten des Studenten sehen sauber aus, aber sein Denkprozess erinnert sich immer noch an das verbotene Kapitel.

Die Lösung: RULER (Die „Röntgen"-Brille)

Die Autoren schufen einen neuen Satz von Werkzeugen namens RULER (Representation-Level Verification). Anstatt nur den Antworten des Studenten zuzuhören, schaut RULER in das Gehirn des Studenten, um zu sehen, wie seine Gedanken organisiert sind.

Sie verwenden zwei Haupt„Linsen" (Metriken), um dies zu prüfen:

Linse 1: Der „Goldstandard"-Vergleich (Metrik M2)

Stellen Sie sich einen „Goldstandard"-Studenten vor, der Kapitel 5 überhaupt nie gesehen hat.

Der Test: RULER vergleicht die „Denkmuster" des Studenten, der versucht hat, Kapitel 5 zu vergessen, mit denen des Goldstandard-Studenten.
Die Erkenntnis: Obwohl der „verlernende" Student den Test besteht, behandelt sein Gehirn Kapitel 5 immer noch anders als der Goldstandard-Student. Es ist wie der Vergleich zweier Karten: Eine ist eine perfekte Karte einer Stadt ohne einen bestimmten Park, die andere eine Karte, auf der jemand versucht hat, den Park auszulöschen, aber eine schwache, geisterhafte Umrisse hinterlassen hat. Die Umrisse stimmen nicht überein.
Das Ergebnis: In ihren Experimenten hinterließen fast alle Methoden, die zum „Verlernen" verwendet wurden, diese geisterhaften Umrisse. Die Studenten bestanden den Test, aber sie scheiterten am Gehirnscan.

Linse 2: Der „Kein-Orakel"-Detektiv (Metrik M4)

Manchmal haben Sie keinen Goldstandard-Studenten zum Vergleich. Also erfand RULER eine Möglichkeit, das Gehirn des Studenten nur mit dem eigenen Gedächtnis des Studenten zu prüfen.

Der Test: RULER betrachtet die „Gedanken" über das vergessene Kapitel und fragt: „Sieht es so aus, als ob diese Gedanken zum Rest des Buches gehören, oder fallen sie wie ein roter Finger auf?"
Die Analogie: Stellen Sie sich eine Menschenmenge vor, die blaue Hemden trägt (die behaltenen Daten). Sie bitten den Studenten, eine bestimmte Person in einem roten Hemd zu vergessen (die zu vergessenden Daten).
- Wenn sie erfolgreich vergessen haben, sollte die Person im roten Hemd so gut verschmelzen, dass sie genau wie die blauen Hemden aussieht.
- Wenn sie gescheitert sind, leuchtet das rote Hemd immer noch, oder schlimmer noch, der Student hat das rote Hemd so weit weggedrückt, dass es nun im Weltraum schwebt (Überverdrängung).
Die Erkenntnis: RULER stellte fest, dass in vielen Fällen die „vergessenen" Daten nicht verschmolzen. Sie stachen entweder als Erinnerung hervor oder wurden zu weit weggedrückt, was eine seltsame Verzerrung im Geist des Studenten verursachte.

Was sie testeten

Die Forscher testeten dies an vier verschiedenen „Verlern"-Techniken (wie verschiedene Wege, ein Gedächtnis zu löschen):

Gradientenanstieg: Versuchen, das Gedächtnis aktiv wegzudrücken.
NegGrad+: Eine Mischung aus Wegdrücken und Verstärken des Restes.
Feinabstimmung: Einfach den Rest des Buches neu zu studieren und zu hoffen, dass das alte Gedächtnis natürlich verblasst.
SCRUB: Eine komplexe Methode, die einen „Lehrer" verwendet, um das Vergessen zu steuern.

Das Urteil: Alle vier Methoden bestanden die Standardtests „Quiz" und „Ratespiel". Aber als RULER in ihre Gehirne schaute, scheiterten alle vier Methoden. Sie alle hinterließen signifikante Spuren der vergessenen Daten.

Ein Sonderfall: Gesichtserkennung

Der Artikel testete dies auch an einem Gesichtserkennungssystem (wie einer Überwachungskamera).

Das Szenario: Das System wurde trainiert, Menschen zu erkennen, wurde dann aber aufgefordert, eine bestimmte Person zu „vergessen" (eine GDPR-Anfrage auf „Recht auf Vergessenwerden").
Das Ergebnis: Selbst nach dem Verlernen erkannte das System immer noch die Gesichtsstruktur dieser spezifischen Person. Es war wie der Versuch, das Gesicht eines Freundes zu „un-erkennen"; das System konnte sagen: „Ich weiß nicht, wer das ist", aber die interne „Gesichtskarte" hatte immer noch eine perfekte Skizze dieser Person. Keine getestete Methode konnte dieses Identitätsniveau-Gedächtnis vollständig auslöschen.

Die große Erkenntnis

Der Artikel kommt zu dem Schluss, dass aktuelle Methoden für „maschinelles Verlernen" nicht so gründlich sind, wie wir dachten. Sie sind gut darin, die Antworten eines Modells zu bereinigen, aber schlecht darin, die internen Erinnerungen zu bereinigen, die diese Antworten produzieren.

RULER fungiert als Wahrheitsfinder und zeigt uns, dass nur weil ein Modell sagt, es habe vergessen, nicht bedeutet, dass es es tatsächlich getan hat. Um den Datenschutz wirklich zu schützen, müssen wir die internen „Gedanken" der KI prüfen, nicht nur ihre endgültige Ausgabe.

Technische Zusammenfassung: RULER – Repräsentationsebene-Verifikation von Machine Unlearning

Problemstellung

Machine Unlearning zielt darauf ab, den Einfluss spezifischer Trainingsdatensätze (die Forget-Set) aus einem eingesetzten Modell zu entfernen, ohne die Rechenkosten eines vollständigen Neuentrainings, während die Modellleistung auf den verbleibenden Daten (die Retain-Set) erhalten bleibt. Aktuelle Evaluierungsprotokolle stützen sich auf Ausgabekriterien:

Genauigkeit von Membership-Inference-Angriffen (MIA): Sollte nahe bei 0,50 (Zufallswert) liegen.
Genauigkeit der Retain-Set: Sollte erhalten bleiben.
Genauigkeit der Forget-Set: Sollte mit einem Retrain-Oracle übereinstimmen (ein Modell, das ausschließlich auf der Retain-Set von Grund auf neu trainiert wurde).

Die Autoren identifizieren eine kritische Einschränkung dieser Protokolle: Ein Modell kann alle drei Ausgabekriterien erfüllen und dennoch Informationen über die vergessenen Datensätze in seinen intermediären Repräsentationen kodieren. Bestehende Metriken untersuchen nicht, wie ein Modell intern Informationen über einzelne Datensätze organisiert, was potenziell zu einem „falschen Sicherheitsgefühl bezüglich der Privatsphäre" führt, bei dem das Modell zwar korrekt auf Ausgaben reagiert, aber strukturelle Spuren der Daten behält, die es eigentlich vergessen sollte.

Methodik: RULER

Die Arbeit stellt RULER (Representation-Level Verification of Machine Unlearning) vor, ein Framework, das zwei Perspektiven von Verifikationsmetriken umfasst, die auf Kosinusähnlichkeit der vorletzten Schicht basieren. Das Framework arbeitet auf Embeddings $h_\theta(x)$ unmittelbar vor dem ausgabespezifischen Kopf.

Perspektive 1: Oracle-vergleichende Metriken (Erfordert ein Retrain-Oracle)

Diese Metriken vergleichen das ungelernnte Modell ( $\theta_u$ ) mit einem Retrain-Oracle ( $\theta_r$ ), das von Grund auf auf der Retain-Set trainiert wurde. Um sicherzustellen, dass repräsentationale Unterschiede das Unlearning-Verfahren und nicht eine zufällige Initialisierung widerspiegeln, teilen das ursprüngliche Modell ( $\theta_o$ ) und das Oracle ( $\theta_r$ ) denselben Zufallssamen.

M1 (Oracle-Vergleichsähnlichkeit): Die mittlere Kosinusähnlichkeit zwischen Datensätzen der Forget-Set in $\theta_u$ und $\theta_r$ . Obwohl eine hohe Ähnlichkeit erwünscht ist, fehlt M1 ein fester Nullwert für Signifikanztests.
M2 (Signierter Kalibrierungsabstand): Die primäre Metrik der Perspektive 1. Sie berechnet die Differenz zwischen der mittleren Ähnlichkeit der Datensätze der Forget-Set und der Median-Ähnlichkeit der Datensätze der Retain-Set zwischen $\theta_u$ $θ_{u}$ und $\theta_r$ $θ_{r}$ .
- Nullhypothese: $M2 = 0$ .
- Interpretation: Negative Werte deuten auf restliche Memorierung hin (Datensätze der Forget-Set sind weniger ähnlich zum Oracle als Datensätze der Retain-Set). Positive Werte deuten auf eine Überkorrektur hin. Der Median wird für die Retain-Baseline verwendet, um eine Inflationswirkung durch rechtsschiefe Verteilungen zu vermeiden.
M3 (Repräsentationsverschiebung): Misst die Änderung der Ähnlichkeit zum Oracle vor und nach dem Unlearning. Positive Werte zeigen an, dass das Unlearning-Verfahren die Repräsentationen näher an das Oracle gebracht hat; negative Werte zeigen an, dass sie weiter entfernt wurden.

Perspektive 2: Oracle-freie Metrik (Kein Retrain-Oracle erforderlich)

M4 (Percentilrang): Diese Metrik operiert ausschließlich auf der internen Geometrie des ungelernnten Modells $\theta_u$ $θ_{u}$ . Für jeden Datensatz der Forget-Set wird der nächste Nachbarn in der Retain-Set gefunden und deren Kosinusähnlichkeit gemessen. Diese Ähnlichkeit wird dann gegen die Verteilung der Nächste-Nachbar-Ähnlichkeiten unter den Datensätzen der Retain-Set selbst (Leave-One-Out) gerankt.
- Nullhypothese: $M4 = 0,50$ .
- Interpretation: Ein Wert von 0,50 impliziert, dass der Datensatz der Forget-Set geometrisch nicht von einem Datensatz der Retain-Set zu unterscheiden ist. Werte $> 0,50$ deuten auf restliche Memorierung hin (der Datensatz der Forget-Set ist zu ähnlich zur Retain-Set). Werte $< 0,50$ deuten auf Überverdrängung hin (der Datensatz wurde zu weit von der Retain-Verteilung entfernt).

Experimentelles Setup

Datensätze: Zehn tabellarische Klassifizierungsdatensätze (z. B. Adult Income, Breast Cancer, German Credit) dienten als primäres Setting. Das Framework wurde zudem auf großskalige tabellarische Daten, Bildklassifizierung (CIFAR-10, SVHN, CIFAR-100), klinische Texte (MTSamples mit Bio_ClinicalBERT) und das Unlearning von Gesichtsidentitäten (LFW) angewendet.
Modelle: Ein festes MLP mit zwei versteckten Schichten (TabularMLP) für tabellarische Daten; CNNs und ResNet-18 für Bilder; BERT-basierte Modelle für Texte.
Unlearning-Methoden: Vier approximative Methoden wurden evaluiert: Gradient Ascent, NegGrad+, Fine-Tuning und SCRUB (auf Distillation basierend). Eine fünfte Methode, Bad Teacher, wurde aufgenommen, um strukturelle von methodenspezifischen Diskrepanzen zu testen.
Protokoll: Die Experimente nutzten 10 Datensätze, 10 Trainingssamen und drei Forget-Anteile ( $1\%$ , $5\%$ , $10\%$ ). Die statistische Analyse verwendete Lineare gemischte Modelle (LMM) mit dem Datensatz als zufälligen Intercept sowie Wilcoxon-Vorzeichenrangtests.

Hauptergebnisse

1. Diskrepanz zwischen Ausgabe- und Repräsentationsebene

Alle vier approximativen Unlearning-Methoden bestanden die standardmäßigen Ausgabekriterien (MIA-Genauigkeit innerhalb von $\pm 0,05$ von 0,50, erhaltene Retain-Genauigkeit). Allerdings detektierte M2 statistisch signifikante Reste in 10 von 12 Bedingungen ( $p < 0,05$ ).

Richtung: M2 war über alle Methoden und Forget-Anteile hinweg konsistent negativ, was darauf hindeutet, dass Datensätze der Forget-Set weiter von der Repräsentation des Oracles entfernt bleiben als Datensätze der Retain-Set.
Effektstärke: Die Effektstärken ( $r_{rb}$ ) wuchsen mit steigendem Forget-Anteil und erreichten bei einem Forget-Anteil von $10\%$ große Größenordnungen ($0,90 - 0,96$).
Methodenunabhängigkeit: Post-hoc-Tests zeigten keinen signifikanten Unterschied zwischen den vier Methoden bezüglich M2, M4 oder MIA. Die Diskrepanz ist eine Eigenschaft der Unlearning-Aufgabe selbst und nicht eines spezifischen Algorithmus.

2. Die Bad Teacher-Validierung

Die Bad Teacher-Methode, die einen grundlegend anderen Mechanismus verwendet (Training eines Schülers, um auf Datensätzen der Forget-Set mit einem zufällig initialisierten Lehrer übereinzustimmen), bestand ebenfalls die Ausgabekontrollen, zeigte jedoch signifikant negative M2-Werte. Dies bestätigt, dass das Versagen, intermediäre Repräsentationen zu löschen, eine strukturelle Einschränkung aktueller approximativer Unlearning-Ansätze ist und kein Artefakt spezifischer gradientenbasierter oder distillationsbasierter Techniken.

3. Diagnostischer Nutzen von M4

Tabellarische/Allgemeine Daten: M4 zeigte mittlere Ränge leicht über 0,50, getrieben durch Datensätze mit nachweisbarer Memorierung (z. B. Breast Cancer, Heart Disease).
Gesichtsidentität (LFW): In einem Setting für Gesichtsidentitäten, bei dem das Modell für die Geschlechterklassifizierung trainiert wurde, aber zufällig Identitäten kodiert, waren die M4-Werte vor dem Unlearning extrem hoch ($0,73 - 0,94$), was eine starke Memorierung auf Identitätsebene bestätigte. Nach dem Unlearning löschte keine Methode dieses Signal vollständig; Gradient Ascent und Fine-Tuning ließen es weitgehend intakt, während SCRUB bei niedrigen Forget-Anteilen eine Überverdrängung verursachte.
Großskalige/Schwache Memorierung: Auf großskaligen tabellarischen und Bilddatensätzen, bei denen die ursprünglichen Modelle M4 $\approx 0,50$ zeigten (keine nachweisbare Memorierung), führten Unlearning-Methoden manchmal zu Artefakten (Überverdrängung oder Verdrängung), was darauf hindeutet, dass Unlearning die Qualität der Repräsentation verschlechtern kann, wenn es nicht strikt notwendig ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Ausgabekriterien-Evaluierung unzureichend ist, um Machine Unlearning zu verifizieren. Ein Modell kann alle Standardkriterien für Privatsphäre und Nützlichkeit erfüllen und dennoch messbare Spuren vergessener Daten in seinen internen Repräsentationen behalten.

RULER als Verifikationswerkzeug: Die Autoren schlagen M2 und M4 als notwendige Ergänzungen zum Evaluierungsprotokoll vor. M2 bietet einen Test auf Bevölkerungsebene für restliche Memorierung gegen ein Oracle, während M4 als oracle-freie Diagnose sowohl vor dem Unlearning (zur Bewertung, ob Unlearning notwendig ist) als auch nach dem Unlearning (zur Detektion unvollständiger Löschung oder Überverdrängung) dient.
Grenzen aktueller Methoden: Die konsistent negativen M2-Werte über diverse Methoden und Architekturen hinweg deuten darauf hin, dass aktuelle approximative Unlearning-Ziele für das Ausgabeverhalten optimiert sind, aber intermediäre Repräsentationen nicht einschränken.
Bescheidener Geltungsbereich: Die Autoren stellen ausdrücklich fest, dass diese Metriken technische Verifikationswerkzeuge und keine rechtlichen Konformitätstests für Artikel 17 der DSGVO sind. Sie charakterisieren repräsentationale Reste, beanspruchen jedoch nicht, regulatorische Angemessenheit zu definieren. Darüber hinaus stützen sich die Metriken auf die Kosinusähnlichkeit, die nicht rotationsinvariant ist, was das gepaarte Samen-Design für M2 erforderlich macht.

Zusammenfassend zeigt die Arbeit, dass „Vergessen" im maschinellen Lernen für viele approximative Methoden derzeit eine Illusion auf Ausgabeebene ist und eine echte Löschung eine Verifikation auf Repräsentationsebene erfordert.