🤖 AI

Graph Propagated Projection Unlearning: A Unified Framework for Vision and Audio Discriminative Models

Die Arbeit stellt GPPU vor, ein einheitliches und skalierbares Framework für das maschinelle Vergessen, das durch graphbasierte Propagierung und Projektion in den orthogonalen Unterraum das effiziente Entfernen von Klasseninformationen in Bild- und Audio-Modellen ermöglicht und dabei eine 10- bis 20-fache Geschwindigkeitssteigerung gegenüber bisherigen Methoden bei gleichzeitiger Wahrung der Modellnutzbarkeit erzielt.

Ursprüngliche Autoren: Shreyansh Pathak, Jyotishman Das

Veröffentlicht 2026-04-16

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shreyansh Pathak, Jyotishman Das

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen Koch (das ist dein KI-Modell), der gelernt hat, unzählige Gerichte zuzubereiten. Er kann Äpfel von Orangen unterscheiden und verschiedene Stimmen erkennen. Aber plötzlich möchtest du, dass er das Rezept für „Äpfel" vergisst – vielleicht weil ein Kunde seine Daten löschen lassen will oder wegen neuer Datenschutzgesetze.

Das Problem: Wenn du dem Koch sagst „Vergiss Äpfel!", könnte er aus Panik auch vergessen, wie man Orangen schält, oder er braucht Jahre, um das ganze Kochbuch neu zu schreiben (das wäre das Neu-Training, das viel zu lange dauert).

Die Forscher Shreyansh Pathak und Jyotishman Das aus Jodhpur haben eine clevere Lösung namens GPPU (Graph-Propagated Projection Unlearning) entwickelt. Hier ist, wie es funktioniert, ganz einfach erklärt:

1. Der „Gedächtnis-Karten"-Trick (Der Graph)

Stell dir vor, alle Äpfel, die der Koch kennt, liegen auf einem großen Boden. Normalerweise sind sie ein bisschen durcheinander.

Der alte Weg: Man würde versuchen, jeden einzelnen Apfel mit dem Fuß zu treten, bis er weg ist. Das ist mühsam und verwirrt den Rest.
Der GPPU-Weg: Die Forscher bauen eine unsichtbare Landkarte (einen Graph). Sie verbinden alle Äpfel miteinander, die sich ähnlich sehen. Dadurch wird klar: „Aha, all diese Punkte gehören zur Apfel-Gruppe." Sie glätten die Karte, sodass die Apfel-Gruppe als ein klarer, runder Haufen erscheint.

2. Die „Vergessens-Richtung" finden

Sobald die Landkarte fertig ist, schauen sie sich den Mittelpunkt dieses Apfel-Haufens an. Das ist die Vergessens-Richtung.
Stell dir vor, der Apfel-Haufen liegt genau im Norden. Um ihn zu vergessen, müssen wir uns nur nach Süden orientieren. Die Forscher berechnen genau diese Richtung.

3. Der „Schieber" (Die Projektion)

Jetzt kommt der magische Teil. Statt das ganze Kochbuch neu zu schreiben, nehmen sie einen unsichtbaren Schieber.

Wenn eine neue Frage kommt (z. B. „Ist das ein Apfel?"), schieben sie die Information des Kochs quer zur Apfel-Richtung weg.
Es ist, als würdest du einen Schatten werfen: Wenn du das Licht genau von der Seite kommst, ist der Schatten des Apfels auf dem Boden null. Die Information „Apfel" existiert für das Modell nicht mehr, aber die Information „Orange" (die in eine andere Richtung zeigt) bleibt unberührt.

4. Das Fein-Tuning (Der letzte Schliff)

Damit der Koch das auch wirklich innerlich verstanden hat und nicht nur so tut, als würde er es vergessen, lassen sie ihn nur ganz kurz (ein paar Minuten) üben, wie man Fragen stellt, ohne auf die Apfel-Richtung zu achten.

Das Geniale daran: Sie müssen nicht den ganzen Koch neu ausbilden. Sie ändern nur die letzten paar Zeilen in seinem Notizbuch. Das ist extrem schnell – 10 bis 20 Mal schneller als alle anderen Methoden!

Warum ist das so toll?

Es ist schnell: Während andere Methoden wie ein Schneckentempo laufen (manchmal Tage), ist GPPU in Minuten fertig.
Es ist präzise: Der Koch vergisst die Äpfel komplett (er rät nur noch zufällig), aber er kann immer noch perfekt Orangen, Bananen und Autos erkennen.
Es funktioniert überall: Ob der Koch Bilder (Vision) oder Stimmen (Audio) verarbeitet – die Methode funktioniert für beides.

Zusammenfassend:
GPPU ist wie ein geschickter Bibliothekar, der nicht das ganze Buch neu schreibt, um ein Kapitel zu entfernen. Stattdessen markiert er genau, wo das Kapitel liegt, und schiebt den Inhalt so zur Seite, dass es für den Leser unsichtbar wird, während der Rest des Buches perfekt lesbar bleibt. Das ist effizient, sicher und spart enorm viel Zeit.

1. Problemstellung

Mit der zunehmenden Verbreitung von Deep-Learning-Modellen in Bereichen wie Computer Vision und Audioverarbeitung wächst die Notwendigkeit für Machine Unlearning (Maschinelles Vergessen). Dies ist erforderlich, um spezifische Datenklassen oder -beispiele auf Benutzeranfrage oder zur Einhaltung von Datenschutzvorschriften (z. B. DSGVO) selektiv aus trainierten Modellen zu entfernen.

Bestehende Methoden leiden jedoch unter erheblichen Nachteilen:

Ineffizienz: Der Goldstandard ist das vollständige Neutraining des Modells ohne die zu vergessenden Daten, was bei großen Datensätzen und komplexen Architekturen (z. B. Transformers) prohibitiv teuer ist.
Kompromisse: Alternative algorithmische Ansätze (wie Gradient Ascent oder Fisher Forgetting) führen oft zu einem „katastrophalen Vergessen" (Verlust von Wissen über behaltene Klassen) oder einer unvollständigen Löschung der Zielklassen.
Fehlende Skalierbarkeit: Viele Methoden skalieren schlecht auf große, moderne Datensätze und sind oft nicht modality-agnostisch (d. h. sie funktionieren nicht gleichermaßen gut für Bilder und Audio).

2. Methodik: Graph-Propagated Projection Unlearning (GPPU)

Die Autoren stellen GPPU vor, einen einheitlichen und skalierbaren Algorithmus für das Klassen-basierte Unlearning, der sowohl für visuelle als auch für auditive Modelle funktioniert. Der Ansatz besteht aus zwei Hauptphasen:

Phase I: Identifizierung von Vergessens-Richtungen (Forget Directions)

Anstatt rohe Merkmalsvektoren zu verwenden, nutzt GPPU einen graphbasierten Ansatz, um die Struktur des Merkmalsraums zu verfeinern:

Graph-Konstruktion: Aus den tiefen Merkmalen der Daten wird ein $k$ -Nearest-Neighbor (k-NN) Graph basierend auf der Kosinus-Ähnlichkeit erstellt.
Graph-Propagation: Eine einzelne Graph-Convolution-Schicht (ohne lernbare Gewichte) wird angewendet, um die Merkmale zu glätten. Dies dient zwei Zwecken:
- Denoising: Reduzierung von Rauschen und Ausreißern innerhalb einer Klasse.
- Klassen-Grenzen: Schärfung der Trennung zwischen den Klassen durch Nutzung der Manifold-Hypothese (ähnliche Klassencluster im Merkmalsraum).
Extraktion der Richtungen: Aus den geglätteten Merkmalen werden für jede zu vergessende Klasse $c$ die Zentroiden berechnet. Diese werden als normierte Einheitsvektoren $\mathbf{g}_c$ (die „Vergessens-Richtungen") extrahiert, die auf das Zentrum des Klassen-Clusters im Merkmalsraum zeigen.

Phase II: Projektionsbasiertes Unlearning und Feinabstimmung

Um das Wissen nicht nur zu maskieren, sondern intrinsisch zu entfernen, führt GPPU zwei Schritte durch:

Orthogonale Projektion (Inferenz): Die Merkmalsvektoren werden während der Inferenz auf den Unterraum projiziert, der orthogonal zu den Vergessens-Richtungen $\mathbf{g}_c$ liegt. Dies unterdrückt sofort die Vorhersagen für die zu vergessenden Klassen.
Zielgerichtete Feinabstimmung (Fine-Tuning): Um sicherzustellen, dass das Modell intern keine Informationen mehr über die vergessene Klasse speichert, werden nur die letzten Schichten des Merkmalsextraktors (z. B. die letzten Transformer-Blöcke oder Faltungsblöcke) angepasst.
- Verlustfunktion: Ein kombinierter Verlust wird minimiert:
  - $L_{proj}$ : Bestraft die Projektion der Merkmale auf die Vergessens-Richtungen (zwingt das Modell, Merkmale orthogonal zu $\mathbf{g}_c$ zu erzeugen).
  - $L_{retain}$ : Standard Cross-Entropy-Verlust auf den behaltenden Daten, um die Leistung für andere Klassen zu erhalten.
- Effizienz: Da nur ein kleiner Teil der Parameter angepasst wird und keine vollständigen Neutraining-Schleifen nötig sind, ist der Rechenaufwand minimal.

3. Hauptbeiträge

Einheitlicher geometrischer Rahmen: GPPU ist das erste Framework, das graphbasierte Propagierung zur robusten Identifizierung von Klassen-Richtungen nutzt und dies sowohl für Vision- als auch Audio-Modelle anwendet.
Hohe Fidelity beim Vergessen: Das Modell erreicht eine Genauigkeit von nahezu 0 % für die zu vergessenden Klassen, während die Leistung auf behaltenden Klassen erhalten bleibt.
Außergewöhnliche Effizienz: Durch das Vermeiden von Neutraining erreicht GPPU eine 10- bis 20-fache Beschleunigung im Vergleich zu State-of-the-Art-Methoden (wie Gradient Ascent oder Fisher Forgetting).
Skalierbarkeit: Der Ansatz wurde auf sechs Vision-Datensätzen und zwei großen Audio-Benchmarks mit verschiedenen Architekturen (CNNs, Vision Transformers, Audio Transformers) validiert.

4. Ergebnisse und Evaluation

Die Evaluation umfasste diverse Datensätze (z. B. CIFAR-10/100, SVHN, LibriSpeech, VoxCeleb1) und Modelle (ResNet, ViT, Wav2Vec2, HuBERT).

Vergessen vs. Behalten: GPPU reduziert die Genauigkeit für die zu vergessenden Klassen (Forget Accuracy, FA) auf Werte nahe 0 (z. B. 0,12 % auf CIFAR-10), während die Genauigkeit für behaltende Klassen (Retain Accuracy, RA) über 93 % bleibt.
Vergleich mit Baselines: Im Vergleich zu Methoden wie Gradient Ascent (GA), Fisher Forgetting (FF), PBU und SalUn zeigt GPPU überlegene Ergebnisse in Bezug auf:
- Information Leakage (IL) & MIA: Deutlich geringere Anfälligkeit für Membership-Inference-Angriffe.
- Geschwindigkeit: Bis zu 20-mal schneller als die besten konkurrierenden Methoden.
- Kontinuierliches Unlearning: Auch bei sequenzieller Entfernung mehrerer Klassen behält GPPU die Stabilität bei, während andere Methoden unter kumulativen Interferenzen leiden.
Analyse der Repräsentation: t-SNE-Visualisierungen und lineare Probing-Tests zeigen, dass GPPU die diskriminative Struktur der zu vergessenden Klasse im Merkmalsraum tatsächlich zerstört (die Genauigkeit eines neuen linearen Klassifikators auf den vergessenen Merkmalen fällt auf Zufallsniveau), anstatt sie nur zu verbergen.

5. Bedeutung und Fazit

GPPU stellt einen bedeutenden Fortschritt im Bereich des verantwortungsvollen Deep Learning dar. Es löst das Dilemma zwischen Effizienz und Wirksamkeit beim Unlearning, indem es geometrische Prinzipien (Projektionen auf orthogonale Unterräume) mit graphbasiertem Reasoning kombiniert.

Die Methode ermöglicht es, Deep-Learning-Systeme dynamisch an regulatorische Anforderungen anzupassen, ohne die Gesamtleistung zu beeinträchtigen oder enorme Rechenressourcen zu verschwenden. Dies ist ein entscheidender Schritt hin zu vertrauenswürdigen, datenschutzkonformen und adaptiven KI-Systemen, die sowohl für visuelle als auch für auditive Anwendungen geeignet sind.