🤖 machine learning

To forget is to preserve: Machine Unlearning for 3D medical image segmentation

Diese Arbeit evaluiert Strategien des approximativen Machine Unlearnings auf einem 3D ResNet-50 Modell für die MRBrainS18 medizinische Bildsegmentierung und zeigt auf, dass die Noisy-Label-Strategie den optimalen Kompromiss bietet, indem sie die Leistung bei vergessenen Subjekten signifikant reduziert, während die Genauigkeit bei beibehaltenen Daten bewahrt wird.

Ursprüngliche Autoren: Nitesh Kumar Singh, Akhilesh Singh, Arjun Arora

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nitesh Kumar Singh, Akhilesh Singh, Arjun Arora

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Recht auf Vergessenwerden“ in der KI

Stellen Sie sich vor, Sie stellen einen Meisterkoch ein, der lernen soll, ein bestimmtes Gericht mit Rezepten und Zutaten von 10 verschiedenen Freunden zu kochen. Der Koch wird zum Experten. Eines Tages entscheidet sich jedoch Freund Nr. 3, aus der Gruppe auszuscheiden, und bittet den Koch, alles, was er jemals über seine spezifischen Zutaten und seinen Kochstil gelernt hat, vollständig zu vergessen.

In der Welt der Künstlichen Intelligenz (KI) ist dies eine enorme rechtliche Anforderung (wie etwa die DSGVO-Gesetze). Wenn ein Patient sagt: „Löschen Sie meine Daten“, sollte die KI des Krankenhauses nicht nur die Datei löschen; sie muss auch die Muster „verlernen“, die sie aus den Scans dieses Patienten gelernt hat.

Der Haken: Die alte Methode bestand darin, den Koch zu entlassen und einen neuen einzustellen, der von vorne beginnt und nur mit den verbleibenden 9 Freunden kocht. Das ist genau, aber unglaublich langsam und teuer (so wie das Training eines Modells von Grund auf neu hunderte Stunden dauert).

Die Lösung: „Machine Unlearning“ (Maschinelles Verlernen)

Diese Arbeit untersucht einen schnelleren Weg: Machine Unlearning. Anstatt den Koch zu entlassen, versuchen wir, dem bestehenden Koch beizubringen, den Stil von Freund Nr. 3 zu „verlernen“, während er seine Fähigkeiten für die anderen 9 Freunde beibehält.

Die Forscher testeten dies an 3D-medizinischen Bildern (wie MRT-Hirnscans). Sie verwendeten ein vortrainiertes KI-Modell (ein „ResNet-50“, das bereits viel über die 3D-Anatomie weiß) und versuchten, es dazu zu bringen, bestimmte Patienten zu vergessen.

Das Experiment: 6 verschiedene „Verlern-Tricks“

Das Team probierte sechs verschiedene Strategien aus, um die KI vergessen zu lassen. Betrachten Sie dies als verschiedene Wege, den Koch zu verwirren, damit er die Rezepte von Freund Nr. 3 vergisst:

Gradient Reversal (Die „Mach das Gegenteil“-Methode):
- Wie es funktioniert: Wenn die KI auf die Daten von Freund Nr. 3 schaut, sagt der Computer zu ihr: „Du liegst falsch! Versuche, das Ergebnis komplett umzukehren.“
- Das Ergebnis: Es funktionierte zu gut. Die KI wurde so verwirrt durch den Versuch, falsch zu liegen, dass sie auch die Rezepte der anderen 9 Freunde vermischte.
Noisy Label (Die „Zufällige Vermutung“-Methode):
- Wie es funktioniert: Wenn die KI auf die Daten von Freund Nr. 3 schaut, ersetzt der Computer die richtigen Antworten durch zufällige, unsinnige Antworten. Es ist, als würde man dem Koch sagen: „Für diese spezifische Zutat, tu so, als wäre es ein Schuh.“
- Das Ergebnis: Dies war der Gewinner. Die KI lernte, dass die Daten von Freund Nr. 3 unsinnig sind, und hörte auf, ihnen Aufmerksamkeit zu schenken, behielt aber ihre Fähigkeiten für die anderen 9 Freunde bei.
Random Encoder (Die „Statische Rausch“-Methode):
- Wie es funktioniert: Die KI wird gezwungen, die Daten von Freund Nr. 3 durch eine Schicht aus statischem Rauschen (wie ein Fernseher ohne Signal) zu betrachten, bevor sie versucht zu lernen.
- Das Ergebnis: Die KI hat nicht wirklich vergessen. Sie hat einfach gelernt, das Rauschen zu ignorieren und trotzdem die richtige Antwort zu erraten, sodass das „Vergessen“ nicht gut funktionierte.
Learn Others / Learn Noise (Die „Nachahmer“-Methode):
- Wie es funktioniert: Die KI wird angewiesen, die Merkmale der anderen Freunde (oder einfach nur zufälliges Rauschen) zu kopieren, wenn sie auf die Daten von Freund Nr. 3 blickt.
- Das Ergebnis: Dies war zu aggressiv. Es zerstörte das Gehirn der KI und führte dazu, dass sie alle vergaß, nicht nur Freund Nr. 3.
Fix Decoder (Die „Eingefrorene Kopf“-Methode):
- Wie in der Praxis: Die KI wird angewiesen, ihr „endgültiges Gehirn“ (den Teil, der die Entscheidung trifft) einzufrieren und nur ihre „Augen“ (den Teil, der das Bild sieht) zu verändern.
- Das Ergebnis: Es funktionierte eine Zeit lang ganz gut, aber wenn sie das Training fortsetzten, wurde die KI verwirrt und begann, bei den Daten, die sie eigentlich vergessen sollte, besser abzuschneiden – was das Gegenteil von dem ist, was wir wollen.

Die Ergebnisse: Wer hat gewonnen?

Die Forscher führten diese Tests für zwei unterschiedliche Zeiträume durch (20 „Runden“ und 50 „Runden“).

Der Gewinner: Die Noisy Label-Strategie.
- Nach 50 Runden hat sie die spezifischen Patientendaten erfolgreich um 93 % „vergessen“ (die KI lag bei dem vergessenen Patienten fast vollständig falsch).
- Entscheidend ist, dass sie 84 % ihrer Genauigkeit bei den anderen Patienten beibehielt. Sie hat die KI nicht zerstört; sie hat nur das spezifische Gedächtnis gelöscht.
Die Verlierer: Die meisten anderen Methoden funktionierten eine Zeit lang ganz gut, aber wenn man sie länger trainierte, verursachten sie eine „katastrophale Degradation“. Das bedeutet, die KI wurde so verwirrt durch den Versuch zu vergessen, dass sie vergaß, ihren Job für alle anderen zu erledigen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass, wenn man möchte, dass eine 3D-medizinische KI einen spezifischen Patienten „vergisst“, ohne die Fähigkeit zu ruinieren, anderen Patienten zu helfen, der beste Trick darin besteht, die Daten des Patienten mit zufälligen, falschen Labels (Noisy Label) zu füttern.

Dies bietet eine klare, getestete Regel für Krankenhäuser und Entwickler: Wenn Sie die Datenschutzgesetze einhalten und den Einfluss eines Patienten aus einer KI entfernen müssen, trainieren Sie nicht das gesamte Modell von Grund auf neu. Nutzen Sie die „Noisy Label“-Methode, um dieses spezifische Gedächtnis chirurgisch zu entfernen, während der Rest der KI gesund bleibt.

Technisches Resümee: Vergessen ist Bewahren: Maschinelles Unlearning für die 3D-medizinische Bildsegmentierung

1. Problemstellung

Die rasche Einführung von Deep Learning in der medizinischen Bildgebung, insbesondere bei 3D-Volumendaten wie MRT und CT, wirft kritische Datenschutzfragen auf. Regulierungen wie die DSGVO (Artikel 17), HIPAA und Indiens DPDPA 2023 gewähren Einzelpersonen das „Recht auf Löschung“, was erfordert, dass personenbezogene Daten nicht nur aus dem Speicher, sondern auch aus trainierten Machine-Learning-Modellen entfernt werden.

Im Kontext der 3D-medizinischen Bildsegmentierung stellt dies eine einzigartige Herausforderung dar. Im Gegensatz zu 2D-Klassifikationsaufgaben, bei denen das „Vergessen“ die Entfernung ganzer Klassen beinhalten kann, erfordert das medizinische Unlearning das Entfernen von Daten auf der Subjektebene (d. h. spezifische Patienten). Zudem ist das Ergebnis eine dichte, voxelweise Vorhersage statt eines einzelnen Labels. Der Standardansatz zur Einhaltung der Compliance – das vollständige Neu-Training eines Modells auf den verbleibenden Daten – ist für 3D-Volumendaten rechentechnisch prohibitiv und erfordert oft hunderte GPU-Stunden. Folglich besteht ein Bedarf an Strategien für approximatives maschinelles Unlearning, die in der Lage sind, ein bestehendes vortrainiertes Modell so zu modifizieren, dass es spezifische Subjekte „vergisst“, während die hohe Leistungsfähigkeit auf den behaltenen Daten gewahrt bleibt, ohne die Kosten eines vollständigen Neu-Trainings.

2. Methodik

2.1 Backbone-Architektur

Die Studie nutzt eine 3D ResNet-50 Architektur, die mit dem Med3D-Framework vortrainiert wurde. Dieser Backbone wurde aufgrund seiner Fähigkeit gewählt, robuste volumetrische Repräsentationen aus diversen 3D-medizinischen Datensätzen (Lunge, Leber, Gehirn) über CT- und MRT-Modalitäten hinweg zu erlernen. Das Modell wird dekomponiert in:

Encoder ( $E_\phi$ ): Ein 3D ResNet-50, das spatiotemporale Merkmale extrahiert.
Decoder/Segmentierungs-Head ( $G_\psi$ ): Ein Multi-Layer-Decoder, der 3D-transponierte Konvolutionen und Verfeinerungsschichten umfasst, welche die Merkmale auf voxelweise Klassifikations-Logits abbildet.

Das Modell wurde auf dem MRBrainS18-Datensatz feinjustiert, der Experten-Annotationen für Hirnstrukturen bei älteren Probanden enthält.

2.2 Experimenteller Aufbau

Datensatz: MRBrainS18 (10 Subjekte).
Forget Set ( $D_f$ ): 2 Subjekte (20 % der Daten).
Retain Set ( $D_r$ ): Die verbleibenden 8 Subjekte.
Aufgabe: Binäre Segmentierung (Hirngewebe vs. Nicht-Hirngewebe).
Trainingshorizonte: Unlearning-Strategien wurden über 20 und 50 Epochen evaluiert.
Metriken:
- Dice Similarity Coefficient (DSC): Misst die räumliche Überlappung.
- Mean Absolute Error (MAE): Misst die Abweichung der Vorhersagewahrscheinlichkeit.
- Gap-Metriken: $\Delta$ Dice ( $D_r - D_f$ ) und $\Delta$ MAE ( $D_f - D_r$ ), um den Trade-off zwischen Vergessen und Behalten zu quantifizieren.

2.3 Unlearning-Strategien

Die Studie evaluiert verschiedene approximative Unlearning-Strategien, die aus dem I2I-Framework und anderer Literatur adaptiert wurden, kategorisiert in vier Mechanismen:

Gradientenbasierte Ansätze (GA):
- Retain Label / Max Loss: Modifiziert die Verlustfunktion durch Negierung des Gradienten für das Forget-Set (Maximierung des Fehlers), während der Fehler für das Retain-Set minimiert wird.
- Risiko: Unbeschränkter Gradientenaufstieg kann zu einer katastrophalen Degradation des Retain-Sets führen.
Label- und Datamanipulation:
- Noisy Label (NL): Ersetzt die Ground-Truth-Voxel-Labels der Forget-Subjekte während des Trainings durch gleichmäßig zufällige Labels. Das Modell wird auf dieser manipulierten Verteilung optimiert, was die memorierten Repräsentationen für die Forget-Subjekte effektiv überschreibt, während die Retain-Subjekte verstärkt werden.
Interventionen im Merkmalsraum:
- Random Encoder (RE): Überschreibt die latenten Feature-Maps der Forget-Subjekte mit Gaußschem Rauschen, bevor sie den Decoder erreichen.
- Learn Others (LO) & Learn Noise (LN): Nutzt ein Teacher-Student-Distillationsparadigma. Der Student-Encoder wird gezwungen, die Forget-Subjekte auf ein generisches Ziel abzubilden (entweder den Durchschnitt der aktuellen Batch-Features oder dynamisches Gaußsches Rauschen), während er den Teacher für die Retain-Subjekte spiegelt.
Feinabstimmung und selektives Neu-Training:
- Fix Decoder (FD): Friert den Segmentierungs-Head (Decoder) ein und aktualisiert nur die Encoder-Parameter via Distillation. Dies zielt darauf ab, das Vergessen auf den latenten Merkmalsraum zu begrenzen, um einen Drift des Decoders zu verhindern.

3. Kernergebnisse

Die Experimente zeigten signifikante Unterschiede zwischen der Effektivität des Vergessens und dem Erhalt des Nutzens:

Noisy Label (NL) Strategie: Dieser Ansatz demonstrierte den besten Gesamtrade-off.
- Nach 50 Epochen erreichte er einen Dice-Gap von +0,6963 und einen MAE-Gap von +0,091.
- Er reduzierte den Dice-Score des Forget-Sets um 93 % (von 0,9226 auf 0,0613).
- Entscheidend ist, dass er eine Genauigkeit von 84 % auf dem Retain-Set beibehielt (Dice-Score von 0,7576).
- Im Gegensatz zu anderen Methoden verbesserte sich die Leistung mit längeren Trainingshorizonten, wobei gleichzeitig das Vergessen und das Behalten gestärkt wurden.
Gradientenbasierte Methoden (Retain Label/Max Loss): Obwohl diese Methoden effektiv darin waren, die Performance des Forget-Sets zu entfernen, litten sie unter einer katastrophalen Degradation des Retain-Sets, insbesondere bei 50 Epochen. Die unbeschränkte Negierung des Verlusts trieb das Modell in schlechte Bereiche des Parameterraums.
Interventionen im Merkmalsraum (RE, LO, LN):
- Random Encoder bewahrte die Retain-Performance, erreichte aber ein sehr begrenztes Vergessen (Dice-Gap ~0,01–0,04), was darauf hindeutet, dass der Decoder die korrumpierten Encoder-Merkmale kompensieren konnte.
- Learn Others/Noise verursachte einen nahezu vollständigen Kollaps der Retain-Performance, was darauf hindeutet, dass die aggressive Merkmalsmanipulation die gelernten Repräsentationen zu stark störte.
Fix Decoder (FD): Zeigte moderates Unlearning bei 20 Epochen, wurde aber bei 50 Epochen instabil und kehrte schließlich das beabsichtigte Verhalten um, indem es beim Forget-Set besser abschnitt als beim Retain-Set.

4. Beiträge und Bedeutung

Das Paper beansprucht die folgenden Beiträge und Bedeutungen:

Erstes systematisches Benchmarking: Nach Kenntnis der Autoren ist dies die erste Studie, die mehrere approximative Unlearning-Strategien systematisch speziell für die 3D-medizinische Bildsegmentierung unter Verwendung von Subjekt-basierten Forget-Sets evaluiert. Vorherige Benchmarks waren weitgehend auf 2D-Klassifikationsaufgaben (z. B. CIFAR-10, ImageNet) beschränkt.
Empirische Evaluierung von 3D-Unlearning: Die Studie adaptiert und evaluiert diese Strategien auf einem Med3D ResNet-50 Framework und liefert damit die ersten umfassenden empirischen Daten zum Entfernen patientenspezifischer Informationen aus 3D-volumetrischen Modellen.
Reproduzierbares Evaluierungsprotokoll: Die Autoren etablieren ein Protokoll, das segmentierungsspezifische Metriken (Dice und MAE) verwendet, um den Trade-off zwischen Vergessenseffektivität und klinischem Nutzen zu quantifizieren, womit die Schwierigkeit adressiert wird, 2D-Metriken auf 3D-dichte Vorhersagen anzuwenden.
Identifizierung der optimalen Strategie: Die Studie identifiziert die Noisy Label Strategie als die robusteste Methode für diesen Bereich, die in der Lage ist, ein starkes Vergessen zu erreichen und gleichzeitig den Großteil des Modellnutzens auf den behaltenen Daten zu bewahren.

5. Fazit und zukünftige Arbeit

Die Studie kommt zu dem Schluss, dass zwar viele Unlearning-Strategien existieren, diese jedoch im hochdimensionalen, komplexen Kontext der 3D-medizinischen Bildgebung oft scheitern – entweder indem sie effektiv genug vergessen oder den Nutzen des Modells zerstören. Die Noisy Label Strategie erweist sich als die praktikabelste Lösung für das Subjekt-basierte Unlearning in diesem Bereich.

Die Autoren merken an, dass zukünftige Arbeiten sich auf folgende Punkte konzentrieren sollten:

Formale adversarielle Privacy-Evaluierungen mittels Membership Inference oder Model Inversion Attacks, um die Entfernung residueller Informationen rigoros zu beweisen.
Untersuchung adaptiver Optimierungsalgorithmen (z. B. dynamische Alpha-Scheduling) und parametereffizienter Feinabstimmung (z. B. LoRA), um das Unlearning im Merkmalsraum weiter zu stabilisieren.

Das Paper betont, dass die Entwicklung effektiver Unlearning-Methoden ein notwendiger Schritt ist, um vertrauenswürdige klinische KI-Systeme aufzubauen, die die Datenschutzprinzipien in realen Gesundheitssettings respektieren.