REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Technische Zusammenfassung: REMEDI – Ein Benchmark für die Evaluierung von Retention und Unlearning in der Multi-Label-Klinischen Krankheitsinferenz

Problemstellung
Die Arbeit adressiert die Herausforderung des „Machine Unlearning“ (MU) im klinischen Bereich, insbesondere im Hinblick auf das Entfernen sensibler Patientendaten aus trainierten Sprachmodellen. Während Regulierungen wie die DSGVO ein „Recht auf Vergessenwerden“ etablieren, ist das erneute Training von Modellen von Grund auf nach der Datenentfernung rechentechnisch zu aufwendig. Bestehende MU-Methoden und Benchmarks sind weitgehend auf nicht-medizinische Domänen beschränkt oder stützen sich auf synthetisch kuratierte Datensätze, die die Komplexität realer klinischer Systeme nicht abbilden. Die Autoren argumentieren, dass aktuelle Benchmarks die einzigartigen Anforderungen medizinischer Daten – wie etwa Label-Korrelationen, longitudinale Strukturen und strenge Sicherheitsanforderungen – nicht angemessen erfassen, wodurch die Wirksamkeit von Unlearning-Methoden im Gesundheitswesen weitgehend ungeklärt bleibt.

Methodik und Benchmark-Konstruktion
Um diese Lücken zu schließen, führen die Autoren REMEDI (Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference) ein, einen Benchmark, der speziell für die Multi-Label- und Multi-Class-Klinische Krankheitsinferenz entwickelt wurde.

• Datenquelle: Der Benchmark nutzt die MIMIC-III klinische Datenbank mit Fokus auf Entlassungsberichten und den zugehörigen diagnostischen Ergebnissen. Die Aufgabe besteht darin, elektronische Gesundheitsakten (EHRs) auf ICD-9-CM-Codes abzubilden. Um die Komplexität der Aufgabe mit klinischer Relevanz in Einklang zu bringen, wählten die Autoren die zehn häufigsten Krankheitskategorien (z. B. Hypertonie, Herzinsuffizienz, Diabetes mellitus) aus und formulierten die Aufgabe als Multi-Label-Klassifikationsproblem, bei dem Patienten mehrere gleichzeitige Diagnosen haben können.
• Aufgabenszenario: Die Unlearning-Aufgabe wird als Instanz-basiertes Entfernen definiert. Gegeben sei ein trainiertes Modell $f_\theta$, eine Forget-Menge $D_f$ (sensible Datensätze, die entfernt werden sollen) und eine Retain-Menge $D_r$ (Datensätze, die erhalten bleiben sollen). Das Ziel ist es, ein unlearned Modell $f_{\theta'}$ zu erzeugen, das sich so verhält, als wäre es ausschließlich auf $D_r$ trainiert worden, während gleichzeitig die Datenschutzanforderungen erfüllt werden.
• Unlearning-Schweregrade: REMEDI definiert drei unterschiedliche Szenarien, um die Robustheit zu testen:
  1. Distinct Instances (Niedriger Schweregrad): Simuliert individuelle Patientenlöschungsanfragen ohne Überschneidungen zwischen Forget- und Retain-Mengen. Die Größen der Forget-Mengen reichen von 64 bis 512 Instanzen.
  2. Concurrent Instances (Mittlerer Schweregrad): Simuliert realistische Szenarien, in denen Forget- und Retain-Mengen überlappende klinische Merkmale enthalten (z. B. ähnliche Demografien oder Aufnahmemuster). Die Hälfte der Forget-Instanzen überschneidet sich mit der Retain-Menge.
  3. Large-Scale Instances (Hoher Schweregrad): Simuliert groß angelegte Datenentfernungsanfragen (z. B. zur regulatorischen Compliance), wobei die Forget-Mengen 3 %, 4 % und 5 % der Trainingsdaten umfassen.
• Evaluierungsmetriken: Der Benchmark evaluiert zwei kritische Dimensionen:
  1. Utility (Nützlichkeit): Gemessen über Macro-F1-Scores auf Test-, Retain- und Forget-Sets. Das ideale unlearned Modell sollte die Leistung eines vollständig neu trainierten Modells auf den Retain- und Test-Sets erreichen, während es auf dem Forget-Set eine degradierte Leistung zeigt.
  2. Privacy (Datenschutz): Bewertet mittels Membership Inference Attacks (MIA). Ein binärer Klassifikator wird trainiert, um zwischen Forget-Set-Proben und Holdout-Set-Proben basierend auf dem Modellverlust zu unterscheiden. Ein niedrigerer MIA-Score (näher an 0) deutet auf stärkere Datenschutzgarantien hin, wobei 0,5 einem zufälligen Raten (perfektes Unlearning) entspricht.

Experimentelles Setup
Die Autoren evaluieren vier repräsentative Unlearning-Methoden über zwei biomedizinische Sprachmodelle hinweg: BioLinkBERT und BioBERT. Die Baselines umfassen:

1. Gradient Ascent (GA): Maximiert den Verlust auf den Forget-Daten (mit einer Variante GA+R, die Retain-bewusst arbeitet).
2. Adversarial Unlearning (AU): Nutzt adversarielle Perturbationen, um den Einfluss von Forget-Proben zu verringern (mit einer gewicht-regularisierten Variante AU+WR).
3. Bad Teacher (BT): Nutzt Knowledge Distillation mit einem schwachen Lehrer für die Forget-Daten und einem starken Lehrer für die Retain-Daten.
4. SCRUB: Fine-tuned das Modell, um die Diskrepanz zwischen den Repräsentationen von Forget- und Retain-Proben zu maximieren.

Wichtigste Ergebnisse

• Utility-Privacy Trade-off: Die Experimente zeigen einen signifikanten Trade-off zwischen der Erhaltung der Nützlichkeit und der Effektivität des Unlearnings auf.
• Methodenleistung:
  • Gradient Ascent (GA): Verursachte eine schwere Leistungsdegradation und entwertete effektiv die Vorhersagefähigkeit des Modells. Die Retain-bewusste Variante (GA+R) milderte dies ab, zeigte jedoch dennoch Limitationen.
  • Adversarial Unlearning (AU): Zeigte moderate Effektivität, hatte aber Schwierigkeiten mit der Stabilität, insbesondere in groß angelegten Szenarien.
  • Bad Teacher (BT): Erreichte eine moderate Erhaltung der Nützlichkeit, litt jedoch unter signifikanten Leistungseinbußen in Large-Scale-Forgetting-Szenarien aufgrund des verbleibenden Lehrer-Einflusses.
  • SCRUB: Erreichte das beste Gleichgewicht zwischen Utility und Privacy. Es hielt die Leistung nahe am neu trainierten Modell über verschiedene Forget-Set-Größen hinweg aufrecht und bewahrte starke Privacy-Metriken.
• Modell-Sensitivität: BioLinkBERT übertraf BioBERT konsistent sowohl in der Erhaltung der Nützlichkeit als auch in der Aufrechterhaltung des Datenschutzes, was auf sein durch Entity-Linking vorgetrainiertes Modell zurückzuführen ist, das reichere klinische Semantik erfasst. BioBERT zeigte eine höhere Sensitivität gegenüber Unlearning-Interventionen.
• Skalierbarkeit: Die meisten Unlearning-Methoden, die für die Entfernung kleiner Datenmengen optimiert wurden, hatten Schwierigkeiten, die Nützlichkeit bei groß angelegten Unlearning-Anfragen aufrechtzuerhalten. SCRUB war die einzige Methode, die über alle Forget-Set-Größen hinweg konsistent eine Leistung nahe am neu trainierten Modell für BioBERT beibehielt.

Bedeutung und Beiträge
Die Autoren beanspruchen drei primäre Beiträge:

1. Realistisches medizinisches Testfeld: REMEDI ermöglicht die Evaluierung von Unlearning-Methoden auf realen Patientendaten (MIMIC-III) und bietet damit eine realistischere Bewertung als synthetische Benchmarks.
2. Diverse Entfernungs-Szenarien: Es führt drei Unlearning-Schweregrade ein (distinct, concurrent und large-scale), die vielfältige reale Anforderungen der Datenentfernung abbilden, einschließlich der herausfordernden Überlappungsszenarien zwischen Forget und Retain.
3. Komplexe Multi-Label-Aufgabe: Durch den Fokus auf Multi-Label-Klassifikation mit korrelierten Krankheits-Labels präsentiert REMEDI ein anspruchsvolleres Testfeld als bestehende Single-Label-Benchmarks. Diese Komplexität verdeutlicht die Schwierigkeit, gelernte Repräsentationen zu entwirren, ohne die validen Label-Korrelationen im Retain-Set zu stören.

Die Autoren kommen zu dem Schluss, dass REMEDI Fehlermodi von Unlearning-Methoden aufdeckt, die in nicht-medizinischen Benchmarks gut abschneiden, und betont die Notwendigkeit von Methoden, die die einzigartigen Komplexitäten klinischer Daten wie Label-Korrelationen und groß angelegte Löschungsanfragen bewältigen können.