Curation Leaks: Membership Inference Attacks against Data Curation for Machine Learning

Diese Arbeit zeigt, dass Datenkuratierungsprozesse für maschinelles Lernen trotz der ausschließlichen Verwendung öffentlicher Daten für das Training private Informationen über die zugrundeliegenden sensiblen Daten offenlegen können, und demonstriert, dass differenzielle Privatsphäre eine wirksame Gegenmaßnahme darstellt.

Das Wesentliche

Titel: Der geheime Kochbuch-Trick: Wie KI-Datenkuratoren ihre Geheimnisse verraten

Stell dir vor, du bist ein berühmter Koch, der ein neues, weltberühmtes Rezept entwickeln will. Aber du darfst deine geheimen, sensiblen Familienrezepte (die privaten Daten) nicht direkt in die große, öffentliche Küche werfen, weil du Angst hast, dass die Leute sie stehlen oder ausspionieren könnten.

Also machst du folgendes: Du nimmst deine geheimen Rezepte und nutzt sie nur, um aus einem riesigen Berg öffentlicher Kochbücher (der öffentlichen Datenbank) die besten Seiten auszuwählen. Du sagst: „Hey, dieses Rezept hier passt perfekt zu meinem Geheimrezept, und das andere hier ist auch super." Du mischst diese besten öffentlichen Seiten zu einem neuen, kuratierten Kochbuch zusammen und trainierst deinen neuen Koch damit.

Die Hoffnung war: „Da mein neuer Koch nie meine geheimen Rezepte gesehen hat, sind sie sicher!"

Aber diese Studie (von ICLR 2026) sagt: „Falsch gedacht! Deine Geheimnisse sind trotzdem in Gefahr."

Hier ist die einfache Erklärung, was die Forscher herausgefunden haben, mit ein paar lustigen Vergleichen:

1. Der Fehler: Der Kurator ist ein Schnüffler

Die Forscher haben gezeigt, dass der Prozess des „Auswählens" (die Kuratierung) selbst schon ein riesiges Leck ist. Es ist, als würde dein Kochbuch-Verleger laut schreien: „Schau mal, Seite 42 aus dem öffentlichen Buch hat genau die gleichen Zutaten wie dein geheimes Familienrezept!"

Selbst wenn der Koch das geheime Rezept nie sieht, verrät die Art und Weise, wie er die Seiten ausgewählt hat, wer im Geheimen dabei war.

2. Die drei Angriffspunkte (Wie die Hacker zuschlagen)

Die Forscher haben drei verschiedene Wege gefunden, wie man herausfinden kann, welche geheimen Rezepte im Spiel waren:

• Angriff A: Die Punktzahl (Der „Liebesbrief")
  Bei manchen Methoden gibt es für jedes öffentliche Rezept eine Punktzahl, wie gut es zu deinem Geheimrezept passt.

  • Der Vergleich: Stell dir vor, du hast eine Liste von 100 Leuten und gibst jedem eine Note, wie gut er zu dir passt. Wenn jemand eine perfekte 10 bekommt, weiß jeder sofort: „Das ist der Typ, den du magst!"
  • Das Problem: Bei der „Bild-basierten" Methode (wie bei Fotos) ist das System so direkt, dass man fast genau rekonstruieren kann, welches geheime Foto welches öffentliche Bild ausgewählt hat. Es ist wie ein offenes Buch.

• Angriff B: Die Auswahlliste (Das „Wer ist dabei?")
  Manchmal gibt es keine Punktzahlen, nur eine Ja/Nein-Liste: „Dieses Rezept wurde ausgewählt, jenes nicht."

  • Der Vergleich: Stell dir vor, du hast eine Liste von 100 Gästen. Du sagst nur: „Die 50, die hier stehen, sind eingeladen." Ein cleverer Hacker kann durch geschicktes Raten und Vergleichen herausfinden, welche der geheimen Gäste auf deiner Liste waren, indem er beobachtet, welche öffentlichen Gäste nicht eingeladen wurden. Es ist wie ein Rätsel, bei dem man durch das Fehlen von Leuten schließt, wer da war.

• Angriff C: Der fertige Koch (Der „Fingerabdruck")
  Das ist der hinterhältigste Trick. Der Hacker fälscht ein paar öffentliche Rezepte (z. B. ein Bild von einer Katze mit dem Text „und dazu Ratatouille") und schmiert sie in den öffentlichen Berg.

  • Der Vergleich: Der Hacker sagt: „Wenn dein Geheimrezept wirklich da ist, dann wird dein Koch dieses spezielle, seltsame Rezept auswählen und es wird in seinem Gedächtnis einen kleinen Fleck hinterlassen."
  • Wenn der fertige Koch dann später auf das Wort „Ratatouille" reagiert, obwohl er nur Katzenbilder gesehen hat, weiß der Hacker: „Aha! Dein Geheimrezept war dabei!"

3. Warum ist das schlimm?

Bisher dachte man, wenn man sensible Daten (z. B. aus dem Gesundheitswesen oder der Finanzwelt) nicht direkt in die KI füttert, sondern nur zur Auswahl nutzt, sei alles sicher.
Diese Studie zeigt: Nein, es ist nicht sicher.

• Bei einfachen Methoden (wie dem Vergleichen von Bildern) ist das Leck riesig.
• Bei komplexeren Methoden (wie TRAK, die mathematisch „durchschnittliche" Einflüsse berechnen) ist es etwas besser, aber bei kleinen Datensätzen (was in sensiblen Bereichen oft der Fall ist) ist es immer noch ein offenes Buch.

4. Die Lösung: Der „Rauschfilter" (Differential Privacy)

Wie schützt man sich? Die Forscher sagen: Man muss dem Kurator einen „Rauschfilter" (ein bisschen zufälliges Rauschen) geben.

• Die Analogie: Stell dir vor, der Kurator muss seine Noten geben, aber er darf nicht die exakte Zahl sagen, sondern nur „etwas zwischen 8 und 9". Oder er darf nicht sagen, wer genau eingeladen ist, sondern nur eine vage Liste.
• Wenn man diese Technik (Differential Privacy) anwendet, verschwindet das Leck fast vollständig. Der Hacker kann dann nicht mehr unterscheiden, ob ein geheimes Rezept dabei war oder nicht.

Fazit für den Alltag

Wenn KI-Modelle heutzutage trainiert werden, indem man aus riesigen Datenmengen die „besten" Stücke für ein spezielles, sensibles Ziel heraussucht, muss man vorsichtig sein. Das bloße Auswählen der Daten verrät oft mehr, als man denkt.

Es ist wie bei einem Detektiv, der nur die Fußspuren betrachtet, um zu wissen, wer im Haus war. Man muss sicherstellen, dass die Fußspuren verwischt werden (durch Datenschutz-Techniken), sonst verrät schon der Weg zur Tür, wer drin war.

Kurz gesagt: Datenkurierung ist mächtig, aber ohne spezielle Sicherheitsvorkehrungen ist sie wie ein offenes Tagebuch für Hacker.

Technische Zusammenfassung

1. Problemstellung

Im maschinellen Lernen (ML) wird Datenkuratierung eingesetzt, um hochwertige Daten aus großen öffentlichen Datensätzen auszuwählen, um die Modellgenauigkeit zu maximieren und die Rechenkosten zu senken. Ein wachsender Anwendungsfall ist die Private Machine Learning: Anstatt sensible Daten direkt zu trainieren (was zu Informationslecks führen kann), werden diese sensiblen Daten nur genutzt, um die Auswahl relevanter öffentlicher Daten zu steuern. Das finale Modell wird ausschließlich auf diesen kuratierten öffentlichen Daten trainiert.

Die Annahme ist, dass ein solches Modell datenschutzfreundlich ist, da es die sensiblen Daten nie direkt gesehen hat. Die Autoren widerlegen diese Annahme und zeigen, dass Datenkuratierungs-Pipelines inhärente Privatsphärenrisiken bergen. Selbst wenn das finale Modell nur auf öffentlichen Daten trainiert wurde, können Angreifer durch Analyse der Kuratierungsschritte Rückschlüsse darauf ziehen, welche sensiblen Daten (die „Target-Daten") zur Steuerung der Kuratierung verwendet wurden. Dies geschieht durch Membership Inference Attacks (MIA), bei denen festgestellt wird, ob ein bestimmter Datensatz Teil des privaten Target-Sets war.

2. Methodik und Angriffsvektoren

Die Autoren untersuchen drei Hauptstadien der Kuratierungspipeline und entwickeln spezifische Angriffe für jedes Stadium. Sie nutzen zwei repräsentative Kuratierungsmethoden:

1. Image-based Curation: Basiert auf der Ähnlichkeit von Bild-Embeddings (z. B. CLIP). Ein öffentlicher Datensatz erhält einen Score basierend auf der maximalen Ähnlichkeit zu einem Datensatz im privaten Target-Set (Nearest-Neighbor-Prinzip).
2. TRAK (Tracing with the Randomly-projected After Kernel): Basiert auf Gradienten und Datenattribution. Der Score ist ein gewichteter Durchschnitt der Einflusswerte aller Target-Datenpunkte auf einen öffentlichen Datensatz.

Die Angriffe werden in drei Kategorien unterteilt (siehe Abbildung 1 im Paper):

A. Angriffe auf Kuratierungsscores (Continuous Scores)

• Ziel: Zugriff auf die numerischen Scores, die jedem öffentlichen Datensatz zugewiesen wurden.
• Methode:
  • LiRA (Likelihood Ratio Attack): Die Autoren passen LiRA an, indem sie „Shadow Curations" durchführen. Sie erstellen zufällige Teilmengen des Target-Sets, kuratieren darauf basierend und modellieren die Verteilung der Scores für Mitglieder vs. Nicht-Mitglieder.
  • Image-based (Custom Voting): Da die Image-based-Methode deterministisch ist (Score = Ähnlichkeit zum nächsten Nachbarn), können Angreifer durch Umkehrung der Berechnung genau bestimmen, welcher Target-Datensatz für den Score verantwortlich war. Dies ermöglicht eine fast perfekte Rekonstruktion der Target-Mitgliedschaft.
  • TRAK (Least Squares): Da TRAK-Scores lineare Kombinationen der Target-Beiträge sind, kann das Problem als lineares Gleichungssystem formuliert werden, um die Mitgliedschaftsmasken zu rekonstruieren.

B. Angriffe auf die kuratierte Teilmenge (Binary Selection)

• Ziel: Zugriff nur auf die binäre Entscheidung, welche öffentlichen Datensätze ausgewählt wurden (ohne die Scores zu kennen).
• Methode:
  • Binary LiRA: Anpassung von LiRA für binäre Ausgaben (Bernoulli-Verteilung).
  • Iterative Voting (Image-based): Ein iterativer Algorithmus, der Hypothesen über das Target-Set aufstellt, die Kuratierung simuliert und basierend auf den Abweichungen zwischen simulierter und tatsächlicher Auswahl das Target-Set schrittweise verfeinert.

C. End-to-End-Angriffe auf das trainierte Modell

• Ziel: Zugriff nur auf das finale, auf kuratierten Daten trainierte Modell.
• Methode (Fingerprinting):
  • Der Angreifer injiziert eine kleine Anzahl manipulierter Datensätze („Fingerprints") in den öffentlichen Pool.
  • Image-based: Manipulation von Bildunterschriften (Captions), die semantisch irrelevant sind, aber bei Vorhandensein eines spezifischen Targets eine hohe Kuratierungswahrscheinlichkeit haben.
  • TRAK: Hinzufügen orthogonalen, harmlosen Informationsanteils zu den Captions, um den Gradienten-Score zu beeinflussen, ohne die Kuratierungswahrscheinlichkeit zu zerstören.
  • Wenn das Target-Set das spezifische Target enthält, werden diese Fingerprints mit hoher Wahrscheinlichkeit ausgewählt und hinterlassen ein messbares Signal im trainierten Modell (z. B. erhöhte Wahrscheinlichkeit für das Konzept der manipulierten Caption).

3. Wichtige Beiträge

1. Erste umfassende Privatsphärenanalyse: Das Paper liefert die erste systematische Studie, die zeigt, dass Datenkuratierung auf jeder Stufe (Scores, Auswahl, finales Modell) Informationen über das private Target-Set preisgibt.
2. Spezifische Angriffsdesigns: Entwicklung maßgeschneiderter Membership-Inference-Angriffe für jede Pipeline-Stufe, die zeigen, dass selbst ohne Modifikation der Pipeline-Leistung Datenlecks auftreten.
3. End-to-End-Leckage: Nachweis, dass selbst das finale Modell, das nie private Daten sah, durch gezieltes „Poisoning" des öffentlichen Pools (Hinzufügen weniger Fingerprints) Informationen über das Target-Set verrät.
4. Empirische Evaluation: Tests auf sechs Datensätzen (einschließlich medizinischer und Satellitenbilder) mit zwei Kuratierungsmethoden.

4. Ergebnisse

• Image-based Curation: Zeigt eine hohe Anfälligkeit. Der deterministische Nearest-Neighbor-Mechanismus führt dazu, dass Scores und Auswahlentscheidungen fast vollständig über das Target-Set aufgedeckt werden können. Selbst bei kleinen Target-Sets ist die Leckage signifikant.
• TRAK: Bietet durch den Averaging-Mechanismus (Durchschnittsbildung) einen gewissen natürlichen Schutz, da einzelne Beiträge verwässert werden.
  • Aber: Bei kleinen Target-Sets (typisch für sensible Domänen wie Medizin) bleibt TRAK hoch anfällig. Die Leckage nimmt mit zunehmender Größe des Target-Sets ab, da der Averaging-Effekt stärker wird.
• End-to-End-Angriffe:
  • Bei Image-based Curation ist die Leckage über alle Größen hinweg konsistent vorhanden.
  • Bei TRAK ist die Leckage stark größenabhängig: Für kleine Sets (z. B. 100–1000 Samples) sind die Modelle angreifbar, für große Sets sinkt die Erfolgsrate der Angriffe.
• Differential Privacy (DP) als Abwehr: Die Autoren zeigen, dass die Anwendung von Differential Privacy (z. B. durch Hinzufügen von Rauschen zu den Scores oder Gradienten) die Leckage effektiv unterdrücken kann. Bei einem Budget von $\epsilon=10$ sinkt die Angriffserfolgsrate (TPR bei 1% FPR) auf das Niveau von Zufallsraten.

5. Bedeutung und Fazit

Das Paper hebt ein bisher übersehenes, kritisches Sicherheitsrisiko in modernen ML-Pipelines hervor. Die Annahme, dass die Trennung von sensiblen Daten (zur Kuratierung) und Trainingsdaten (öffentlich) ausreicht, um Privatsphäre zu gewährleisten, ist falsch.

• Praktische Relevanz: Da Kuratierung als Service (Data-as-a-Service) und in großen Unternehmen zunehmend genutzt wird, könnten Angreifer durch Analyse der kuratierten Datensätze oder der Modelle sensible Informationen über deren Herkunft (z. B. Patientendaten, Finanzdaten) ableiten.
• Herausforderung: Das „Privacy Onion"-Phänomen wird bestätigt: Das Entfernen der offensichtlichsten „verwundbaren" Datenpunkte kann die Privatsphäre sogar verschlechtern, da es die verbleibenden Daten exponiert.
• Lösungsrichtung: Die Autoren fordern, dass Datenschutzbewertungen nicht nur den Trainingsprozess, sondern zwingend auch den Datenauswahlprozess umfassen müssen. Die Integration formaler Garantien wie Differential Privacy in Kuratierungsalgorithmen ist ein vielversprechender Weg, um diese Risiken zu mindern, ohne die Nützlichkeit der Daten vollständig zu opfern.

Zusammenfassend demonstriert das Werk, dass Datenkuratierung ohne zusätzliche Schutzmaßnahmen ein neues Angriffsvektor für Membership Inference darstellt und dass die Entwicklung privatsphärenbewusster Kuratierungsmethoden dringend erforderlich ist.