🤖 machine learning

Dataset Usage Inference without Shadow Models or Held-out Data

Dieses Paper stellt ein praktisches Framework zur Datensatzverwendungsinferenz vor, das den Anteil eines Datensatzes, der zum Trainieren eines Modells verwendet wurde, schätzt, ohne auf teure Schattenmodelle oder gehaltene Daten zurückzugreifen, sondern stattdessen synthetische Nicht-Mitglied-Proben und Schätzungen der Mischungsproportionen nutzt, um reale Streitigkeiten über die Dateneigentümerschaft zu adressieren.

Ursprüngliche Autoren: Wojciech Łapacz, Stanisław Pawlak, Jan Dubiński, Franziska Boenisch, Adam Dziedzic

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wojciech Łapacz, Stanisław Pawlak, Jan Dubiński, Franziska Boenisch, Adam Dziedzic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Künstler, der den Verdacht hegt, dass ein massiver, hochtechnologischer Roboter-Maler heimlich Ihre Kunstwerke verwendet hat, um das Malen zu lernen. Sie wollen wissen: Hat der Roboter meine Gemälde benutzt? Und wenn ja, wie viele davon?

Dies ist das Problem der Dataset Usage Inference (DUI) (Datensatzverwendungs-Inferenz). Lange Zeit war der einzige Weg, dies herauszufinden, so als würde man versuchen, ein geheimes Rezept durch das Backen eigener Kuchen in einer anderen Küche zu rekonstruieren, um zu sehen, ob sie gleich schmecken. Dies wurde als die Verwendung von „Shadow Models“ (Schattenmodellen) bezeichnet. Es war unglaublich teuer, langsam und erforderte eine perfekte Kopie der Trainingsdaten des Roboters (die man normalerweise nicht besitzt).

Dieses Paper stellt eine neue, viel intelligentere Methode namens NU-DUI (Negative Unlabeled Dataset Usage Inference) vor. So funktioniert sie, erklärt anhand einfacher Analogien:

1. Der alte Weg: Das „Schattenspiel“-Problem

Zuvor mussten Forscher, um zu prüfen, ob ein Roboter Ihre Fotos verwendet hat, einen „Schatten-Roboter“ (ein Schattenmodell) bauen, der den echten Roboter perfekt imitieren sollte.

Die Analogie: Stellen Sie sich vor, Sie möchten beweisen, dass ein Meisterkoch Ihre geheime Gewürzmischung verwendet hat. Um dies zu tun, müssten Sie eine ganze neue Küche bauen, einen neuen Koch einstellen und Monate damit verbringen, genau den Kochstil des Meisterkochs zu rekonstruieren, nur um die Notizen zu vergleichen. Es ist zu teuer und dauert zu lange.
Der Fehler: Es setzte zudem voraus, dass Sie eine „Kontrollgruppe“ von Fotos hatten, von denen Sie wussten, dass sie definitiv nicht verwendet wurden. In der Realität hat man selten eine Liste von Fotos, die zu 100 % garantiert sicher sind.

2. Der neue Weg: Der „Digitaler Spiegel“-Trick

Die neue Methode der Autoren, NU-DUI, überspringt den teuren Schatten-Roboter komplett. Stattdessen nutzt sie einen cleveren zweistufigen Zaubertrick mit synthetischen (künstlichen) Daten.

Schritt A: Eine „falsche“ Referenzgruppe erstellen

Anstatt eine Liste von Fotos zu benötigen, von denen Sie wissen, dass sie nicht verwendet wurden, nimmt die Methode Ihre verdächtigen Fotos und lässt sie durch einen anderen Typ von Roboter-Maler laufen, um eine „paraphrasierte“ Version zu erstellen.

Die Analogie: Stellen Sie sich vor, Sie haben ein verdächtiges Foto. Sie lassen es durch einen anderen Typ von Kunstfilter (wie einen Aquarellfilter) laufen, um eine „falsche“ Version zu erstellen. Diese falsche Version sieht ähnlich aus, ist aber definitiv neu und war nicht in den ursprünglichen Trainingsdaten des Roboters enthalten.
Der Clou: Die Autoren erkannten, dass, wenn man denselben Typ von Roboter verwendet, um das Falsche zu erstellen, das Falsche versehentlich zu sehr wie die echten Trainingsdaten aussehen könnte. Daher verwenden sie eine völlig andere Familie von Robotern (z. B. wenn das Ziel ein „Diffusion“-Roboter ist, verwenden sie einen „VAR“-Roboter, um die Fälschungen zu erstellen). Dies stellt sicher, dass die Fälschungen echte „Außenseiter“ sind.

Schritt B: Der „Make-up“-Trick (Autoencoding)

Hier ist der wichtigste Teil. Die „falschen“ Fotos, die von dem anderen Roboter gemacht wurden, haben eine spezifische digitale „Textur“ oder ein „Rauschen“, das echte Fotos nicht haben. Wenn man echte Fotos direkt mit diesen Fälschungen vergleicht, könnte der Computer durch diese Textur verwirrt werden, anstatt zu erkennen, ob das Foto tatsächlich für das Training verwendet wurde.

Die Analogie: Stellen Sie sich vor, die falschen Fotos tragen eine bestimmte Marke von Sonnenbrillen. Wenn man sie mit echten Menschen vergleicht, könnte der Computer einfach sagen: „Oh, diese Menschen tragen Sonnenbrillen, also müssen sie anders sein!“
Die Lösung: Die Methode nimmt Ihre echten verdächtigen Fotos und setzt ihnen dieselbe Sonnenbrille auf. Sie lässt die echten Fotos durch denselben Filter laufen, um „autoencodierte“ Versionen zu erstellen. Nun tragen sowohl die „falsche“ Gruppe als als auch die „echte“ Gruppe die gleiche Sonnenbrille. Der einzige verbleibende Unterschied ist, ob das Foto tatsächlich im Gedächtnis des Roboters für das Training verwendet wurde.

3. Die endgültige Zählung: Der „Smoothie“-Mix

Sobしても die Daten vorbereitet sind, bittet die Methode den Ziel-Roboter, alle diese Fotos anzusehen und ihnen einen „Vertrautheitswert“ zu geben.

Die Analogie: Stellen Sie sich vor, Sie haben einen Smoothie, der aus zwei Früchten besteht: Äpfeln (Fotos, die der Roboter kennt) und Orangen (Fotos, die er nicht kennt). Sie können die einzelnen Früchte nicht sehen, aber Sie können den Smoothie schmecken.
Die Mathematik: Die Methode nutzt ein statistisches Werkzeug namens Mixture Proportion Estimation (Mischungsverhältnisschätzung). Sie betrachtet die „Vertrautheitswerte“ der „Sonnenbrille tragenden“ Fälschungen (die zu 100 % Orangen sind) und der „Sonnenbrille tragenden“ Verdächtigen (die eine Mischung aus Äpfeln und Orangen sind). Durch den Vergleich dieser beiden kann sie mathematisch genau berechnen, welcher Prozentsatz des verdächtigen Smoothies aus Äpfeln besteht.

Warum das wichtig ist

Geschwindigkeit: Die alte Methode dauerte über 1.500 Stunden Supercomputer-Zeit, um einen Datensatz zu prüfen. Diese neue Methode dauert etwa 42 Minuten. Das ist eine Beschleunigung um über 2.000 Mal.
Keine „perfekten“ Daten nötig: Sie benötigen keine geheime Liste von „sicheren“ Fotos. Die Methode erstellt ihre eigene sichere Referenzgruppe direkt vor Ort.
Praxisrelevanz: Sie funktioniert bei massiven, modernen Bildgeneratoren (wie denen, die heute Kunst erschaffen) und liefert eine spezifische Zahl (z. B. „30 % Ihrer Fotos wurden verwendet“) anstatt nur einer „Ja/Nein“-Antwort.

Das Fazit

Das Paper behauptet, dass dies ein praktischer, schneller und genauer Weg für Künstler oder Dateneigentümer ist, große KI-Modelle zu prüfen. Es beweist, dass man nicht den KI-Modell selbst nachbauen muss, um zu prüfen, ob er die eigenen Daten gestohlen hat; man muss nur ein cleveres „Spiegelbild“ seiner Daten erstellen und die Mathematik den Rest erledigen lassen.

Hinweis zu den Einschränkungen: Das Paper gibt zu, dass dies am besten funktioniert, wenn das KI-Modell einige „Fußabdrücke“ (Memorierungssignale) in seinem Verhalten hinterlässt. Wenn das Modell perfekt ist und keine Spuren hinterlässt, kann diese Methode sie nicht finden. Außerdem wird eine andere Art von KI benötigt, um die „falschen“ Referenzfotos zu erstellen.

Technisches Resümee: Negative Unlabeled Dataset Usage Inference (NU-DUI)

Problemstellung

Dataset Usage Inference (DUI) zielt darauf ab, den Anteil eines spezifischen Datensatzes zu schätzen, der zum Training eines Machine-Learning-Modells verwendet wurde. Während bestehende Methoden wie Dataset Inference (DI) bestimmen können, ob ein Datensatz verwendet wurde (binäre Klassifizierung), scheitern sie daran, zu quantifizieren, wie viel davon verwendet wurde. Diese Quantifizierung ist entscheidend für rechtliche Rahmenbedingungen (z. B. die Analyse der angemessenen Verwendung („fair-use“) unter dem US-Urheberrecht) und reale Streitigkeiten über Dateneigentum.

Der aktuelle Stand der Technik, wie etwa DUCI (Tong et al., [46]), steht vor zwei signifikanten praktischen Barrieren:

Anforderung von Schattenmodellen (Shadow Models): Diese erfordern das Training teurer „Schattenmodelle“, die die Architektur und das Verhalten des Zielmodells imitieren. Für groß angelegte generative Modelle (z. B. 1,5 Mrd. Parameter) kann das Training eines einzelnen Schattenmodells über 1.500 A100-Stunden in Anspruch nehmen, was rechnerisch prohibitiv ist.
Assumption von Held-Out-Daten: Sie setzen den Zugriff auf einen vertrauenswürdigen, in-distribution befindlichen „Held-Out“-Datensatz voraus, von dem bestätigt ist, dass er nicht im Trainingsdatensatz des Zielmodells enthalten ist. In echten Audit-Szenarien ist ein solcher vertrauenswürdiger, Nicht-Mitglied-Datensatz selten verfügbar.

Standardmäßige Membership Inference Attacks (MIAs) degradieren bei großen modernen Modellen oft zu einer Leistung nahe am Zufallsniveau, da die pro-Sample-Signale schwach sind und eine hohe Sensitivität gegenüber Verteilungsverschiebungen zwischen Mitglied- und Nicht-Mitglied-Daten aufweisen.

Methodik: NU-DUI

Die Autoren schlagen Negative Unlabeled Dataset Usage Inference (NU-DUI) vor, ein Framework, das die Notwendigkeit von Schattenmodellen und vertrauenswürdigen Held-Out-Daten eliminiert. Die Methode formuliert DUI als ein Mixture Proportion Estimation (MPE) Problem um.

Die Pipeline besteht aus drei Hauptphasen:

1. Konstruktion von synthetischen Nicht-Mitgliedern und autoenkodierten Verdachtsmengen

Um das Fehlen eines vertrauenswürdigen Held-Out-Sets zu adressieren, konstruiert NU-DUI Referenzdaten direkt aus der Verdachtsgruppe ( $X_{real}$ ):

Synthetische Nicht-Mitglieder ( $X_{img2img}^{nonmember}$ ): Die Bilder der Verdachtsgruppe werden mithilfe eines Image-to-Image-Generators ( $G$ $G$ ) aus einer anderen generativen Familie als dem geprüften Zielmodell paraphasiert (z. B. die Verwendung von Stable Diffusion zur Paraphrasierung von Bildern für ein autoregressives Zielmodell oder umgekehrt).
- Begründung: Die Verwendung einer anderen Familie verhindert, dass die synthetischen Proben nahe einem „Fixpunkt“ der Verlustfunktion des Zielmodells liegen. Würde dieselbe Familie verwendet, könnten die paraphasierten Bilder aufgrund der spezifischen Reverse-Process-Dynamik des Zielmodells eine künstlich niedrige Loss aufweisen (und somit wie Mitglieder wirken), was die Inferenz verfälschen würde.
Autoenkodierte Verdachtsgruppe ( $X_{AE}$ ): Der ursprüngliche Verdachtsdatensatz wird mit demselben Autoencoder kodiert und dekodiert, der auch für das Paraphrasieren verwendet wurde.
- Begründung: Generative Modelle führen spezifische Hochfrequenz-Artefakte ein. Durch das Autoenkodieren der Verdachtsgruppe injiziert die Methode diese identischen Artefakte in die „unbeschriftete“ Seite des Vergleichs. Dies stellt sicher, dass die Verteilungsverschiebung zwischen der unbeschrifteten Mischung ( $U$ ) und den synthetischen Negativen ( $N$ ) primtagig durch den Mitgliedsstatus und nicht durch generatorspezifische Artefakte dominiert wird.

2. MIA-Merkmalsextraktion

Das Framework befragt das Zielmodell sowohl auf den autoenkodierten Verdachtsdatensatz ( $U$ ) als auch auf den synthetischen Nicht-Mitglied-Datensatz ( $N$ ). Es extrahiert einen Vektor von Membership-Inference-Merkmalen ( $\Phi_{MIA}$ ), die auf die Familie des Zielmodells zugeschnitten sind:

Für Image Autoregressive (IAR) Modelle verwendet es Merkmals-Suites basierend auf Token-Level-Losses und Konfidenz-Scores.
Für Diffusion Modelle werden Noise-Prediction-Errors und Diskrepanzen in der bedingten Likelihood verwendet.
Mehrere Signale werden zu einem einzigen Merkmalsvektor kombiniert, um die Trennung zwischen Member- und Non-Member-Verteilungen zu verbessern, da einzelne Signale oft schwach oder verrauscht sind.

3. Mixture Proportion Estimation (MPE)

Das Problem wird als Schätzung der Proportion $\pi$ der Mitglieder in der unbeschrifteten Menge $U$ formuliert, unter der Annahme, dass $U$ eine Mischung aus Mitgliedern (aus der Verdachtsgruppe) und Nicht-Mitgliedern (synthetisch) ist.

Der synthetische Satz $N$ dient als gelabelte Nicht-Mitglied-Referenz.
Der autoenkodierte Satz $U$ dient als unbeschriftete Mischung.
Standardmäßige MPE-Schätzer (z. B. TIcE, AlphaMax, PUL-Varianten) werden auf die Merkmalsvektoren angewendet, um das geschätzte Mitgliederverhältnis $\hat{p}$ zu rekonstruieren.

Zentrale Beiträge

Umformulierung als MPE: Die Autoren haben die Dataset Usage Inference als ein Mixture Proportion Estimation Problem neu formuliert und damit die Abhängigkeit von teuren Schattenmodellen aufgehoben.
Synthetische Referenzgenerierung: Sie schlagen eine Methode vor, um realistische synthetische Nicht-Mitglieder durch Cross-Family Image-to-Image Paraphrasierung zu generieren und die Verdachtsgruppe durch Autoenkodierung abzugleichen. Dies eliminiert die Abhängigkeit von vertrauenswürdigen Held-Out Nicht-Mitglied-Sets, die in der Praxis meist nicht verfügbar sind.
Empirische Validierung: Die Methode wird erfolgreich auf fünf groß angelegten bildgenerativen Modellen (sowohl autoregressiv als auch Diffusion) demonstriert, die auf ImageNet-1k trainiert wurden, wobei sie einen um Größenordnungen geringeren Rechenaufwand als Schattenmodell-basierte Ansätze benötigt.

Experimentelle Ergebnisse

Die Autoren evaluierten NU-DUI auf groß angelegten Modellen einschließlich VAR-24/30, RAR-XL/XXL und DiT-RF-XL/2-8E2A, die auf ImageNet-1k trainiert wurden.

Genauigkeit: Über verschiedene wahre Mitgliederverhältnisse ( $p$ $p$ ) hinweg folgt NU-DUI (unter Verwendung der „Synth + AE“-Pipeline) eng der Identitätslinie.
- Auf RAR-XXL mit einer Verdachtsgruppe von 1.000 Bildern lag der mittlere absolute Fehler (MAE) bei 0,058 (unter Verwendung von PUL-basiertem MPE), womit die Lücke zum „Oracle“-Setting (das auf den Zugriff auf echte Held-Out Nicht-Mitglieder setzt) signifikant geschlossen wurde.
- Ohne Autoenkodierung („Synthetic“ allein) überschätzt die Methode das Mitgliederverhältnis bei niedrigem $p$ systematisch aufgrund von Artefakt-Mismatches. Das Autoenkodieren korrigiert diesen Bias.
Notwendigkeit der Cross-Family-Generierung: Ablationsstudien zeigten, dass die Verwendung eines Paraphrasierers aus der gleichen generativen Familie wie das Zielmodell die Schätzqualität signifikant verschlechterte, was bestätigt, dass die Cross-Family-Generierung essenziell ist, um Loss-Function-Fixpunkte zu vermeiden.
Recheneffizienz:
- DUCI (1 Schattenmodell): ~1.500 A100-Stunden für ein 1,5B Parameter Modell.
- NU-DUI: ~42,5 A100-Minuten für dasselbe Zielmodell.
- Dies entspricht einer Beschleunigung von >2.000x, was die Methode für moderne große Modelle praktikabel macht, bei denen das Training von Schattenmodellen unmöglich ist.
Skalierbarkeit: Die Schätzgenauigkeit verbessert sich schnell, wenn die Größe der Verdachtsgruppe von 100 auf 1.000 Bilder steigt, wonach die Gewinne stagnieren. Die Methode bleibt selbst bei kleinen Verdachtsgruppen (z. B. 100 Bilder) praktikabel.

Bedeutung und Limitationen

Bedeutung:
Das Paper präsentiert NU-DUI als praktisches Werkzeug für Dateneigentümer und Auditoren, um quantitative Beweise für die Nutzung von Trainingsdaten in modernen generativen Modellen zu erhalten. Durch die Eliminierung der Notwendigkeit von Schattenmodellen und vertrauenswürdigen Held-Out-Daten macht es das Audit von Datensätzen für große, proprietäre Modelle möglich, bei denen bisherige Methoden rechnerisch oder datentechnisch prohibitiv waren.

Limitationen:
Die Autoren weisen auf zwei primäre Einschränkungen hin:

MIA-Signalstärke: Die Genauigkeit von NU-DUI ist durch die Stärke der verfügbaren Membership-Inference-Signale begrenzt. Wenn ein Zielmodell nur wenig Informationen über die Mitgliedschaft preisgibt, werden die Schätzungen weniger stabil sein.
Verfügbarkeit von Cross-Family-Generatoren: Die Methode erfordert ein ausreichend starkes generatives Modell aus einer anderen Familie, um synthetische Nicht-Mitglieder zu erzeugen. In Domänen, in denen kein alternativer Generator existiert, kann die Methode nicht direkt angewendet werden.

Das Paper kommt zu dem Schluss, dass NU-DUI die Dataset Usage Inference für moderne generative Modelle ermöglicht, indem es die Erzeugung synthetischer Daten und die Schätzung von Mischungsverhältnissen nutzt und somit eine skalierbare Alternative zu Schattenmodell-basierten Audits bietet.