DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

In der modernen Landschaft der künstlichen Intelligenz sind Diffusion-Modelle, eine spezifische Klasse von Systemen, zum Motor hinter vielen der beeindruckendsten Bilder geworden, die wir online sehen. Diese Systeme lernen, neue Bilder zu erstellen, indem sie mit zufälligem Rauschen beginnen und das Rauschen schrittweise entfernen, bis ein klares Bild erscheint. Um dies zu tun, werden sie auf massiven Sammlungen existierender Fotografien trainiert, wobei sie die statistischen Muster erlernen, die ein Bild mit einem anderen verbinden. Während diese Modelle für ihre Fähigkeit, Kunst zu generieren, gefeiert werden, ist neben ihrem Erfolg auch ein stilles Datenschutzproblem entstanden. Da die spezifische Liste der für das Training verwendeten Fotos selten öffentlich gemacht wird, ist es schwierig zu wissen, ob ein bestimmtes privates Foto einer Person Teil dieses Trainingsdatensatzes war. Dies ist aus mehreren Gründen von Bedeutung: Die Bestätigung, dass medizinische oder biometrische Daten einer Person verwendet wurden, könnte an sich bereits eine Verletzung der Privatsphäre darstellen, und nach geltenden Datenschutzgesetzen haben Einzelpersonen das Recht, die Löschung ihrer Daten zu verlangen, doch oft gibt es keine Möglichkeit zu verifizieren, ob ein Modell sie tatsächlich „vergessen“ hat. Darüber hinaus wirft es rechtliche Fragen auf, wer die neuen Bilder besitzt, wenn ein Modell ein spezifisches urheberrechtlich geschütztes Bild memoriert hat, anstatt nur einen allgemeinen Stil zu erlernen.

Jahrelang haben Forscher versucht, Werkzeuge zu entwickeln, um die Frage zu beantworten, ob ein bestimmtes Bild Teil der Trainingsdaten eines Modells war. Diese Versuche, bekannt als Membership Inference Attacks (Mitgliedschafts-Inferenz-Angriffe), stützten sich weitgehend auf Intuition. Forscher vermuteten, dass ein Modell, wenn es ein Bild bereits einmal gesehen hat, auf dieses etwas anders reagieren könnte als auf ein Bild, das es noch nie gesehen hat. Sie testeten verschiedene Signale, wie etwa wie groß der Fehler des Modells war, als es versuchte, eine verrauschte Version des Bildes zu bereinigen. Diese Methoden waren jedoch oft ein Glücksspiel, erforderten eine große Anzahl von Abfragen an das Modell und entbehrten einer soliden theoretischen Grundlage, die erklärte, warum sie funktionierten. Es war, als versuche man, eine Nadel im Heuhaufen zu finden, indem man rät, welcher Teil des Heus scharf sein könnte, anstatt die Form der Nadel selbst zu verstehen.

Ein Team von Forschern der University of Illinois at Urbana-Champaign hat dieses Problem nun aus einem völlig anderen Blickwinkel angegangen. Anstatt zu raten, welche Signale nützlich sein könnten, begannen sie damit, mathematisch abzuleiten, wie das bestmögliche Signal aussehen müsste. Sie stellten eine fundamentale Frage: Wenn ein Diffusionsmodell auf einer endlichen Menge von Bildern trainiert wurde, was ist die perfekte, theoretische Funktion, die es verwenden sollte, um das Rauschen aus einem gegebenen Bild zu entfernen? Durch das mathematische Lösen dieser Frage entdeckten sie, dass das Verhalten des Modells durch eine spezifische Art der Mittelung gesteuert wird. Wenn das Modell ein verrauschtes Bild betrachtet, fragt es im Wesentlichen: „Welche meiner Trainingsbilder könnten dieses Bild erzeugt haben?“ und mischt die Antworten dann zusammen, wobei es sie nach dem Grad gewichtet, in dem jedes Trainingsbild mit dem aktuellen Rauschen übereinstimmt.

Diese theoretische Erkenntnis offenbarte, dass das Verhalten des Modells zwei unterschiedliche Hinweise darauf enthält, ob ein Bild Teil des Trainingsdatensatzes war. Der erste Hinweis ist das, was die Forscher als Bias-Term (Verzerrungsterm) bezeichnen. Dieser misst, wie weit die beste Vermutung des Modells für das Originalbild von dem getesteten Bild entfernt ist. Wenn das Bild Teil des Trainingsdatensatzes war, wird die Vermutung des Modells sehr nah am Bild selbst liegen. Wenn das Bild nie gesehen wurde, wird die Vermutung wahrscheinlich weiter entfernt sein. Dieser Teil des Signals war bereits vorangegangenen Forschern bekannt, die ihn nutzten, um ihre Angriffe aufzubauen. Die mathematische Ableitung der Forscher deckte jedoch einen zweiten, bisher ignorierten Hinweis auf: einen Crowding-Term (Dichteterm). Dieser misst, wie dicht die ähnlichen Trainingsbilder um den Punkt herum gepackt sind, an dem das Modell seine Vermutung ansetzt. Stellen Sie sich eine Menschenmenge vor, die auf einem Feld steht. Wenn Sie alleine stehen, sind die Menschen um Sie herum weit weg. Wenn Sie in einem dichten Cluster stehen, sind die Menschen um Sie herum sehr nah beieinander. Die Forscher fanden heraus, dass selbst wenn die Vermutung des Modells genau ist, die Art und Weise, wie die Trainingsbilder um diese Vermutung herum gruppiert sind, ein leistungsstarkes, unabhängiges Signal liefert. Ein Nicht-Mitglied-Bild könnte zufällig an einem Ort landen, an dem die Vermutung des Modells nahe liegt, aber wenn die Trainingsbilder, die für diese Vermutung verantwortlich sind, weit verstreut sind, verrät die interne Logik des Modells, dass das Bild neu ist.

Unter Verwendung dieses dualen Verständnisses von Bias und Crowding entwickelten das Team eine neue Angriffsmethode, die sie DIME nennen. Diese Methode ist darauf ausgelegt, unglaublich effizient zu sein. Frühere Angriffe erforderten oft Dutzende von Fragen an das Modell, um ein zuverlässiges Ergebnis zu erhalten, was in realen Szenarien, in denen Unternehmen pro Abfrage abrechnen oder den Zugriff beschränken, langsam und teuer ist. DIME hingegen kann Ergebnisse mit so wenig wie zwei Fragen erzielen. Es funktioniert, indem das Modell gebeten wird, das betreffende Bild und dann leicht veränderte Versionen desselben Bildes zu betrachten. Durch den Vergleich, wie sich die Vorhersagen des Modells zwischen diesen Ansichten verschieben, kann die Methode sowohl das Bias- als als auch das Crowding-Signal berechnen, ohne den internen Code des Modells sehen oder andere Modelle neu trainieren zu müssen.

Die Forscher testeten diesen neuen Ansatz auf einer Vielzahl von Bilddatensätzen, die von kleinen, einfachen Bildern bis hin zu großen, komplexen Fotografien von Gesichtern und vielfältigen Szenen reichten. In jedem Fall übertraf DIME die besten existierenden Methoden. Bei einigen Datensätzen konnte es Trainingsbilder dreimal häufiger korrekt identifizieren als die bisher beste Methode, während es nur einen Bruchteil der Fragen verwendete. Bemerkenswerterweise war die Version des Angriffs, die nur zwei Fragen verwendete, oft in der Lage, die Leistung anderer Angriffe zu erreichen oder zu übertreffen, die dreißig Fragen benötigten. Diese Effizienz ist entscheidend, da sie bedeutet, dass der Angriff gegen reale Systeme praktikabel ist, die versuchen könnten, sich selbst zu schützen, indem sie den Zugriff einschränken. Die Forscher testeten ihre Methode auch gegen eine Standard-Datenschutzverteidigung namens Differential Privacy, die mathematisch garantiert, dass kein einzelnes Trainingsbild ein Modell zu stark beeinflussen kann. Sie fanden heraus, dass bei aktiver Anwendung dieser Verteidigung der Angriff vollständig scheiterte und die Erfolgsrate auf das Niveau des Zufallsraten reduzierte. Dies bestätigt, dass während die neue Methode gegen ungeschützte Modelle leistungsstark ist, die bestehenden mathematischen Abwehrmechanismen effektiv bleiben.

Die Bedeutung dieser Arbeit liegt nicht nur darin, dass sie ein besserer Angriff ist, sondern darin, wie sie unser Verständnis dieser Systeme verändert. Indem sie mit einer theoretischen Beschreibung des idealen Modells begannen, zeigten die Forscher, dass die Datenschutzrisiken keine zufälligen Eigenheiten sind, sondern in die Struktur eingebettet sind, wie diese Modelle lernen. Sie bewiesen, dass das Verhalten des Modells eine nachweisbare Spur hinterlässt, die auf zwei komplementären Arten gemessen werden kann. Dies bietet eine klare, mathematisch fundierte Erklärung dafür, warum Membership Inference funktioniert, und bietet einen Entwurf für den Bau besserer Abwehrmechanismen in der Zukunft. Die Studie zeigt, dass selbst die anspruchsvollsten generativen Modelle nicht immun gegen eine Prüfung sind und dass das Verständnis der präzisen Mechanismen ihres Lernprozesses der Schlüssel sowohl zur Aufdeckung ihrer Schwachstellen als auch zu ihrer Sicherung ist.