🤖 machine learning

LDPKiT: Superimposing Remote Queries for Privacy-Preserving Distillation

Dieses Paper stellt LDPKiT vor, ein Framework zur Wahrung der Privatsphäre, das eine neuartige Superpositions-Technik nutzt, um annähernde In-Distribution-Stichproben aus lokalen Daten zu generieren, was eine effektive Modell-Destillation unter lokaler differenzieller Privatsphäre ermöglicht und dabei selbst bei starken Privatsphäre-Niveaus eine hohe Nützlichkeit aufrechterhält.

Ursprüngliche Autoren: Kexin Li, Aastha Mehta, David Lie

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kexin Li, Aastha Mehta, David Lie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen ein superintelligentes, geheimes Rezept zur Vorhersage der Zukunft (ein maschinelles Lernmodell), das in einem Hochsicherheitstresor einer riesigen Konzernverwaltung lebt. Sie möchten dieses Rezept nutzen, um Vorhersagen über Ihre eigenen privaten Daten zu treffen, wie etwa Ihre Krankenakten oder Bankauszüge. Aber Sie können nicht einfach in den Tresor einbrechen und das Rezept kopieren; der Besitzer lässt das nicht zu. Sie müssen also Ihre Daten an den Tresor senden, eine Vorhersage zurückerhalten und hoffen, dass es klappt.

Das Problem? Das Senden Ihrer Rohdaten ist riskant. Wenn der Tresorbesitzer neugierig ist (oder gehackt wird), könnte er Ihre Geheimnisse sehen. Um dies zu verhindern, fügen Sie Ihren Daten vor dem Versenden „Rauschen“ hinzu – so als ob Sie ein Foto unscharf machen würden, damit der Besitzer die Details nicht sieht, aber die allgemeine Form noch erkennbar bleibt. Dies nennt man Local Differential Privacy (LDP).

Aber hier ist der Haken: Diese Unschärfe ist so stark, dass die Vorhersagen des Tresorbesitzers fast nutzlos werden. Es ist, als würde man versuchen zu erraten, was ein Freund trägt, basierend auf einem Foto, bei dem die Person unter dichtem Nebel verborgen ist. Sie bekommen die Idee, dass es eine Person ist, aber Sie können nicht erkennen, ob sie einen Hut oder einen Helm trägt.

Hier kommt LDPKiT ins Spiel, ein cleveres neues Framework, das wie ein magischer „Entschärfungs“-Trick für Ihre Privatsphäre wirkt.

Der Zaubertrick: Überlagerung von Schatten

Die Forscher fanden heraus, dass das Modell nur sehr wenig lernt, wenn man einfach nur die unscharfen Fotos sendet. Aber was wäre, wenn man aus seinen ursprünglichen Fotos noch mehr unscharfe Fotos erstellen könnte, ohne das klare Bild jemals wieder zu sehen?

Sie entwickelten zwei Wege, dies zu tun:

Das zufällige Rauschen (LDPKiT-Rand): Sie nehmen Ihr unscharfes Foto und fügen noch mehr zufälliges statisches Rauschen hinzu, wodurch tausende leicht unterschiedliche, unscharfe Versionen entstehen.
Die Schatten-Mischung (LDPKiT-Sup): Dies ist das Highlight. Sie nehmen zwei Ihrer unscharfen Fotos und „überlagern“ sie – im Grunde mitteln sie die Pixel zusammen, um ein neues, gemischtes Bild zu erstellen.

Stellen Sie sich das so vor: Wenn Sie zwei unscharfe Fotos einer Katze haben und diese zusammenmischen, ist das Ergebnis eine „super-unscharfe“ Katze, die immer noch wie eine Katze ausset, aber das zufällige Rauschen gleicht sich ein wenig aus, wodurch die Form klarer wird als bei einem einzelnen unscharfen Foto. Die Forscher nennen dies Superimposition (Überlagerung).

Was sie herausgefunden haben

Das Team testete dies in drei verschiedenen „Welten“ von Daten: Bildern von Straßennummern (SVHN), Modeartikeln wie Sandalen und Hemden (Fashion-MNIST) und medizinischen Bildern von Zellen (PathMNIST).

Die schlechte Nachricht: Als sie nur die einzelnen unscharfen Fotos versendeten (eine Methode, die sie SIDP nennen), war das lokale Modell, das sie trainierten, schrecklich. Bei dem Datensatz mit den Straßennummern erreichte es nur etwa 21 % Genauigkeit, wenn die Privatsphäre auf einem moderaten Niveau (Epsilon = 2,0) eingestellt war. Das ist kaum besser als bloßes Raten.
Die gute Nachricht: Als sie die Schatten-Mischung (LDPKiT-Sup) Technik verwendeten, schoss die Genauigkeit des lokalen Modells in die Höhe. Bei demselben Straßennummern-Datensatz sprang die Genauigkeit auf über 80 %.
Der „Aha!“-Moment: Sie fanden heraus, dass die Schatten-Mischung deshalb so gut funktioniert, weil sie die „Form“ der Daten intakt hält. Wenn sie in das „Gehirn“ des Computers (den latenten Raum) blickten, befanden sich die gemischten Bilder direkt neben den echten Kategorien, während die Versionen mit zufälligem Rauschen überall verstreut waren.

Der Kompromiss: Privatsphäre vs. Genauigkeit

Die Forscher fragten sich: „Funktioniert das auch, wenn die Privatsphäre extrem streng ist?“

Ja. Tatsächlich gilt: Je mehr Privatsphäre Sie fordern (mehr Rauschen), desto mehr hilft LDPKiT.
Beispielsweise erreichten sie bei dem Straßennummern-Datensatz bei einem sehr strengen Privatsphäre-Niveau (Epsilon = 1,25) fast die gleiche Genauigkeit wie bei einem schwächeren Niveau (Epsilon = 2,0). Das bedeutet, Sie können stärkere Privatsphäre-Garantien genießen, bei weniger als 2 % Genauigkeitsverlust.

Was sie ausgeschlossen haben

Das Paper ist sehr deutlich darüber, was nicht funktioniert:

Zufälliges Rauschen allein: Das bloße Hinzufügen von zufälligem statischem Rauschen zu Ihren Daten (LDPKiT-Rand) half zwar ein wenig, war aber nicht ausreichend. Es gelang oft nicht, die wahre Form der Daten zu erfassen, insbesondere bei komplexen medizinischen Bildern.
Daten außerhalb der Verteilung (Out-of-Distribution): Man kann nicht einfach zufällige Bilder aus dem Internet verwenden, um sein lokales Modell zu trainieren. Wenn man versucht, ein Modell über Mode zu lehren, indem man Bilder von Straßennummern verwendet, lernt es nichts. Sie müssen Ihre eigenen privaten Daten verwenden (selbst wenn diese unscharf sind).
Verschlüsselung: Sie verglichen ihre Methode mit der Verwendung von „homomorpher Verschlüsselung“ (Mathematik, die Berechnungen auf verschlüsselten Daten ermöglicht). Sie fanden heraus, dass LDPKiT viel schneller und kostengünstiger ist. Während Verschlüsselung hunderte von Sekunden benötigen kann, um ein einzelnes Bild zu verarbeiten, kann LDPKiT Tausende in Sekunden verarbeiten.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Ergebnisse, äußern sich aber vorsichtig.

Sie haben durch Experimente bewiesen, dass LDPKiT-Sup konsistent die Basis-Methoden über drei verschiedene Datensätze und zwei verschiedene Modellgrößen hinweg übertrifft.
Sie haben das Privatsphäre-Risiko gemessen, indem sie versuchten, die Originalbilder aus den verrauschten Bildern zu „rekonstruieren“. Sie fanden heraus, dass selbst mit leistungsstarken KI-Werkzeugen die rekonstruierten Bilder sehr verschieden von den Originalen waren (niedrige Ähnlichkeitswerte), was darauf hindeutet, dass die Privatsphäre gewahrt bleibt.
Sie vermuten, dass die „Schatten-Mischung“ deshalb so gut funktioniert, weil sie Stichproben erzeugt, die näher an den Entscheidungsgrenzen der Daten liegen, geben aber zu, dass eine vollständige statistische Erklärung, warum sie so gut funktioniert, noch ein Thema für zukünftige Forschung ist.

Das Fazreresultat

LDPKiT ist wie ein privatsphäre-wahrender Zaubertrick. Es ermöglicht Ihnen, Ihre geheimen, unscharfen Daten auf eine spezielle Weise mit sich selbst zu mischen und so eine riesige Bibliothek an „sicheren“ Trainingsbeispielen zu erstellen. Dies erlaubt es Ihnen, einen lokalen Experten aufzubauen, der fast so viel weiß wie das geheime Modell des riesigen Tresors, ohne jemals Ihre privaten Geheimnisse preiszugeben.

Der einzige Haken? Sie benötigen eine beträchtliche Menge Ihrer eigenen privaten Daten, um zu beginnen (sie testeten mit so wenig wie 125 Stichproben, aber es funktioniert besser mit mehr), und Sie müssen bereit sein, viele Abfragen an den Remote-Server zu senden, um Ihre Bibliothek aufzubauen. Aber für viele ist der Kompromiss, ein paar zusätzliche unscharfe Fotos zu senden, um ein viel intelligenteres lokales Modell zu erhalten, ein Gewinn.

Technisches Resümee: LDPKiT

Problemstellung

In regulierten Bereichen wie dem Gesundheitswesen und dem Finanzwesen hosten Organisationen Machine-Learning-Modelle (ML) häufig über Remote-APIs, um Dienste bereitzustellen (z. B. Vorhersage des Krankheitsrisikos, Betrugserkennung), ohne dabei proprietäre Trainingsdaten oder Modellgewichte zu teilen. Während der Black-Box-Zugriff das geistige Eigentum und die Trainingsdaten des Modellanbieters schützt, zwingt er den Modellnutzer dazu, potenziell sensible Inferenz-Inputs an den Remote-Server zu übertragen. Bestehende Methoden zur privatsphärebewahrenden Inferenz, wie etwa homomorphe Verschlüsselung oder Trusted Execution Environments (TEEs), leiden unter erheblichen Rechenaufwänden oder erfordern spezialisierte Hardware, die nicht weit verbreitet ist.

Umgekehrt führt das Herunterladen von Modellgewichten für die lokale Inferenz durch den Nutzer dazu, dass das Modell White-Box-Angriffen ausgesetzt ist. Die zentrale Herausforderung, die mit dieser Arbeit adressiert wird, besteht darin, dem Nutzer zu ermöglichen, ein lokales Modell aus einem Remote-Black-Box-Modell unter Verwendung seiner eigenen privaten, sensiblen Daten zu destillieren, während die Privatsphäre-Leckage der Abfragen streng begrenzt wird. Eine sekundäre Herausforderung besteht darin, dass Nutzer in diesen Bereichen oft nur über kleine Mengen privater Daten verfügen, was in Kombination mit dem für die Privatsphäre erforderlichen Rauschen zu einer geringen Utility (Genauigkeit) des destillierten Modells führt.

Methodik

Die Autoren schlagen LDPKiT (Local Differentially-Private and Utility-Preserving Inference via Knowledge Transfer) vor, ein Framework, das Local Differential Privacy (LDP) mit einer neuartigen Datenaugmentierungstechnik kombiniert, um die durch Privatsphäre-Rauschen verlorene Utility wiederherzustellen.

1. Systemaufbau

Das Szenario umfasst einen Modellanbieter, der ein Remote-Modell ( $M_R$ ) hostet, und einen Nutzer mit einem kleinen, unbeschrifteten, sensiblen Datensatz ( $D_{priv}$ ). Das Ziel des Nutzers ist es, ein lokales Modell ( $M_L$ ) zu trainieren, das $D_{priv}$ genau klassifizieren kann, ohne die Rohdaten an $M_R$ preiszugeben.

2. Privatsphäre-Mechanismus

Um $D_{priv}$ zu schützen, wendet der Nutzer $\epsilon$ -LDP-Rauschen auf jede Stichprobe an, bevor diese an $M_R$ abgefragt wird. Das Paper nutzt den Laplace-Mechanismus, um $\epsilon$ -LDP zu erfüllen. Entscheidend ist, dass das Framework auf der Post-Processing-Eigenschaft von LDP basiert, die besagt, dass jede deterministische oder randomisierte Funktion, die auf eine $\epsilon$ -LDP-Ausgabe angewendet wird, weiterhin $\epsilon$ -LDP erfüllt. Dies ermöglicht es dem Nutzer, die verrauschten Daten zu augmentieren, ohne die Privatsphäre-Garantie zu schwächen.

3. Datenaugmentierungsstrategien

Da $D_{priv}$ typischerweise klein ist, liefert eine direkte Abfrage eine geringe Utility. LDPKiT augmentiert den initialen verrauschten Datensatz ( $D_{protected}$ ) in einen größeren Inferenz-Datensatz ( $D_{infer}$ ) mittels zweier Strategien:

LDPKiT-Rand: Fügt eine zweite Schicht unabhängigen Laplace-Rauschens zu den geschützten Stichproben hinzu. Dies erzeugt perturbierte Varianten, kann die Daten jedoch weiter von der wahren Verteilung entfernen.
LDPKiT-Sup (Superimposition): Dies ist der neuartige Beitrag. Es generiert neue Stichproben durch Mittelwertbildung von Paaren geschützter Stichproben aus $D_{protected}$ $D_{p r o t ec t e d}$ . Konkret wird eine augmentierte Stichprobe als $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$ $d_{in f er} = avg (d_{p r o t ec t e d_{i}}, d_{p r o t ec t e d_{j}})$ für unterschiedliche Indizes $i$ $i$ und $j$ $j$ berechnet.
- Begründung: Die Autoren hypothetisieren, dass die Superimposition von verrauschten Stichproben die Struktur der Zielklasse und die Entscheidungsgrenzen besser bewahrt als die Injektion von reinem Zufallsrauschen.
- Privatsphäre: Da die Mittelwertbildung eine Post-Processing-Operation auf $\epsilon$ -LDP-Ausgaben ist, behält der resultierende $D_{infer}$ die $\epsilon$ -LDP-Garantie auf Datensatz-Ebene bei. Selbst wenn ein Anbieter versucht, die geschützten Datensätze algebraisch aus den paarweisen Mittelwerten zu rekonstruieren, erhält er nur die verrauschten geschützten Datensätze, nicht die ursprünglichen privaten Daten, wodurch die $\epsilon$ -LDP-Garantie gewahrt bleibt.

4. Workflow

Phase I: Der Nutzer wendet $\epsilon$ -LDP-Rauschen auf $D_{priv}$ an, um $D_{protected}$ zu erstellen.
Phase II: Der Nutzer führt Post-Processing auf $D_{protected}$ durch (via Rand oder Sup), um $D_{infer}$ zu generieren.
Phase III: Der Nutzer fragt $M_R$ mit $D_{infer}$ ab, um Labels zu erhalten.
Phase IV: Der Nutzer trainiert $M_L$ auf dem gelabelten $D_{infer}$ und nutzt $M_L$ für die lokale Inferenz auf $D_{priv}$ .

Zentrale Beiträge

Framework für privatsphärebewahrende Destillation: LDPKiT ermöglicht es Nutzern, Wissen aus Remote-Black-Box-Modellen unter Verwendung ihrer eigenen privaten Daten zu destillieren und gleichzeitig die Privatsphäre-Leckage mittels LDP zu begrenzen.
Superimposition-Technik: Einführung von LDPKiT-Sup, welches die paarweise Mittelwertbildung verrauschter Stichproben zur Generierung augmentierter Daten nutzt. Diese Technik nutzt die Post-Processing-Eigenschaft von LDP, um die Utility ohne Kompromisse bei der Privatsphäre zu verbessern.
Empirische Validierung: Die Autoren zeigen, dass LDPKiT, insbesondere die Superimposition-Variante, die durch LDP-Rauschen verlorene Utility im Vergleich zu Baseline-Methoden (SIDP) und Random-Noise-Augmentierung signifikant wiederherstellt.
Latent Space Analyse: Das Paper liefert eine Analyse der latenten Repräsentationen und zeigt, dass superponierte Stichproben näher an den Clustern der Zielklasse liegen als zufällig perturbierte Stichproben, was die Genauigkeitsgewinne erklärt.

Experimentelle Ergebnisse

Das Framework wurde auf drei Bildklassifizierungs-Datensätzen evaluiert: Fashion-MNIST, SVHN und PathMNIST (medizinische Bildgebung), wobei ResNet-152 als Remote-Teacher und ResNet-18 oder MobileNetV2 als lokaler Student diente.

Utility-Wiederherstellung: LDPKiT-Sup übertrifft konsistent sowohl die Baseline (SIDP) als auch LDPKiT-Rand.
- Bei SVHN mit $\epsilon = 1,25$ erreicht LDPKiT-Sup nahezu die gleiche Inferenzgenauigkeit wie bei $\epsilon = 2,0$ , was stärkere Privatsphäre-Garantien bei weniger als 2 % Genauigkeitsverlust gegenüber der höheren $\epsilon$ -Einstellung liefert.
- Bei Fashion-MNIST ( $\epsilon = 2,0$ ) verbesserte LDPKiT-Sup die ResNet-18 Genauigkeit auf 81,78 %, verglichen mit 28,69 % für SIDP und 68,52 % für LDPKiT-Rand.
- Bei PathMNIST ( $\epsilon = 10,0$ ) erreichte LDPKiT-Sup 82,11 %, was SIDP (28,74 %) und LDPKiT-Rand (43,90 %) deutlich übertrifft.
Einfluss der Datensatzgröße: Das System reagiert relativ unempfindlich auf die Größe des privaten Datensatzes ( $|D_{priv}|$ ). Nutzer können eine ähnliche Utility mit weniger privaten Stichproben (z. B. 125 Samples) erreichen, sofern der augmentierte Abfrage-Datensatz ( $|D_{infer}|$ ) ausreichend groß ist (z. B. 250k–500k Abfragen).
Privatsphäre-Robustheit: Rekonstruktionsangriffe auf die Daten mittels DDPMs auf den augmentierten Daten konnten die Originalbilder nicht mit hoher Fidelität wiederherstellen. Die rekonstruierten Bilder zeigten niedrigere SSIM-Werte und höhere MSE-Werte im Vergleich zu den Originalen, und Klassifikatoren erreichten bei ihnen eine Genauigkeit nahe am Zufallsniveau.
Kosteneffizienz: Die Autoren schätzen, dass für große Abfragesätze (z. B. 2,2 Mio. Abfragen) die API-Kosten etwa $1,15 betragen (basierend auf hypothetischen Preisen für 2026), was effizienter als homomorphe Verschlüsselung für Batch-Verarbeitung ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass LDPKiT ein praktisches, privatsphärebewarendes Design für die Interaktion mit Remote-ML-Services in sensiblen Domänen bietet. Die Bedeutung liegt in:

Abwägung von Privatsphäre und Utility: Es demonstriert, dass ein effektiver Wissenstransfer selbst unter starken Privatsphäre-Beschränkungen (niedriges $\epsilon$ ) möglich ist, indem eine Datenaugmentation genutzt wird, die die LDP-Garantien respektiert.
Zugänglichkeit: Im Gegensatz zu TEEs oder homomorpher Verschlüsselung erfordert LDPKiT keine spezialisierte Hardware und arbeitet innerhalb von Standard-API-Rahmenbedingungen, was die Adoption erleichtert.
Privacy-by-Design: Das Framework steht im Einklang mit Prinzipien des verantwortungsvollen Umgangs mit Daten, indem es sicherstellt, dass die Rohdaten des Nutzers niemals die Kontrolle des Nutzers verlassen und die Privatsphäre-Leckage mathematisch begrenzt ist.

Die Autoren weisen bescheiden auf Limitationen hin, darunter die aktuelle Beschränkung auf Bildmodalitäten (wo Superimposition auf Pixelebene erfolgt) und das Fehlen einer universellen unteren Grenze für die Größe des privaten Datensatzes, was sie als zukünftige Forschungsrichtungen kennzeichnen. Sie räumen zudem ein, dass Korrelationen zwischen Datensätzen theoretisch die semantische Privatsphäre schwächen könnten, obwohl De-Duplizierungs-Praktiken in der Industrie dies mildern können.