🤖 machine learning

Private Prediction via PAC Privacy

Dieses Paper schlägt ein PAC-Privatheitsframework für privates maschinelles Lernen zur Vorhersage vor, das instanzbasierte empirische Stabilität und ein neues adaptives adversarielles Kompositionstheorem nutzt, um eine lineare Akkumulation der gegenseitigen Information zu erreichen, was eine hochgradig nützliche Modellsertierung sowie eine anschließende private Modell-Destillation mit signifikant stärkeren Privatheitsgarantien als die traditionelle Differential Privacy ermöglicht.

Ursprüngliche Autoren: Xiaochen Zhu, Mayuri Sridhar, Srinivas Devadas

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaochen Zhu, Mayuri Sridhar, Srinivas Devadas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Glashaus“ der KI

Stellen Sie sich vor, ein Unternehmen trainiert ein superintelligentes KI-Modell auf einer geheimen Liste privater Daten (wie medizinischen Unterlagen oder Banktransaktionen). Sie möchten es den Leuten ermöglichen, der KI Fragen zu stellen (z. B. „Ist diese Transaktion verdächtig?“), ohne die geheime Liste preiszugeben.

Das Problem ist: Wenn die KI zu perfekt ist, kann ein geschickter Hacker sie austricksen, um die geheime Liste zu enthüllen. Er kann tausende Fragen stellen, die Antworten analysieren und schließlich genau herausfinden, welche Personen in den Trainingsdaten enthalten waren. Dies wird als Membership Inference Attack bezeichnet.

Die alte Lösung: Der „blind gefesselte Wächter“ (Differential Privacy)

Seit Jahren ist die Standardlösung die Differential Privacy (DP). Betrachten Sie dies als einen Wächter, der jede Frage beantwortet, aber jedem Antwort einen zufälligen „Nebel“ oder Rauschen hinzufügt, um die Wahrheit zu verbergen.

Der Fehler: Um sicher zu gehen, geht der Wächter vom Worst-Case-Szenario aus. Er nimmt an, dass die KI unglaublich instabil ist und dass eine winzige Änderung in den geheimen Daten die Antwort komplett verändern könnte. Deshalb fügt er eine riesige Menge an Nebel hinzu.
Das Ergebnis: Die Antworten werden so verschwommen, dass die KI aufhört, nützlich zu sein. Es ist, als würde man versuchen, eine Landkarte durch einen dichten Schneesturm zu lesen. Zudem, wenn man zu viele Fragen stellt, wird der Nebel zu dicht und der Wächter muss die Beantwortung einstellen.

Die neue Idee: Die „stabile Kristallkugel“ (PAC Privacy)

Diese Arbeit schlägt einen neuen Ansatz namens PAC Privacy vor. Anstatt das Schlimmste zu vermuten, untersucht dieser Ansatz, wie stabil die KI tatsächlich ist.

Die Analogie: Stellen Sie sich die KI als eine Kristallkugel vor. Wenn man die geheimen Daten ein wenig schüttelt (eine Person in der geheimen Liste austauscht), ändert sich die Vorhersage der Kristallkugel dann wild?
- In der Realität: Für viele KI-Modelle lautet die Antwort: Nein. Die Vorhersage bleibt fast gleich. Die KI ist „stabil“.
- Die Innovation: PAC Privacy misst diese Stabilität. Wenn die KI stabil ist, weiß das System, dass es nur ein ganz kleines bisschen Nebel benötigt, um das Geheimnis zu verbergen. Wenn die KI instabil ist, fügt es mehr Nebel hinzu.
Der Vorteil: Da die KI normalerweise sehr stabil ist, fügt das System fast keinen Nebel hinzu. Die Antworten bleiben kristallklar, und die Privatsphäre ist dennoch mathematisch garantiert.

Der schwierige Teil: Der „adaptive Angreifer“

Es gab einen Haken. Frühere Methoden funktionierten gut, wenn die Fragen zufällig gestellt wurden. Aber was, wenn der Angreifer clever ist? Was, wenn er die Antwort auf Frage Nr. 1 analysiert und dann nutzt, um daraus eine trickreiche Frage Nr. 2 zu formulieren und so weiter? Dies nennt man einen adaptiven Angreifer (Adaptive Adversary).

Das alte Versagen: Frühere Methoden konnten dies nicht handhaben. Wenn ein Angreifer Fragen adaptiv stellte, war das „Nebel-Budget“ sofort aufgebraucht oder die Mathematik brach zusammen.
Der Durchbruch der Arbeit: Die Autoren entwickelten eine neue mathematische Regel (ein „Composition Theorem“), die mit smarten Angreifern umgehen kann.
- Wie es funktioniert: Das System führt einen „Belief State“ (Zustand des Wissens). Es aktualisiert ständig sein Verständnis darüber, was der Angreifer weiß, basierend auf der Historie der Fragen. Wenn der Angreifer etwas lernt, passt das System das Rauschen sofort an, um dem Angreifer immer einen Schritt voraus zu sein.
- Die Magie: Selbst mit einem smarten, adaptiven Angreifer wächst die „Privatsphäre-Kostenrate“ nur linear (langsam) und nicht exponentiell. Das bedeutet, das System kann Millionen von Fragen beantworten und das Geheimnis dennoch sicher halten.

Die Ergebnisse: Klare Antworten, sichere Geheimnisse

Die Autoren testeten dies mit realen Daten (wie Bildern von Katzen und Hunden oder Bankdaten).

Hohe Genauigkeit: Selbst mit extrem strengen Privatsphäre-Einstellungen (so streng, dass die Mathematik besagt, dass der Angreifer fast keine Chance hat, richtig zu raten) lieferte die KI bei einem Standardtest noch immer 87,79 % der richtigen Antworten.
Millionen von Abfragen: Sie bewiesen, dass man eine Million Fragen stellen kann und die Chance des Angreifers, zu erraten, ob eine bestimmte Person in den Trainingsdaten enthalten war, immer noch kaum besser ist als beim Münzwurf (51,08 %).
Vergleich: Um das gleiche Niveau an Privatsphäre mit dem alten „blind gefesselten Wächter“ (Differential Privacy) zu erreichen, müsste die KI quasi zufällig raten, was eine Genauigkeit von fast 0 % zur Folge hätte.

Die „Bonus“-Funktion: Der „destillierte Schüler“

Die Arbeit zeigt auch einen cleveren Trick, um unbegrenzte Antworten zu erhalten.

Das Setup: Das System nutzt seine „Private Kristallkugel“, um eine riesige Menge an öffentlichen Daten (Daten, die nicht geheim sind) zu labeln.
Der Filter: Da das System genau weiß, wie viel „Nebel“ es hinzugefügt hat, kann es mathematisch prüfen: „Ist diese Antwort vertrauenswürdig genug?“ Wenn ja, behält es das Label; wenn nein, wirft es es weg.
Das Ergebnis: Es trainiert ein neues, kleineres „Schüler“-Modell (Student Model) mit diesen hochwertigen, privaten Labels. Dieses Schüler-Modell kann dann für immer an die Öffentlichkeit veröffentlicht werden, ohne dass es Limits beim Privatsphäre-Budget gibt, da es von den privaten Daten gelernt hat, ohne diese direkt gesehen zu haben.

Zusammenfassung

Diese Arbeit führt einen Weg ein, wie KI Fragen privat beantworten kann, ohne dass die Antworten unbrauchbar werden.

Alter Weg: Füge zu allem riesiges Rauschen hinzu, weil du Angst hast. (Ergebnis: Unbrauchbare KI).
Neuer Weg: Miss, wie stabil die KI ist, füge gerade genug Rauschen hinzu, um sicher zu sein, und nutze ein smartes Tracking-System, um trickreiche Angreifer zu handhaben. (Ergebnis: Eine smarte KI, die ihr Geheimnis bewahrt).

Die Autoren zeigen, dass wir durch das Vertrauen in die Stabilität der KI das Beste aus beiden Welten bekommen: hohe Nützlichkeit und starke Privatsphäre.

Technisches Resümee: Private Vorhersage mittels PAC-Privatsphäre

Problemstellung
Maschinelle Lernmodelle werden zunehmend als Black-Box-Dienste hinter APIs eingesetzt, bei denen lediglich Vorhersagen an Nutzer exponiert werden und nicht die Modellgewichte selbst. Dieses Bereitstellungsmuster motiviert die private Vorhersage (Private Prediction): die Privatisierung von Modellausgaben anstatt von Parametern. Während Differential Privacy (DP) der Standard für Privatsphäre ist, stößt sie in diesem Kontext an ihre Grenzen. DP kalibriert das Rauschen basierend auf der Worst-Case-Sensitivität (der maximalen Änderung des Outputs zwischen benachbarten Datensätzen). Für nicht-konvexe Modelle (z. B. tiefe neuronale Netze) ist die Berechnung enger Sensitivitätsgrenzen unpraktikabel. Folglich stützt sich die DP-basierte private Vorhersage oft auf „Sample-and-Aggregate“-Methoden (wie PATE) oder greift auf input-unabhängiges Rauschen zurück, was zu einem harten Privacy-Utility-Trade-off führt, bei dem der Nutzen unter hohem Abfragevolumen oder strengen Budgets kollabiert.

Darüber hinaus versagen bestehende Frameworks für die Privatsphäre bei sequenziellen Veröffentlichungen unter adaptiven und adversariellen Abfragen. In realistischen Szenarien können nicht vertrauenswürdige Nutzer zukünftige Abfragen basierend auf der Historie vorangegangener Outputs wählen, um den Informationsabfluss zu maximieren. Standard-Kompositionstheoreme versagen entweder unter Adaptivität, wachsen quadratisch mit der Anzahl der Abfragen oder kehren zu input-unabhängigem DP-Stil-Rauschen zurück, wodurch die Stabilitätsvorteile des spezifischen Prädiktors verworfen werden.

Methodik
Das Paper schlägt ein Framework für Private Prediction via PAC (Probably Approximately Correct) Privacy vor, das die Lücke in der effizienten, adaptiven Komposition schließt.

PAC-Privacy-Framework: Im Gegensatz zu DP ist PAC-Privatsphäre instanzbasiert. Sie misst die Stabilität einer Datenverarbeitungsfunktion über Black-Box-Simulationen unter einer spezifischen Input-Verteilung ( $P_S$ ). Sie kontrolliert den Informationsabfluss, indem sie die Mutual Information (MI) zwischen dem geheimen Input $S$ und dem Output $R$ begrenzt. Eine stabile Funktion erfordert signifikant weniger Rauschen zur Privatisierung.
Posterior-Aware Adversarial Composition: Der zentrale theoretische Beitrag ist ein neues Kompositionstheorem, das adaptive, adversarielle Abfragen mit einem persistenten Geheimnis (derselbe Trainingsdatensatz $S$ $S$ wird für alle Abfragen verwendet) handhabt.
- Adaptive Rauschkalibrierung: Der Kurator pflegt einen „Belief State“ – die Posterior-Verteilung des geheimen $S$ gegeben die Interaktionshistorie.
- Mechanismus: In jedem Schritt $t$ berechnet der Kurator bei Erhalt einer adaptiven Abfrage $M_t$ die erforderliche Rausch-Kovarianz $\Sigma_t$ , um ein pro-Schritt MI-Budget $b_t$ unter Berücksichtigung des aktuellen Posterior-Beliefs $P_{t-1}$ einzuhalten.
- Bayessches Update: Nach der Veröffentlichung der verrauschten Antwort $R_t$ aktualisiert der Kurator den Posterior-Belief mittels des Bayes-Theorems.
- Theorem: Die Autoren beweisen, dass unter diesem Mechanismus die gesamte MI-Leakage linear akkumuliert ( $\text{I}(S; R_{1:T}) \le \sum b_t$ ), selbst unter adversarieller Adaptivität. Dies bewahrt den instanzbasierten Nutzen der PAC-Privatsphäre bei gleichzeitiger Bereitstellung strenger linearer Kompositionsgrenzen.
Konkrete Instanziierung für ML:
- Input-Verteilung: Das Geheimnis $S$ ist eine zufällige Teilmenge des Universums $U$ , wobei jeder Punkt mit einer Wahrscheinlichkeit von 50 % eingeschlossen wird. Um die Berechnung handhabbar zu machen, wird der Support auf eine endliche Sammlung von $m=128$ Teilmengen beschränkt.
- Offline-Preprocessing: Um nicht für jede Abfrage neu trainieren zu müssen, werden $m$ Modelle offline auf den $m$ Teilmengen trainiert. Online-Abfragen beinhalten das Ausführen der Inferenz auf diesen $m$ Modellen, das Aggregieren der Vorhersagen und das Hinzufügen kalibrierten Rauschens.
- Output-Stabilisierung: Das System privatisiert harte Vorhersagen (One-Hot-Labels) anstatt weicher Wahrscheinlichkeiten. Harte Vorhersagen sind über verschiedene Trainings-Teilmengen hinweg stabiler, was zu einer geringeren Output-Varianz führt und weniger Rauschen erfordert.
Private Model Distillation: Um unbegrenzte Abfragen nach Erschöpfung eines endlichen Privatsphäre-Budgets zu ermöglichen, schlägt das Paper vor, ein „Student“-Modell aus den PAC-privaten Vorhersagen zu destillieren.
- Confidence Filtering: Ein statistischer Test wird auf die verrauschten Vorhersagen angewendet, um Samples mit geringem Konfidenzniveau (potenziell falsch gelabelt) vor dem Training des Studenten herauszufiltern. Dies stellt sicher, dass der destillierte Modell nur auf qualitativ hochwertigen Labels trainiert wird, wodurch die Wahrscheinlichkeit begrenzt wird, falsch gelabelte Daten zu behalten.

Wichtigste Ergebnisse
Experimente über Modalitäten hinweg (Tabular, Vision wie CIFAR-10, CIFAR-100 sowie Text wie IMDb, AG News) demonstrieren die Effektivität des Ansatzes:

Hoher Nutzen bei engen Budgets: Auf CIFAR-10 erreicht die Methode eine Genauigkeit von 87,79 % mit einem pro-Abfrage MI-Budget von $2^{-32}$ . Dies ermöglicht die Bedienung von einer Million Abfragen, während der Erfolg von Membership Inference Attacks (MIA) nachweislich auf 51,08 % begrenzt wird. Diese Garantie ist vergleichbar mit $(0,04, 10^{-5})$ -DP.
Skalierbarkeit: Das System unterstützt etwa 477 Millionen Abfragen, bevor es die MIA-Garantie von $(1, 10^{-5})$ -DP erreicht. Im Gegensatz dazu degradiert die DP-basierte private Vorhersage mit steigender Anzahl der Abfragen zu reinem Raten, bedingt durch die input-unabhängigen Sensitivitätsbeschränkungen.
Distillations-Performance: Durch die Verwendung von 210.000 privaten Vorhersagen eines CIFAR-10-Lehrers zur Kennzeichnung einer öffentlichen ImageNet-Teilmenge (CINIC-10) erreicht das destillierte Studentenmodell eine Genauigkeit von 91,86 % auf CIFAR-10. Dies übertrifft den privaten Lehrer und entspricht der MIA-Garantie von $(0,02, 10^{-5})$ , während keine gelabelten öffentlichen Daten für den Destillationsprozess benötigt werden.
Robustheit: Die Methode behält auch dann einen starken Nutzen bei, wenn das pro-Schritt MI-Budget auf verschwindend kleine Werte ( $2^{-32}$ ) sinkt – ein Phänomen, das auf die inhärente Stabilität der Modellvorhersagen über verschiedene Trainings-Teilmengen hinweg zurückzuführen ist.

Bedeutung und Ansprüche
Das Paper behauptet, eine kritische Lücke im Machine Learning zu schließen, indem es eine private Vorhersage ermöglicht, die sowohl privatsphärebewahrend als auch hochgradig nützlich unter adaptiven und adversariellen Bedingungen ist.

Theoretischer Durchbruch: Es liefert das erste adversarielle Kompositionstheorem für die PAC-Privatsphäre mit einem persistenten Geheimnis und beweist, dass die MI unter adaptiver Abfrage linear akkumuliert. Dies steht im Gegensatz zu bisherigen Arbeiten, die entweder unter Adaptivität versagten oder input-unabhängiges Rauschen erforderten.
Praktische Umsetzbarkeit: Es zeigt, dass die Vorhersagestabilität genutzt werden kann, um Outputs mit minimalem Rauschen zu privatisieren, was ein „Win-Win“-Szenario schafft, in dem robustes Lernen (geringe Varianz) naturgemäß zu besseren Privacy-Utility-Trade-offs führt.
Alternative zum DP-Training: Die Arbeit legt einen Weg nahe, privatsphärebewusste Modelle via privater Vorhersage und Destillation bereitzustellen. Dies bietet ein günstigeres Nutzenprofil als DP-SGD für Inferenz-Dienste, insbesondere wenn das Bedrohungsszenario eher auf API-basierte Vorhersage als auf die Freigabe von Modellgewichten ausgerichtet ist.
Limitierungen: Die Autoren räumen ein, dass der Ansatz auf einer spezifischen Input-Verteilung (Subsampling) beruht und die Rechenkosten die Vor-Verarbeitung von $m$ Modellen beinhalten. Sie merken zudem an, dass die theoretischen Garantien einen rechnerisch unbeschränkten Adversary mit vollem Wissen über die Systemverteilung voraussetzen, argumentieren jedoch, dass sich dies natürlich auf realistische Settings überträgt.

Zusammenfassend argumentiert das Paper, dass durch die Verschiebung des Fokus von der Parametervarianz auf die Output-Privatsphäre und die Nutzung der instanzbasierten Stabilität via PAC-Privatsphäre möglich ist, Millionen von Abfragen mit starken, beweisbaren Privatsphäre-Garantien zu bedienen, die DP-basierte Methoden ohne massiven Nutzenverlust nicht erreichen können.