📊 statistics

Integrating Feature Correlation in Differential Privacy with Applications in DP-ERM

Dieser Beitrag stellt **CorrDP** vor, ein relaxiertes Differential-Privacy-Framework, das den totalen Variationsabstand nutzt, um Korrelationen zwischen sensiblen und nicht-sensiblen Merkmalen zu berücksichtigen, und damit nutzungseffizientere differentielle Privacy-empirische-Risiko-Minimierungsalgorithmen (DP-ERM) ermöglicht, die bei Vorhandensein nicht-sensibler Merkmale Standardansätze übertreffen.

Ursprüngliche Autoren: Tianyu Wang, Luhao Zhang, Rachel Cummings

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tianyu Wang, Luhao Zhang, Rachel Cummings

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Bibliothekar und versuchen, die Privatsphäre Ihrer Leser zu schützen. In der Welt des Differential Privacy (DP) lautet die Standardregel: „Wenn Sie ein Geheimnis bewahren wollen, müssen Sie der freigegebenen Information ein wenig ‚Rauschen' oder ‚Störgeräusch' hinzufügen, damit niemand genau erkennen kann, wie die Daten einer einzelnen Person aussehen."

Lange Zeit behandelten Bibliothekare (Datenwissenschaftler) jedes Stück Information so, als wäre es ein streng geheimes Staatsgeheimnis. Ob es sich um die Krankengeschichte einer Person handelte (sehr sensibel) oder um ihre Lieblingsfarbe (nicht sehr sensibel), der Bibliothekar fügte beiden den gleichen Betrag an Störgeräusch hinzu.

Das Problem:
Dieser „Einheitsansatz" ist wie das Anbringen eines schweren Stahlschlosses an einem Tagebuch und an einer Einkaufsliste.

Die Tagebücher (sensible Daten): Benötigen das schwere Schloss.
Die Einkaufslisten (unempfindliche Daten): Brauchen es eigentlich nicht.
Der Haken: Manchmal verrät die Einkaufsliste Hinweise darauf, was im Tagebuch steht. Wenn Ihre Einkaufsliste beispielsweise „Insulin" enthält, gibt sie auf, dass Sie Diabetes haben. Wenn Sie nur das Tagebuch verschließen, die Einkaufsliste aber offen lassen, kann jemand trotzdem das Geheimnis erraten. Wenn Sie jedoch die Einkaufsliste ebenfalls zu stark verschlüsseln, verderben Sie die Nützlichkeit der Liste für alle anderen.

Die alten Methoden ignorierten entweder den Zusammenhang (und ließen Geheimnisse durchsickern) oder verschlossen alles zu stark (und zerstörten die Nützlichkeit der Daten).

Die neue Lösung: „CorrDP" (Korrelationsbewusstes Differential Privacy)
Die Autoren dieses Papers, Wang, Zhang und Cummings, schlagen einen intelligenteren Weg vor, Dinge zu verschließen. Sie nennen es CorrDP.

Stellen Sie es sich wie ein intelligentes Sicherheitssystem vor, das Zusammenhänge versteht.

Es weiß, wer wer ist: Es identifiziert, welche Merkmale „sensibel" (wie Gesundheitszustand) und welche „unempfindlich" (wie Altersgruppe) sind.
Es misst den „Klatsch-Faktor": Es berechnet, wie sehr das unempfindliche Merkmal über das sensitive „klatscht". Mathematisch verwenden sie etwas namens Total Variation Distance.
- Analogie: Wenn das Wissen über jemandes „Altersgruppe" Ihnen fast nichts über dessen „Blutdruck" verrät, ist der Klatsch-Faktor niedrig. Wenn das Wissen über deren „Postleitzahl" Ihnen genau verrät, was ihr „Einkommen" ist, ist der Klatsch-Faktor hoch.
Es passt das Rauschen entsprechend an:
- Wenn der Klatsch-Faktor niedrig ist, fügt das System dem unempfindlichen Merkmal sehr wenig Rauschen hinzu. Dies hält die Daten nützlich.
- Wenn der Klatsch-Faktor hoch ist, fügt das System dem unempfindlichen Merkmal mehr Rauschen hinzu, um das sensitive Geheimnis zu schützen.

Wie sie es getestet haben (Die „Trainings"-Analogie)
Das Paper konzentriert sich auf eine spezifische Aufgabe namens Empirical Risk Minimization (ERM). Stellen Sie sich vor, Sie trainieren einen Roboter, um Hauspreise vorherzusagen.

Standard-DP: Sie unterrichten den Roboter, indem Sie ihm Daten zeigen, fügen aber bei jeder Zahl (Wohnfläche, Nachbarschaft, Name des Eigentümers, Krankengeschichte des Eigentümers) viel Störgeräusch hinzu. Der Roboter wird verwirrt und lernt schlecht.
CorrDP: Sie sagen dem Roboter: „Die Krankengeschichte des Eigentümers ist ein Geheimnis, also fügen Sie dort starkes Rauschen hinzu. Die Nachbarschaft ist öffentlich, aber sie steht in leichtem Zusammenhang mit der Krankengeschichte, also fügen Sie dort ein winziges bisschen Rauschen hinzu. Die Wohnfläche ist völlig unabhängig, also fügen Sie kein Rauschen hinzu."
Das Ergebnis: Der Roboter lernt viel besser, weil die Daten klarer sind, aber die Geheimnisse sind dennoch sicher.

Wichtige Erkenntnisse aus dem Paper

Bessere Genauigkeit: Als sie dies an synthetischen Daten und realen Datensätzen testeten (wie z. B. Vorhersage von Einkommen, Kreditkartenrückständen oder medizinischen Kosten), lieferte die CorrDP-Methode deutlich genauere Ergebnisse als die Standardmethode, bei gleichem Privatsphäreniveau.
Umgang mit dem Unbekannten: Manchmal wissen Sie nicht genau, wie stark zwei Merkmale miteinander verbunden sind (der „Klatsch-Faktor"). Das Paper zeigt einen Weg auf, dies aus den Daten selbst zu schätzen, ohne die Privatsphärenregeln zu verletzen.
Neuronale Netze: Sie zeigten, dass dies auch für komplexe KI-Modelle (Neuronale Netze) funktioniert, nicht nur für einfache mathematische Probleme.

Kurz gesagt
Das Paper argumentiert, dass wir nicht alle Daten als gleich gefährlich behandeln müssen. Indem wir verstehen, wie verschiedene Datenteile miteinander verbunden sind, können wir intelligenter damit umgehen, wie wir sie schützen. Dies ermöglicht es uns, Geheimnisse sicher zu bewahren, ohne die nützlichen Informationen zu vernichten, die uns helfen, gute Entscheidungen zu treffen. Es ist der Unterschied zwischen dem Verschluss des ganzen Hauses in einem Tresor versus dem Verschließen nur des Safes, während die Fenster offen bleiben, damit das Licht hereinkommt.

Technische Zusammenfassung: Integration von Merkmalskorrelationen in die Differential Privacy mit Anwendungen in DP-ERM

Problemstellung

Die Standard-Differential Privacy (DP) setzt einheitliche Privatsphäre-Beschränkungen für alle Merkmale eines Datensatzes voraus und behandelt jedes Merkmal als gleich sensibel. Diese Annahme führt in realen Anwendungen, in denen die Sensibilität der Merkmale heterogen ist, häufig zu übermäßig konservativen Trade-offs zwischen Privatsphäre und Nutzen. Beispielsweise können in Gesundheitsdaten Blutdruckwerte hochsensibel sein, während Altersgruppen weniger sensibel sind. Diese Merkmale stehen jedoch häufig in Korrelation; die Offenlegung des Alters kann unbeabsichtigt Informationen über die Verteilung der Blutdruckwerte preisgeben.

Bestehende „halb-sensible" DP-Ansätze versuchen, dies zu adressieren, indem sie einige Merkmale als öffentlich und andere als privat behandeln. Diese Methoden gehen jedoch häufig von einer Unabhängigkeit zwischen sensiblen und nicht-sensiblen Merkmalen aus. Wenn Korrelationen bestehen, kann die Behandlung eines Merkmals als öffentlich die Privatsphäre des korrelierten sensiblen Merkmals dennoch kompromittieren, was zu potenziellen Privatsphäre-Verletzungen führt. Umgekehrt verzerrt die Anwendung von uniformem Rauschen auf alle Merkmale (Standard-DP) den Datensatz unnötig und verschlechtert den Nutzen. Der Artikel identifiziert eine Lücke in der bestehenden Literatur: Es fehlen Rahmenwerke, die Korrelationen zwischen sensiblen und nicht-sensiblen Merkmalen rigoros berücksichtigen, um den Nutzen zu verbessern, ohne Privatsphäre-Garantien aufzugeben.

Methodik: CorrDP-Rahmenwerk

Die Autoren schlagen CorrDP (Correlation-aware Differential Privacy) vor, eine gelockerte Definition von DP, die Merkmalskorrelationen in die Privatsphäre-Beschränkung integriert.

1. Definition von CorrDP

CorrDP modifiziert die Standard-Definition von DP durch die Einführung einer Distanzmetrik $d(D, D')$ zwischen benachbarten Datenbanken $D$ und $D'$ .

Benachbarte Datenbanken: Definiert als Datenbanken, die sich in höchstens einem Eintrag unterscheiden, wobei der Unterschied entweder in sensiblen Merkmalen ( $S$ ) oder nicht-sensiblen Merkmalen ( $U$ ) auftritt, aber nicht gleichzeitig in beiden.
Distanzmetrik: Die Privatsphäre-Beschränkung wird basierend auf der Korrelation zwischen dem geänderten Merkmal und den sensiblen Merkmalen gelockert.
$P(A(D) \in R) \leq e^{\frac{\epsilon}{d(D, D')}} P(A(D') \in R) + \delta$
Wahl der Metrik: Der Artikel verwendet den Total-Variations-Abstand (TV-Abstand), um die Korrelation zu quantifizieren. Spezifisch wird $d(D, D')$ $d (D, D^{'})$ als der maximale TV-Abstand zwischen den bedingten Verteilungen der sensiblen Merkmale gegeben die nicht-sensiblen Merkmale vor und nach der Änderung definiert.
- Wenn die Änderung in einem sensiblen Merkmal liegt, gilt $d(D, D') = 1$ (Standard-DP).
- Wenn die Änderung in einem nicht-sensiblen Merkmal liegt, das unabhängig von sensiblen Merkmalen ist, gilt $d(D, D') = 0$ (keine Privatsphäre-Kosten).
- Wenn die Änderung in einem nicht-sensiblen Merkmal liegt, das mit sensiblen Merkmalen korreliert, gilt $d(D, D') \in (0, 1)$ , was das Privatsphäre-Budget auf $\epsilon / d(D, D')$ lockert.

2. Mechanismen und Algorithmen

Die Autoren passen Standardmechanismen an das CorrDP-Rahmenwerk an:

CorrDP-Laplace-Mechanismus: Führt eine „korrelierte Sensitivität" $\Delta_C f$ ein, die die Sensitivität nicht-sensibler Merkmale mit ihrem TV-Abstand zu sensiblen Merkmalen gewichtet. Dies ermöglicht eine reduzierte Rauscheinjektion bei nicht-sensiblen Merkmalen.
CorrDP-SGD (Stochastic Gradient Descent): Angewendet auf Empirical Risk Minimization (DP-ERM).
- Rauschkalibrierung: Die Rauschvarianz $\sigma_i^2$ für das $i$ -te Merkmal wird angepasst. Für sensitive Merkmale ( $i \in S$ ) wird Standardrauschen verwendet. Für nicht-sensitive Merkmale ( $i \in U$ ) wird die Rauschskala um einen Faktor reduziert, der von $\max\{TV(i), m_s^2/m^2\}$ abhängt, wobei $m_s$ die Anzahl der sensiblen Merkmale und $m$ die Gesamtdimension ist.
- Umgang mit unbekannten Korrelationen: Wenn der TV-Abstand unbekannt ist, schlagen die Autoren ein Schätzverfahren unter Verwendung einer oberen Konfidenzschranke des empirischen TV-Abstands vor. Sie beweisen, dass dieser Schätzungsschritt, sofern korrekt begrenzt, die Privatsphäre- und Nutzen-Garantien aufrechterhält.

3. Theoretische Garantien

Privatsphäre: Die vorgeschlagenen Algorithmen erfüllen $(\epsilon, \delta)$ -CorrDP.
Nutzen: Für konvexe Verlustfunktionen (einschließlich verallgemeinerter linearer Modelle wie OLS und logistische Regression) ist die Nutzenlücke (überschüssiges empirisches Risiko) begrenzt durch:
$R(\theta_{priv}) = \tilde{O}\left( \frac{\sqrt{m_s + \min\{\sum_{i \in U} TV(i), m_s/4\}}}{n\epsilon} \right)$
Dies stellt eine Verbesserung gegenüber der Standard-DP-ERM-Schranke von $\tilde{O}(\sqrt{m}/(n\epsilon))$ dar, wenn die Anzahl der sensiblen Merkmale $m_s$ im Verhältnis zu den Gesamtmerkmalen $m$ klein ist und die nicht-sensiblen Merkmale schwach mit den sensiblen Merkmalen korreliert sind.
Untere Schranke: Der Artikel stellt eine nahezu übereinstimmende untere Schranke auf und bestätigt, dass die Nutzenverbesserung theoretisch eng ist.

Hauptbeiträge

Neues Rahmenwerk (CorrDP): Einführung eines DP-Begriffs, der Merkmalskorrelationen explizit über eine Distanzmetrik (TV-Abstand) integriert und auf Standard-DP reduziert, wenn alle Merkmale sensibel sind.
Verbesserter Nutzen in DP-ERM: Entwicklung von CorrDP-SGD-Algorithmen, die abstandsabhängiges Rauschen integrieren. Theoretische Ergebnisse zeigen eine Nutzenverbesserung um einen Faktor von $\sqrt{m/m_s}$ unter milden Bedingungen.
Abstandsschätzung: Ein Verfahren zur Schätzung des unbekannten TV-Abstands aus dem Datensatz unter Verwendung von oberen Konfidenzschranken, wodurch sichergestellt wird, dass der Schätzfehler die Privatsphäre- oder Nutzen-Garantien nicht kompromittiert.
Erweiterung auf neuronale Netze: Anpassung des Rahmenwerks an neuronale Netze, speziell durch Reduzierung des Rauschens in der ersten Schicht, in der nicht-sensitive Merkmale verarbeitet werden, was zu einer verbesserten Leistung im Vergleich zu Standard-DP-SGD führt.
Empirische Validierung: Experimente mit synthetischen und realen Datensätzen (Adult, Sepsis, Kreditkarte, Medizinische Kosten) zeigen, dass CorrDP Standard-DP und „Partial"-Baselines (Verwerfen sensibler Merkmale) konsistent übertrifft und eine Genauigkeit erreicht, die mit „Semi"-Baselines (Ignorieren von Korrelationen) vergleichbar ist, jedoch mit stärkeren Privatsphäre-Garantien.

Ergebnisse

Synthetische Daten: Bei Ridge-Regression-Aufgaben erzielte CorrDP über verschiedene Privatsphäre-Budgets ( $\epsilon$ ) hinweg geringere Nutzenlücken (bessere Genauigkeit) als Standard-DP, insbesondere in hochprivaten Regimen. Die Leistung war mit der „Semi"-Baseline (die Korrelationen ignoriert) vergleichbar, bot jedoch einen rigorosen Privatsphäre-Schutz.
Reale Datensätze:
- Adult (Einkommensvorhersage): CorrDP übertraf die Semi-Baseline und erlitt in hochprivaten Regimen weniger als einen 4-prozentigen Genauigkeitsverlust im Vergleich zu nicht-privaten Modellen.
- Sepsis (Überlebensvorhersage): Unter Verwendung eines neuronalen Netzes mit 2 Schichten entsprach CorrDP der Leistung von Semi und übertraf Standard-DP konsistent.
- Kreditkarte & Medizinische Kosten: Ähnliche Trends wurden beobachtet, wobei CorrDP eine nahezu Semi-Nutzenleistung erreichte und gleichzeitig strikte Privatsphäre-Garantien aufrechterhielt.
TV-Abstandsschätzung: Die vorgeschlagene Schätzmethode bewältigte unbekannte Korrelationen erfolgreich, wobei die Rauschskalen dynamisch basierend auf der geschätzten Korrelationsstärke angepasst wurden (z. B. erforderte im Adult-Datensatz das Merkmal „workclass" aufgrund der hohen Korrelation mit sensiblen Merkmalen ein höheres Rauschen).

Bedeutung und Behauptungen

Der Artikel behauptet, dass CorrDP einen prinzipiellen Weg bietet, Privatsphäre-Beschränkungen bei Vorhandensein von Merkmalskorrelationen zu lockern, ohne rigorose Privatsphäre-Garantien zu kompromittieren. Durch die Quantifizierung des „Lecks" von nicht-sensiblen zu sensiblen Merkmalen über den TV-Abstand ermöglicht das Rahmenwerk eine abstandsabhängige Rauscheinjektion.

Die Autoren betonen, dass ihr Ansatz:

Nicht auf öffentliche Daten oder spezifische Gradienten-Geometrie-Annahmen angewiesen ist (im Gegensatz zu einigen anderen Methoden zur Nutzenverbesserung).
Eine natürliche Verallgemeinerung von Standard-DP und halb-sensibler DP darstellt.
Zeigt, dass die Berücksichtigung von Korrelationen in hochdimensionalen Umgebungen, in denen nur eine Teilmenge der Merkmale wirklich sensibel ist, zu einer signifikant besseren Leistung führt.

Die Arbeit wird als Schritt hin zu praktischeren, privatsphäreschützenden Machine-Learning-Verfahren präsentiert, wobei anerkannt wird, dass reale Daten oft heterogene Sensibilitätsniveaus und komplexe Abhängigkeiten enthalten, die Standard-DP nicht für Nutzensteigerungen ausnutzt. Die Autoren weisen auf Einschränkungen hin, wie die Rechenkosten der Schätzung von TV-Abständen in hohen Dimensionen und die Notwendigkeit klar definierter sensibler/nicht-sensibler Partitionen, und verweisen auf diese als Richtungen für zukünftige Forschung.