🤖 machine learning

TabPATE: Differentially Private Tabular In-Context Learning Without Public Data

Das Papier stellt TabPATE vor, ein Framework für differenziell privates In-Context-Learning auf tabellarischen Daten, das Teacher-Student-Modelle sowie aus Merkmalsbereichen oder privatisierten Marginalen generierte synthetische Abfragen nutzt, um vor Membership-Inference-Angriffen zu schützen, ohne öffentliche Daten derselben Verteilung zu benötigen.

Ursprüngliche Autoren: Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen ein super-intelligentes, vortrainiertes „Orakel“ (ein Tabular Foundation Model), das Dinge wie Kreditgenehmigungen oder medizinische Diagnosen vorhersagen kann, indem es einfach nur ein paar Beispiele liest, die Sie ihm geben. Dies wird als In-Context Learning (ICL) bezeichnet. Sie müssen das Orakel nicht neu trainieren; Sie flüstern ihm lediglich ein paar Beispiele ins Ohr, und es erkennt das Muster.

Das Problem? Die Beispiele, die Sie hineinflüstern, könnten private Geheimnisse enthalten (wie die Kreditkartennummer oder die Krankengeschichte von jemandem).

Das Problem: Das „Leckende Flüstern“

Die Arbeit beginnt mit dem Beweis, dass das Orakel Geheimnisse versehentlich „durchsickern“ lässt, wenn Sie private Daten als diese Beispiele verwenden.

Denken Sie an Folgendes: Sie fragen das Orakel: „Ist die Kreditwürdigkeit dieser Person gut?“

Wenn das Ogel diese spezifische Person bereits in seinen „geflüsterten Beispielen“ gesehen hat, könnte es die Antwort mit einer leicht anderen Zuversicht oder Geschwindigkeit geben, als wenn es dies nicht getan hätte.
Ein gerissener Angreifer (ein „Membership Inference Attack“) kann auf diese winzigen Unterschiede hören und erraten: „Aha! Die Daten dieser spezifischen Person waren in den Beispielen enthalten, die du mir gegeben hast!“

Die Autoren haben dies getestet und festgestellt, dass selbst ein passiver Zuhörer die Antwort mit einer Genauigkeit von etwa 10 % erraten konnte (was weit über dem Zufall liegt), und ein aggressiverer Angreifer konnte die Antwort mit 75 % Genauigkeit erraten. Dies ist ein Datenschutz-Desaster.

Die alte Lösung: Das „Öffentliche Bibliotheks-Problem“

Um dies zu beheben, nutzten Forscher zuvor eine Methode namens PATE (Private Aggregation of Teacher Ensembles).

Wie es funktionierte: Sie teilten die privaten Daten auf mehrere „Lehrer“-Orakel auf. Diese Lehrer stimmten über die Antwort auf eine Frage ab. Um die Privatsphäre zu schützen, fügten sie ein wenig „statistisches Rauschen“ zur Abstimmung hinzu, bevor sie das Ergebnis bekannt gaben.
Der Haken: Um den Lehrern die richtigen Fragen zu stellen, benötigte man eine öffentliche Bibliothek aus ähnlichen, nicht-privaten Daten, um diese Fragen zu generieren.
Die Realität: In sensiblen Bereichen wie dem Gesundheitswesen oder dem Finanzwesen verfügen Sie oft nicht über eine öffentliche Bibliothek mit ähnlichen Daten. Sie können nicht einfach ein öffentliches Krankenhaus nach „falschen“ Patientendaten fragen, die exakt so aussehen wie Ihre privaten Daten.

Die neue Lösung: TabPATE (Die „Imaginations-Maschine“)

Die Autoren führen TabPATE ein, eine neue Methode zum Schutz der Privatsphäre, die keine öffentliche Bibliothek benötigt.

Hier ist die Analogie:
Anstatt eine öffentliche Bibliothek mit falschen Patienten zu benötigen, um Fragen zu stellen, nutzt TabPATE die Regeln des Spiels, um diese zu imaginieren.

Die Regeln sind bekannt: Tabulare Daten (wie Tabellenkalkulationen) haben strikte Regeln. Wir wissen, dass eine Spalte „Größe“ zwischen 0 und 10 Fuß liegen muss. Wir wissen, dass „Alter“ eine Zahl ist. Wir wissen, dass „Geschlecht“ eine bestimmte Kategorie ist.
Generierung synthetischer Abfragen: TabPATE nutzt diese bekannten Regeln (die „Grenzen“), um (zu) imaginieren (zu generieren) von falschen, synthetischen Fragen.
- Option A (Die reine Imagination): Es wählt einfach zufällige Zahlen innerhalb der erlaubten Bereiche (z. B. „Alter: 45, Größe: 5,8“). Dies kostet null Datenschutz-Budget.
- Option B (Die geführte Imagination): Wenn die Daten schwierig sind (wie bei einer seltenen Krankheit), investiert es ein kleines bisschen Datenschutz-Budget, um die allgemeine „Form“ der Daten zu erlernen (z. B. „Die meisten Menschen sind zwischen 30 und 50 Jahre alt“) und generiert dann Fragen, die in diese Form passen.
Der Abstimmungsprozess: Es stellt die „Lehrer“-Orakel (die die privaten Geheimnisse halten) diese imaginären Fragen.
Die sichere Antwort: Die Lehrer stimmen ab, und das System fügt Rauschen zur Abstimmung hinzu, um sicherzustellen, dass das Geheimnis einer einzelnen Person nicht rückentwickelt werden kann.
Das Ergebnis: Das System gibt eine neue Liste aus „Imaginären Fragen + Sicheren Antworten“ frei. Diese Liste wird zum neuen „Kontext“ für das Orakel.

Warum das eine große Sache ist

Keine öffentlichen Daten nötig: Sie benötigen keine öffentliche Datensatz, der wie Ihr privater Datensatz aussieht. Das System baut seine eigenen „Übungsfragen“ von Grund auf neu unter Verwendung der bekannten Regeln der Daten auf.
Privatsphäre bleibt gewahrt: Die Autoren haben mit TabPATE getestet und festgestellt, dass die Erfolgsrate eines gerissenen Angreifers auf nahezu zufälliges Raten (praktisch 50/50) sinkt. Die privaten Geheimnisse sind effektiv verborgen.
Es funktioniert dennoch gut: Trotz all dieser Datenschutzmaßnahmen kann das Orakel immer noch genaue Vorhersagen treffen. In ihren Tests schnitt TabPATE fast so gut ab wie die nicht-private Version und besser als andere Datenschutzmethoden, die keine öffentlichen Daten verwendeten.

Zusammenfassung

TabPATE ist ein Datenschutzschild für KI, die private Tabellen liest. Anstatt einen öffentlichen Datensatz zu benötigen, um zu üben, nutzt es die bekannten Grenzen der Daten (wie „das Alter muss positiv sein“), um seine eigenen Übungsfragen zu generieren. Es lässt dann eine Gruppe privater „Lehrer“ über diese Fragen abstimmen, fügt ein wenig Rauschen hinzu, um die individuellen Geheimnisse zu verbergen, und gibt einen sicheren, beschrifteten Datensatz frei. Dies ermöglicht es der KI, aus privaten Daten zu lernen, ohne jemals preiszugeben, wem diese Daten gehören, und ohne dass externe öffentliche Daten zur Unterstützung benötigt werden.

Technisches Resümee: TabPATE: Differenziell privates In-Context Learning für tabellarische Daten ohne öffentliche Daten

1. Problemstellung

Tabular Foundation Models (TFMs) ermöglichen präzise Vorhersagen mittels In-Context Learning (ICL), bei dem ein kleiner gelabelter Datensatz in den Kontext des Modells platziert wird, um die Inferenz ohne Parameteraktualisierungen zu steuern. Während dies in Domänen wie dem Gesundheitswesen oder dem Finanzwesen effektiv ist, führt dieses Paradigma eine kritische Datenschutzanfälligkeit ein: Die in den Kontext platzierten Datensätze können sensible private Informationen enthalten.

Die Autoren zeigen zunächst auf, dass dieses Risiko nicht bloß hypothetisch ist. Durch die Anpassung standardmäßiger Membership Inference Attacks (MIAs) an das Setting des tabellarischen ICL zeigen sie, dass Modellvorhersagen Informationen darüber preisgeben, ob ein spezifischer Datensatz im privaten Demonstrationskontext enthalten war.

Bedrohungsmodelle: Die Studie evaluiert vier Bedrohungsmodelle, die von passivem Black-Box-Zugriff (Label-only) bis hin zu aktivem Grey-Box-Zugriff (mit Kontextmanipulation/-vergiftung) reichen.
Ergebnisse: Selbst passive Grey-Box-Angreifer erreichen eine True Positive Rate (TPR) von 9,9 % bei einer False Positive Rate (FPR) von 1 %. Aktive Angriffe, wie etwa die Verwendung von „Truth Serum“-Vergiftung, können eine TPR von 75,4 % erreichen, was darauf hindeutet, dass private Kontextdatensätze durch das Modellverhalten signifikant exponiert werden.

Standardmethoden des differenziell privaten Trainings wie Differentially Private Stochastic Gradient Descent (DPSGD) sind hier ungeeignet, da TFMs als eingefrorene Inferenz-Modelle verwendet werden. Bestehende PATE-Ansätze (Private Aggregation of Teacher Ensembles), wie etwa PromptPATE, verlassen sich auf unbeschriftete öffentliche In-Distribution-Daten, um Abfragen für die Lehrer-Modelle zu generieren. In sensiblen tabellarischen Domänen (z. B. Finanzen, Gesundheit) sind solche öffentlichen Daten oft nicht verfügbar, was eine Lücke für den praktischen privaten Einsatz schafft.

2. Methodik: TabPATE

Das Paper stellt TabPATE vor, ein Central-DP-Framework für tabellarisches ICL, das die Anforderung an öffentliche In-Distribution-Transferdaten eliminiert. Es folgt einer Teacher-Student-Architektur:

A. Lehrer-Partitionierung und Abfragegenerierung

Partitionierung: Der sensible private Datensatz $D$ wird in $K$ disjunkte Teilmengen unterteilt. Jede Teilmenge dient als Demonstrationskontext für einen separaten „Lehrer“-TFM (dasselbe eingefrorene Modell, das mit unterschiedlichen Daten gepromptet wird).
Synthetische Abfragegenerierung (Die Kerninnovation): Im Gegensatz zu Standard-PATE, das Lehrer auf öffentlichen Daten abfragt, generiert TabPATE synthetische tabellarische Abfragen ( $\tilde{x}$ $\tilde{x}$ ) ohne öffentliche Daten. Dies nutzt die spezifischen Eigenschaften von tabellarischen Daten (beschränkte, typisierte, niedrigdimensionale Merkmale) aus:
- Datenunabhängiger Prior ( $\alpha=0$ ): Abfragen werden aus einem festen Prior basierend auf bekannten Merkmalsgrenzen (z. B. Gleichverteilungen oder Gauß-Verteilungen über Merkmalsbereiche) gezogen. Dies verursacht keinen Datenschutzaufwand.
- DP-Marginalstatistik ( $\alpha>0$ ): Ein Teil des Datenschutzbudgets ( $\alpha\epsilon$ ) wird verwendet, um verrauschte marginale Statistiken (Mittelwerte und Varianzen) der privaten Daten freizugeben. Abfragen werden dann aus der resultierenden Produktverteilung gezogen. Dies ist vorteilhaft für unausgewogene Datensätze oder Regressionsaufgaben.

B. Private Aggregation

Die Lehrer werden auf den synthetischen Datensätzen abgefragt. Ihre Vorhersagen werden unter Verwendung des Confident-GNMax-Algorithmus aggregiert:

Wenn die Lehrer sich ausreichend auf ein Label einigen, wird ein verrauschtes Pluralitäts-Label ausgegeben.
Wenn die Konfidenz gering ist, sieht der Mechanismus einen Verzicht (Abstention) vor.
Die resultierenden gelabelten synthetischen Paare $(\tilde{x}, \tilde{y})$ bilden den Student-Kontext ( $\tilde{D}$ ).

C. Datenschutzgarantie

Der freigegebene Student-Kontext erfüllt $(\epsilon, \delta)$ -Differenzielle Privatsphäre. Das Datenschutzbudget wird zwischen der optionalen Marginalfreigabe und der Label-Aggregation aufgeteilt. Da nachgeschaltete Vorhersagen nur auf dem freigegebenen Student-Kontext basieren, entstehen keine zusätzlichen Datenschutzkosten.

3. Wichtigste Beiträge

Empirische Verifizierung des Risikos: Die Autoren passen MIAs an das tabellarische ICL an und demonstrieren, dass private Kontextdatensätze durch Vorhersagen durchsickern, wobei aktive Angriffe eine schwere Leckage verursachen.
TabPATE-Framework: Ein Central-DP-PATE-ähnlicher Verteidigungsmechanismus für tabellarisches ICL, der die Notwendigkeit von öffentlichen In-Distribution-Transferdaten durch synthetische tabellarische Abfragen ersetzt, die aus Merkmalsgrenzen oder DP-Marginalen abgeleitet werden.
Empirische Validierung: Evaluierung über mehrere tabellarische Benchmarks hinweg, die zeigt, dass TabPATE eine wettbewerbsfähige Nützlichkeit bewahrt, während es den Erfolg von Membership-Inference-Angriffen auf nahezu zufälliges Niveau reduziert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TabPATE auf fünf Standard-Klassifikationsdatensätzen (z. B. German Credit, Diabetes) und acht Regressionsdatensätzen im Vergleich zu Non-Private ICL, DP-SGD, DP-Synthetischen Daten, Query-Time-Aggregation und PromptPATE.

Nützlichkeit (Utility): Bei einem Datenschutzbudget von $\epsilon=10$ erreichte TabPATE eine balancierte Genauigkeit von 71,2 % und übertraf damit andere datenfreie Baselines (z. B. Query-Time mit 61,3 %) und näherte sich PromptPATE (68,6 %), welches öffentliche Daten benötigt.
Datenschutzschutz: TabPATE konnte Membership Inference erfolgreich mildern. Für den nicht-privaten TabPFN erreichten LiRA-Angriffe einen AUC von ~0,76. TabPATE reduzierte dies auf nahezu zufällige Leistung (AUC $\approx$ 0,5) sowohl bei $\epsilon=1$ als auch bei $\epsilon=10$ .
Regression: Die Methode wurde auf Regressionsaufgaben erweitert, indem beschränkte, verrauschte Lehrer-Vorhersagen aggregiert wurden. Während Regression schwieriger als Klassifikation erwies, verbesserte die Zuweisung eines kleinen Budgets zur Generierung marginaler Abfragen ( $\alpha > 0$ ) die Leistung gegenüber rein datenunabhängigen Abfragen.
Baseline-Vergleich: TabPATE übertraf konsistent die DP-SGD- und DP-Synthetische-Daten-Baselines, die Schwierigkeiten hatten, unter Datenschutzbeschränkungen eine wettbewerbsfähige Nützlichkeit aufrechtzuerhalten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass TabPATE einen praktischen Weg für privates tabellarisches ICL bietet, wenn keine öffentlichen In-Distribution-Daten verfügbar sind. Durch die Nutzung der strukturierten Natur tabellarischer Merkmale (beschränkte Bereiche und Typen) generiert die Methode nützliche Abfragen, ohne die Privatsphäre zu gefährden oder externe Daten zu benötigen.

Die Autoren kommen zu dem Schluss, dass TabPATE einen lebensfähigen Verteidigungsmechanismus bietet, der:

Eine wettbewerbsfähige Nützlichkeit für nachgeschaltete Aufgaben bewahrt.
Die Risiken der Membership Inference auf nahezu zufälliges Raten reduziert.
Den Einsatz von TFMs in sensiblen Domänen (wie dem Gesundheitswesen und dem Finanzwesen) ermöglicht, in denen die Weitergabe von Daten für öffentliche Trainingssätze eingeschränkt ist.

Die Arbeit legt nahe, dass die datenfreie PATE-ähnliche Wissenstransfer-Route ein gangbarer Weg zur Sicherung von Foundation Models in Umgebungen mit strukturierten Daten ist.