💬 NLP

Can We Infer Confidential Properties of Training Data from LLMs?

Diese Arbeit führt mit „PropInfer“ einen Benchmark ein, um zu zeigen, dass Large Language Models (LLMs) anfällig für Angriffe sind, die vertrauliche, datensatzbezogene Eigenschaften aus ihren Trainingsdaten preisgeben können.

Ursprüngliche Autoren: Pengrun Huang, Chhavi Yadav, Kamalika Chaudhuri, Ruihan Wu

Veröffentlicht 2026-02-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pengrun Huang, Chhavi Yadav, Kamalika Chaudhuri, Ruihan Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Geheimnis im Kochbuch: Warum KI-Modelle mehr verraten, als sie sollten

Stell dir vor, ein berühmter Sternekoch möchte ein neues, digitales „Koch-Gehirn“ (eine KI) trainieren. Er nutzt dafür sein geheimes Familienrezeptbuch. In diesem Buch stehen nicht nur die Rezepte, sondern auch sensible Details: „In diesem Jahr haben wir 70 % unserer Gäste mit Allergien gegen Nüsse behandelt“ oder „Die meisten unserer Kunden sind junge Studenten“.

Der Koch möchte, dass die KI lernt, wie man lecker kocht, aber er möchte nicht, dass die Leute erfahren, wie viele Allergiker er in seinem Restaurant hat oder wer seine Kunden sind. Er denkt: „Die KI lernt nur, wie man Salz und Pfeffer benutzt. Sie wird die Statistiken aus meinem Buch niemals aussprechen.“

Die Forscher der UC San Diego haben nun herausgefunden: Der Koch hat sich geirrt. Die KI ist wie ein neugieriger Gast, der durch das bloße Probieren der Speisen genau erraten kann, was im geheimen Kochbuch steht.

Was genau ist das Problem? (Die „Eigenschafts-Inferenz“)

In der Fachsprache nennt man das „Property Inference Attack“.

Normalerweise versuchen Hacker bei einer KI, einzelne Geheimnisse zu stehlen (z. B. „Wie heißt dieser eine Patient?“). Das ist wie der Versuch, eine einzelne Seite aus dem Kochbuch zu kopieren. Das ist schwer.

Diese Forscher untersuchen aber etwas anderes: Sie wollen nicht die einzelne Seite, sondern die Statistik des ganzen Buches. Sie wollen wissen: „Ist dieses Buch eher ein Buch für Vegetarier oder für Fleischliebhaber?“ Wenn eine KI auf medizinischen Daten trainiert wurde, wollen die Angreifer wissen: „Sind in diesem Krankenhaus eher Frauen oder Männer behandelt worden?“ oder „Wie viele Menschen haben eine bestimmte Krankheit?“

Die zwei „Detektiv-Methoden“ der Forscher

Die Forscher haben zwei Wege gefunden, wie man diese Geheimnisse aus der KI „herauslockt“:

1. Der „Geschmacks-Test“ (Black-Box-Angriff)

Stell dir vor, du darfst die KI nicht sehen und nicht in ihre Dateien schauen. Du darfst ihr nur Fragen stellen.
Der Detektiv sagt zur KI: „Erzähl mir mal eine Geschichte über einen Patienten, der zu dir kommt.“
Wenn die KI plötzlich ständig Geschichten über „sie“ und „ihre Schwangerschaft“ erzählt, weiß der Detektiv: „Aha! In den Trainingsdaten waren sehr viele Frauen!“ Er muss nicht das Buch lesen; das, was die KI erzeugt, verrät das Muster.

2. Der „Wort-Detektiv“ (Shadow-Model-Angriff)

Das ist etwas raffinierter. Der Detektiv baut sich selbst ein paar „Fake-Kochbücher“ (sogenannte Shadow Models). Er weiß zum Beispiel: „Wenn ein Buch zu 80 % aus vegetarischen Rezepten besteht, benutzt es oft das Wort 'Spinat' oder 'Tofu'.“
Dann lässt er die echte KI ein paar Sätze schreiben und zählt ganz genau, wie oft bestimmte Wörter vorkommen. Wenn die KI plötzlich überproportional oft Wörter benutzt, die mit einer bestimmten Krankheit oder Gruppe zu tun haben, kann der Detektiv die Statistik des echten, geheimen Buches mit hoher Genauigkeit berechnen.

Was haben sie herausgefunden?

Die Ergebnisse sind ein Weckruf für die Tech-Welt:

Die KI ist ein kleiner Plaudertasche: Selbst wenn man die KI nur darauf trainiert, Fragen zu beantworten (wie ein Arzt), „sickert“ das Wissen über die Zusammensetzung der Daten durch.
Je mehr die KI „nachplappert“, desto gefährlicher: Wenn die KI darauf trainiert ist, ganze Gespräche zu vervollständigen (Chat-Modus), ist sie noch viel anfälliger dafür, die Statistiken des Trainingsmaterials preiszugeben.
Es ist kein Zufall: Die Angriffe waren sehr erfolgreich. Die Forscher konnten die Verhältnisse (z. B. den Anteil von Frauen in einem Datensatz) fast punktgenau erraten.

Warum ist das wichtig?

Wenn Krankenhäuser, Banken oder Anwaltskanzleien KIs nutzen, um ihre Arbeit zu erleichtern, dürfen diese KIs nicht versehentlich die Geschäftsgeheimnisse oder die demografische Zusammensetzung ihrer Klienten verraten.

Das Fazit der Forscher: Wir müssen lernen, KIs so zu bauen, dass sie zwar lernen, wie man „kocht“, aber dabei lernen, ihre „Statistiken“ für sich zu behalten. Wir brauchen bessere „Schutzschilde“ für das digitale Wissen.

Zusammenfassung: Können wir vertrauliche Eigenschaften von Trainingsdaten aus LLMs ableiten?

Problemstellung

Während sich die Forschung zum Datenschutz bei Large Language Models (LLMs) bisher primär auf den Schutz einzelner Datensätze (Individual Privacy) konzentriert hat, adressiert diese Arbeit die „Property Inference“ (Eigenschafts-Inferenz). Dabei geht es nicht darum, einzelne Nutzerdaten zu stehlen, sondern aggregierte, datensatzweite Eigenschaften zu extrahieren, die eigentlich vertraulich bleiben sollten (z. B. die Geschlechterverteilung in einem medizinischen Datensatz oder die Häufigkeit bestimmter Diagnosen).

Die Autoren identifizieren zwei zentrale Herausforderungen bei LLMs im Vergleich zu klassischen Modellen:

Komplexität: Sensible Eigenschaften sind oft indirekt in natürlicher Sprache eingebettet (z. B. impliziert das Wort „Gynäkologe“ das Geschlecht).
Hybrid-Natur: LLMs sind weder rein diskriminativ noch rein generativ, was herkömmliche Angriffsstrategien infrage stellt.

Methodik

Die Autoren führen zwei wesentliche Neuerungen ein:

1. Der PropInfer-Benchmark:
Um die Verwundbarkeit systematisch zu testen, erstellen sie einen Benchmark basierend auf dem ChatDoctor-Datensatz. Sie unterscheiden dabei zwei Fine-Tuning-Paradigmen:

Q&A Mode (Supervised Fine-Tuning - SFT): Das Modell lernt, eine Antwort $y$ basierend auf einer Frage $x$ zu generieren.
Chat-Completion Mode (Causal Language Modeling - CLM-FT): Das Modell lernt die gesamte Sequenz (Frage und Antwort) autoregressiv, was zu einem anderen Memorierungsmuster führt.

2. Zwei maßgeschneiderte Angriffe:

Black-Box Generation-Based Attack: Ein Angreifer nutzt gezielte Prompts, um das Modell zur Generierung von Proben zu bewegen. Ein Labeling-Modell (hier ChatGPT-4o) bewertet, ob die generierten Texte die Ziel-Eigenschaft enthalten. Durch Aggregation dieser Labels wird das Verhältnis der Eigenschaft im Trainingsdatensatz geschätzt.
Grey-Box Shadow-Model Attack (mit Wortfrequenz): Der Angreifer trainiert mehrere „Schattenmodelle“ auf Hilfsdaten mit unterschiedlichen Eigenschaftsverhältnissen. Anstatt auf komplexen Gewichten basiert dieser Angriff auf der Wortfrequenz bestimmter Schlüsselwörter, die stark mit der Ziel-Eigenschaft korrelieren. Ein Meta-Modell (XGBoost) lernt dann, aus den Wortfrequenzen des Zielmodells auf das ursprüngliche Verhältnis zu schließen.

Wichtigste Ergebnisse

Die empirischen Untersuchungen an Modellen wie Llama-1, Pythia und Llama-3 zeigen:

Abhängigkeit vom Fine-Tuning-Modus:
- Im Q&A Mode ist der Shadow-Model Attack (Wortfrequenz) besonders effektiv, da die Eigenschaften oft in den Fragen stecken, die das Modell weniger stark „besitzt“.
- Im Chat-Completion Mode ist der Generation-Based Attack extrem erfolgreich, da das Modell die gesamte Konversation (inklusive der sensiblen Patientenbeschreibungen) stärker imitiert.
Effektivität der Wortfrequenz: Die Analyse zeigt, dass spezifische Wörter (z. B. „sie“, „ihm“, „Ovarien“) eine hohe Korrelation mit dem Geschlecht aufweisen und als starke Signale für den Angriff dienen.
Erfolg bei medizinischen Diagnosen: Der Generierungs-Angriff konnte die Häufigkeit von psychischen und Verdauungsstörungen in den Datensätzen mit hoher Genauigkeit (geringer Mean Absolute Error) vorhersagen.

Bedeutung und Signifikanz

Die Arbeit deckt eine bisher unterschätzte Sicherheitslücke auf. Sie zeigt, dass die Bereitstellung von spezialisierten LLMs (z. B. in der Medizin oder im Finanzwesen) unbeabsichtigt geschäftskritische oder sensible statistische Informationen über die zugrunde liegenden Patientengruppen oder Kundensegmente preisgeben kann.

Implikationen für die Praxis:

Datenschutz: Klassische Methoden wie Differential Privacy müssen möglicherweise auf die Ebene von Datensatz-Eigenschaften ausgeweitet werden.
Abwehrmechanismen: Die Autoren diskutieren erste Ansätze wie das Subsampling von Daten oder die Anpassung der Sampling-Temperatur, betonen jedoch, dass robuste, neue Verteidigungsstrategien gegen diese Form der Informationsleckage notwendig sind.