🤖 machine learning

PrivacySIM: Evaluating LLM Simulation of User Privacy Behavior

Dieser Beitrag stellt PrivacySIM vor, eine Evaluierungssuite, die neun führende LLMs anhand von 1.000 realen Nutzerantworten bewertet, um zu zeigen, dass zwar die Personalisierung die Simulationsgenauigkeit verbessert, aktuelle Modelle jedoch weiterhin Schwierigkeiten haben, individuelle Privatsphäre-Entscheidungen getreu nachzubilden, insbesondere bei Nutzern mit hoher KI-Erfahrung, aber geringen angegebenen Bedenken hinsichtlich des Datenschutzes.

Ursprüngliche Autoren: James Flemings, Murali Annavaram

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Flemings, Murali Annavaram

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen digitalen „Zwilling" einer realen Person zu erschaffen. Sie möchten, dass dieser Zwilling genau dieselben Privatsphäre-Entscheidungen trifft wie die reale Person, wenn man sie fragt: „Ist es in Ordnung, Ihre Krankengeschichte mit einem Chatbot zu teilen?" oder „Sollte ich dieser KI meinen Standort zeigen lassen?"

Diese Arbeit, PRIVACYSIM, ist ein Zeugnis dafür, wie gut Large Language Models (LLMs) als diese digitalen Zwillinge fungieren können. Die Forscher stellten eine einfache, aber schwierige Frage: Können wir einer KI einige Fakten über eine Person geben (wie ihr Alter, wie stark sie KI nutzt und was sie über Privatsphäre sagt) und die KI dann die tatsächliche Verhaltensweise dieser spezifischen Person perfekt vorhersagen lassen?

Hier ist die Aufschlüsselung ihres Experiments und ihrer Erkenntnisse, unter Verwendung einiger alltäglicher Analogien.

Das Setup: Der „Schauspiel"-Test

Stellen Sie sich die Forscher als Casting-Direktoren vor. Sie sammelten 1.000 reale Menschen aus fünf verschiedenen früheren Studien. Diese Personen hatten bereits Fragen zum Teilen von Daten in Szenarien wie folgenden beantwortet:

Gespräch mit einer medizinischen KI.
Nutzung eines Chatbots in einer Gruppenchat.
Zugriff eines KI-Agenten auf ihre Bankdaten.

Die Forscher nahmen dann die Profile dieser realen Personen und fütterten sie in neun verschiedene Top-KI-Modelle. Sie gaben der KI drei Arten von „Charakterbögen" (genannt Personas), um zu sehen, welche dem KI am besten half, wie ein echter Mensch zu agieren:

Demografie: Alter, Geschlecht, Bildung (Der „Lebenslauf").
Vorherige Erfahrung: Wie oft sie KI oder Chatbots nutzen (Der „Lebenslauf").
Geäußerte Einstellungen: Was sie sagen, dass sie bezüglich Privatsphäre wichtig finden (Das „Interview").

Die KI musste dann die Antwort auf die Fragen zur Datenteilung erraten. Die Forscher verglichen die Vermutung der KI mit der tatsächlichen Antwort des realen Menschen, um zu sehen, wie genau das „Schauspiel" war.

Die großen Erkenntnisse

1. Die KI ist ein „guter" Schauspieler, aber kein „großartiger"

Selbst das intelligenteste KI-Modell (Gemini 3.1 Pro) lag nur etwa 40 % der Zeit richtig.

Analogie: Stellen Sie sich vor, Sie versuchen, die Wahl Ihres Freundes für einen Eisschmeck zu erraten. Wenn Sie nur wissen, dass er „süße Dinge" mag, könnten Sie 40 % der Zeit richtig liegen. Aber wenn Sie genau wissen, wonach er gerade verlangt, sollten Sie zu 100 % richtig liegen können. Die KI bleibt auf diesem 40 %-Niveau stecken. Sie kann eine „generische" Person einigermaßen gut imitieren, hat aber Schwierigkeiten, die einzigartige, chaotische Art einzufangen, wie eine spezifische Einzelperson eine Entscheidung trifft.

2. Die „Privatsphäre-Paradoxon"-Falle

Die Forscher stellten fest, dass der offensichtlichste Hinweis – was Menschen sagen, dass sie glauben – tatsächlich der schlechteste Prädiktor dafür war, was sie tun würden.

Analogie: Stellen Sie sich vor, eine Person sagt: „Ich habe Angst, meinen Standort zu teilen!" (Hohe Privatsphäre-Einstellung). Aber wenn man fragt: „Möchten Sie, dass diese App Ihnen die nächste Pizza zeigt?", klicken sie sofort auf „Ja".
Die KI, wenn ihr gesagt wurde „Diese Person hat Angst, ihren Standort zu teilen", würde vermuten, dass sie „Nein" sagen würde. Aber die reale Person sagte „Ja". Die KI geriet in Verwirrung, weil Menschen oft das eine sagen, aber das andere tun. Dies wird als Privatsphäre-Paradoxon bezeichnet, und es brachte die KI-Modelle ins Wanken.

3. Der „faule Experte" ist am schwersten vorherzusagen

Die Forscher gruppierten die Nutzer in Kategorien. Die Gruppe, die für die KI am schwierigsten zu simulieren war, waren Menschen, die:

Sagen: „Mir ist Privatsphäre eigentlich egal" (Niedrige Haltung).
Tun: Jeden einzelnen Tag KI-Chatbots und Tools nutzen (Hohe Exposition).
Analogie: Denken Sie an diese Person als einen „faulen Experten". Sie wissen, wie die Technik funktioniert, und nutzen sie ständig, behaupten aber, sie mache sich keine Sorgen darum. Da ihre Handlungen (tägliche Nutzung) und ihre Worte (egal sein) so widersprüchlich sind, konnte die KI nicht herausfinden, was sie in einer neuen Situation tatsächlich tun würden. Sie waren die unvorhersehbarsten.

4. Größere Gehirne und „intensiveres Nachdenken" halfen nicht viel

Die Forscher versuchten zwei Dinge, um die KI zu verbessern:

Das Modell vergrößern: Ein Modell mit mehr „Neuronen" (Parametern) verwenden.
Das Modell intensiver nachdenken lassen: Die KI auffordern, vor der Antwort komplexe Privatsphäre-Theorien (wie „Kosten-Nutzen-Analyse") zu verwenden.
Ergebnis: Beides half kaum. Die Genauigkeit stieg nur um winzige Bruchteile eines Prozentsatzes.
Analogie: Es ist, als würde man einem Schüler ein dickeres Lehrbuch geben und ihm sagen, er solle „wirklich intensiv" über ein Rätsel nachdenken. Wenn er nicht die richtige Erfahrung oder den richtigen Kontext hat, helfen ihm mehr Denkkraft oder ein dickeres Buch nicht, das Rätsel zu lösen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass KI zwar allgemeine Privatsphäre-Trends simulieren kann, aber derzeit nicht zuverlässig genug ist, um reale menschliche Tests für hochriskante Entscheidungen (wie medizinische oder rechtliche Privatsphäre) zu ersetzen.

Wofür die KI gut ist: Brainstorming in frühen Phasen, Überprüfung auf offensichtliche Privatsphäre-Fehler oder der Vergleich zweier verschiedener App-Designs.
Wofür die KI NICHT gut ist: Die Notwendigkeit zu ersetzen, tatsächlich echte Menschen zu fragen, was sie wollen.

Die Forscher sagen, dass wir, um besser zu werden, mehr als nur einen „Charakterbogen" brauchen. Wir müssen die chaotische, inkonsistente und oft widersprüchliche Art verstehen, wie reale Menschen sich tatsächlich verhalten, was viel schwieriger in einen Prompt zu codieren ist.

Technische Zusammenfassung: PRIVACYSIM: Evaluierung der LLM-Simulation des Nutzerverhaltens im Bereich Datenschutz

Problemstellung

Large Language Models (LLMs) werden zunehmend eingesetzt, um menschliches Verhalten zur Evaluierung von Datenaustauschsystemen zu simulieren und potenziell kostspielige und langsame kontrollierte Nutzerstudien zu ersetzen. Es bleibt jedoch unklar, ob LLMs individuelle Datenschutzentscheidungen treu simulieren können. Bestehende Arbeiten verlassen sich häufig auf generalisierte Personas oder eine Ausrichtung auf Populationsebene, wodurch sie die Nuancen individuellen Verhaltens, insbesondere das „Datenschutz-Paradoxon", bei dem die geäußerten Einstellungen der Nutzer von ihren tatsächlichen Handlungen abweichen, nicht erfassen. Es fehlt an standardisierten Evaluierungssuiten, um zu bewerten, ob spezifische Persona-Attribute von Nutzern LLMs dazu bringen können, individuelle Datenschutzentscheidungen in KI-vermittelten Kontexten genau nachzuahmen.

Methodik

Die Autoren stellen PRIVACYSIM vor, eine Evaluierungssuite, die entwickelt wurde, um die LLM-Simulation des Nutzerverhaltens im Datenschutz gegen echte menschliche Antworten zu benchmarken.

Datenerstellung

Die Evaluierung basiert auf realen Daten anstelle synthetischer Generierung. Die Autoren erstellten einen Datensatz aus fünf veröffentlichten Nutzerstudien, die verschiedene Domänen abdecken:

LLM-Gesundheitsberatung
Berechtigungen für KI-Agenten
LLM-Chatbot
Chatbot-Gruppenchat
LLM-konversationelle Agenten

Aus diesen Studien wurden 1.000 Nutzer (je 200 pro Studie) ausgewählt und 9.400 Nutzer-Frage-Paare extrahiert. Jeder Nutzer ist mit einer „Datenschutz-Persona" ( $P_u$ ) assoziiert, die aus drei hypothetischen Facetten besteht:

Demografie ( $D_u$ ): Alter, Geschlecht, Bildung (optional, da einige Studien diese nicht erhoben haben).
Vorerfahrungen ( $E_u$ ): Vertrautheit und Nutzungshäufigkeit von KI/Chatbots.
Datenschutzeinstellungen ( $A_u$ ): Geäußerte Bedenken und Präferenzen bezüglich der Datennutzung.

Simulationsaufgabe

Die Aufgabe ist definiert als ein LLM-Simulator $f$ , der eine Nutzer-Persona $P_u$ und eine Frage zum Datenaustausch $q_i$ entgegennimmt, um eine simulierte Antwort $\hat{r}_{u,i}$ zu erzeugen. Das Ziel ist die Ausrichtung von $\hat{r}_{u,i}$ mit der tatsächlichen Antwort des Nutzers $r_{u,i}$ .

Evaluierungsmetrik

Aufgrund unterschiedlicher Antwortskalen in den Studien (z. B. 5-Punkte-Likert-Skala vs. numerische 0–100-Skala) verwenden die Autoren eine Metrik der Toleranzgenauigkeit. Eine simulierte Antwort gilt als Übereinstimmung, wenn sie innerhalb einer Toleranzgrenze ( $\tau \cdot W_{Q_u}$ ) der tatsächlichen Antwort liegt, wobei $W_{Q_u}$ die obere Grenze der Skala ist. Die Autoren setzen $\tau = 0,15$ , was effektiv einer exakten Übereinstimmung für 5-Punkte-Skalen entspricht, aber einen Spielraum von $\pm 15$ Punkten für 100-Punkte-Skalen zulässt.

Experimentelles Setup

Die Studie evaluierte neun führende LLMs (sowohl Open-Weight als auch Closed-Source), darunter GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro sowie verschiedene Varianten von Qwen und Gemma. Die Modelle wurden unter acht Prompt-Bedingungen getestet:

Keine Persona (Baseline).
Teilmenge der drei Persona-Facetten ( $D_u$ , $E_u$ , $A_u$ ) in allen nicht-leeren Kombinationen.
Varianten, die Datenschutztheorien (Privacy Calculus, Bounded Rationality, Protection Motivation Theory) als Denkrahmen integrieren.

Hauptbeiträge

PRIVACYSIM-Benchmark: Die erste standardisierte Evaluierungssuite zur Bewertung von LLMs als Simulatoren individueller Datenschutzentscheidungen, die echte Nutzerdaten aus fünf verschiedenen Studien nutzt.
Analyse der Persona-Facetten: Eine systematische Untersuchung, wie Demografie, Vorerfahrungen und geäußerte Einstellungen zur Genauigkeit der Simulation beitragen.
Quantifizierung des Datenschutz-Paradoxons: Empirische Belege, die zeigen, dass geäußerte Datenschutzeinstellungen allein oft schlechte Prädiktoren für das tatsächliche Verhalten in der Simulation sind, was die Schwierigkeit der Modellierung des Datenschutz-Paradoxons unterstreicht.
Analyse der gruppierten Schwierigkeit: Identifizierung spezifischer Nutzergruppen (basierend auf Haltung und Exposition), die für LLMs unverhältnismäßig schwer zu simulieren sind.

Ergebnisse

RQ1: Ausmaß der Simulationsgenauigkeit

Begrenzte Treue: Selbst das stärkste Modell, Gemini 3.1 Pro, erreichte nur 40,4 % Genauigkeit, wenn es über die reichhaltigste verfügbare Persona-Kombination (Vorerfahrungen + Datenschutzeinstellungen) für alle fünf Studien hinweg konditioniert wurde. Dies zeigt, dass aktuelle LLMs weit davon entfernt sind, individuelle Datenschutzentscheidungen treu zu simulieren.
Wert der Persona: Die Konditionierung auf Persona-Facetten verbesserte die Genauigkeit konsistent gegenüber der Baseline ohne Persona (die ~36–37 % erreichte). Die Kombination aus Vorerfahrungen ( $E_u$ ) und Datenschutzeinstellungen ( $A_u$ ) erzielte die besten Ergebnisse, während Demografie ( $D_u$ ) allein nur vernachlässigbare Gewinne brachte.
Domänenvarianz: Die Simulationsqualität variierte erheblich je nach Domäne. „LLM-Gesundheitsberatung" war am schwierigsten zu simulieren (niedrigste Genauigkeit), während „LLM-konversationelle Agenten" und „Chatbot-Gruppenchat" einfacher waren.

RQ2: Am schwersten zu simulierende Gruppen

Unter Verwendung einer Taxonomie (Haltung, Exposition) identifizierten die Autoren distincte Nutzercluster:

Schwierigste Gruppe: Nutzer mit niedriger geäußerter Datenschutzbedenken, aber hoher KI-/Chatbot-Exposition („Niedrige Haltung / Hohe Exposition") waren am schwierigsten zu simulieren, erzielten die niedrigste Genauigkeit (36,51 %) und den geringsten Gewinn durch Persona-Konditionierung (+1,07 Prozentpunkte). Die Autoren vermuten, dass LLMs fälschlicherweise annehmen, diese Nutzer seien weniger besorgt, als sie tatsächlich sind, und versagen darin, die Diskrepanz zwischen ihrer geäußerten niedrigen Besorgnis und ihrem tatsächlichen Verhalten, das durch umfangreiche Nutzung geprägt ist, zu erfassen.
Einfachste Gruppe: Nutzer mit hoher geäußerter Besorgnis und moderater Exposition waren am einfachsten zu simulieren und zeigten die größte Verbesserung durch Persona-Konditionierung (+8,53 Prozentpunkte).

RQ3: Modelleigenschaften und Prompting

Denkanstrengung: Eine Erhöhung der Denkanstrengung (z. B. von niedrig auf mittel) hatte einen vernachlässigbaren Einfluss auf die Genauigkeit (<1 Prozentpunkt).
Modellgröße: Das Skalieren der Modellgröße innerhalb einer Familie (z. B. Mini vs. Full, 27B vs. 122B) erzielte nur bescheidene Gewinne (0,12 bis 1,31 Prozentpunkte).
Theoriebasierte Prompts: Das Auffordern der Modelle, durch etablierte Datenschutztheorien (Privacy Calculus, Bounded Rationality, Protection Motivation Theory) zu reasoning, verbesserte die Simulationsqualität nicht über das Signal hinaus, das allein durch die Persona-Facetten bereitgestellt wurde.

Bedeutung und Behauptungen

Die Studie kommt zu dem Schluss, dass LLMs zwar ein nicht-triviales Basisverständnis allgemeiner Datenschutznormen besitzen, ihnen derzeit jedoch die Treue fehlt, um als zuverlässige Stellvertreter für individuelle Datenschutzentscheidungen zu dienen. Die Kluft zwischen dem, was Nutzer sagen (Einstellungen), und dem, was sie tun (Verhalten), bleibt das zentrale Hindernis.

Die Autoren positionieren PRIVACYSIM als ersten Schritt zum Verständnis dieser Grenzen. Sie behaupten, dass die LLM-Simulation derzeit nur für risikoarme, frühe Aufgaben geeignet ist (z. B. Vergleich von Designalternativen, Aufdecken offensichtlicher Verstöße, Generieren von Hypothesen), aber vor jeder Einsatzentscheidung mit menschlichen Nutzerstudien kombiniert werden muss. Die Arbeit legt nahe, dass die Überbrückung der Lücke zur treuen Simulation wahrscheinlich reichhaltigere Verhaltenssignale jenseits des aktuellen Sets von Persona-Facetten erfordert, anstatt einfach Modelle zu skalieren oder Prompts zu verfeinern.