Technische Samenvatting: PRIVACYSIM: Evaluatie van de simulatie van gebruikersprivacygedrag door LLM's

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet om menselijk gedrag te simuleren voor het evalueren van systemen voor datadeling, met als potentieel vervanging van kostbare en trage gecontroleerde gebruikersstudies. Het blijft echter onduidelijk of LLM's op individueel niveau privacybeslissingen getrouw kunnen simuleren. Bestaand werk vertrouwt vaak op gegeneraliseerde persona's of uitlijning op populatieniveau, waardoor de nuances van individueel gedrag niet worden vastgelegd, met name de "privacyparadox" waarbij de uitgesproken houdingen van gebruikers afwijken van hun feitelijke handelingen. Er ontbreekt gestandaardiseerde evaluatiesets om te beoordelen of specifieke attributen van een gebruikerspersona LLM's kunnen aanzetten tot het nauwkeurig nabootsen van individuele privacybesluitvorming in door AI bemiddelde contexten.

Methodologie

De auteurs introduceren PRIVACYSIM, een evaluatieset ontworpen om de simulatie van gebruikersprivacygedrag door LLM's te benchmarken tegen grondwaarheid van menselijke responsen.

Datasetconstructie

De evaluatie is gebaseerd op real-world data in plaats van synthetische generatie. De auteurs hebben een dataset samengesteld uit vijf gepubliceerde gebruikersstudies die diverse domeinen bestrijken:

1. LLM Gezondheidszorgconsultatie
2. AI-agentrechten
3. LLM-chatbot
4. Chatbot-groepschat
5. LLM-conversatieagenten

Uit deze studies hebben ze 1.000 gebruikers (200 per studie) geselecteerd en 9.400 gebruikers-vraagparen geëxtraheerd. Elke gebruiker is gekoppeld aan een "privacypersona" ($P_u$) die bestaat uit drie veronderstelde facetten:

• Demografie ($D_u$): Leeftijd, geslacht, opleiding (optioneel, aangezien sommige studies deze weglieten).
• Vorige ervaringen ($E_u$): Bekendheid en gebruiksfrequentie van AI/chatbots.
• Privacyhoudingen ($A_u$): Uitgesproken zorgen en voorkeuren met betrekking tot datagebruik.

Simulatietaken

De taak wordt gedefinieerd als een LLM-simulator $f$ die een persona $P_u$ van een gebruiker en een vraag over datadeling $q_i$ neemt om een gesimuleerde respons $\hat{r}_{u,i}$ te produceren. Het doel is om $\hat{r}_{u,i}$ te laten overeenkomen met de feitelijke respons $r_{u,i}$ van de gebruiker.

Evaluatiemetric

Vanwege variërende responscales tussen studies (bijv. 5-punts Likert versus 0–100 numeriek), hanteren de auteurs een tolerantie-accuraatheid-metric. Een gesimuleerde respons wordt beschouwd als een match als deze binnen een tolerantiegrens ($\tau \cdot W_{Q_u}$) van de feitelijke respons valt, waarbij $W_{Q_u}$ de bovengrens van de schaal is. De auteurs stellen $\tau = 0,15$, wat effectief werkt als een exacte match voor 5-puntsschalen maar een marge van $\pm 15$ punten toestaat voor 100-puntsschalen.

Experimentele Opstelling

De studie evalueerde negen geavanceerde LLM's (zowel open-weight als gesloten-bron), waaronder GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro en diverse varianten van Qwen en Gemma. De modellen werden getest onder acht promptvoorwaarden:

1. Geen persona (baseline).
2. Subsets van de drie persona-facetten ($D_u$, $E_u$, $A_u$) in alle niet-lege combinaties.
3. Varianties die privacytheorieën integreren (Privacy Calculus, Beperkte Rationaliteit, Beschermingsmotivatie-theorie) als redeneerlenzen.

Belangrijkste Bijdragen

1. PRIVACYSIM Benchmark: De eerste gestandaardiseerde evaluatieset voor het beoordelen van LLM's als privacy-simulatoren op individueel niveau, met gebruikmaking van echte gebruikersdata uit vijf verschillende studies.
2. Persona Facet Analyse: Een systematisch onderzoek naar hoe demografie, vorige ervaringen en uitgesproken houdingen bijdragen aan de nauwkeurigheid van de simulatie.
3. Kwantificering van de Privacyparadox: Empirisch bewijs dat aantoont dat uitgesproken privacyhoudingen alleen vaak slechte voorspellers zijn van daadwerkelijk gedrag in simulatie, wat de moeilijkheid benadrukt om de privacyparadox te modelleren.
4. Geclusterde Moeilijkheidsanalyse: Identificatie van specifieke gebruikersgroepen (gebaseerd op standpunt en blootstelling) die onevenredig moeilijk zijn om door LLM's te simuleren.

Resultaten

Vraag 1: Omvang van de Simulatie Nauwkeurigheid

• Beperkte Fideliteit: Zelfs het sterkste model, Gemini 3.1 Pro, bereikte slechts 40,4% nauwkeurigheid wanneer het was geconditioneerd op de rijkste beschikbare persona-combinatie (Vorige Ervaringen + Privacyhoudingen) over alle vijf studies. Dit geeft aan dat huidige LLM's ver verwijderd zijn van het getrouw simuleren van individuele privacybeslissingen.
• Waarde van Persona: Conditioneren op persona-facetten verbeterde de nauwkeurigheid consequent ten opzichte van de baseline zonder persona (die ongeveer 36–37% bereikte). De combinatie van Vorige Ervaringen ($E_u$) en Privacyhoudingen ($A_u$) leverde de beste resultaten op, terwijl Demografie ($D_u$) alleen verwaarloosbare winst opleverde.
• Domeinvariatie: De kwaliteit van de simulatie varieerde aanzienlijk per domein. "LLM Gezondheidszorgconsultatie" was het moeilijkst te simuleren (laagste nauwkeurigheid), terwijl "LLM Conversatieagenten" en "Chatbot-groepschat" makkelijker waren.

Vraag 2: Moeilijkst te Simuleren Groepen

Met behulp van een taxonomie van (standpunt, blootstelling) identificeerden de auteurs onderscheiden gebruikersclusters:

• Moeilijkste Groep: Gebruikers met lage uitgesproken privacyzorgen maar hoge blootstelling aan AI/chatbots ("Laag-standpunt / Hoog-blootstelling") waren het moeilijkst te simuleren, met de laagste nauwkeurigheid (36,51%) en de kleinste winst door persona-conditionering (+1,07 procentpunten). De auteurs veronderstellen dat LLM's ten onrechte concluderen dat deze gebruikers minder bezorgd zijn dan ze eigenlijk zijn, en falen in het vastleggen van de divergentie tussen hun uitgesproken lage zorgen en hun feitelijke gedrag dat wordt gevormd door uitgebreid gebruik.
• Eenvoudigste Groep: Gebruikers met hoge uitgesproken zorgen en gematigde blootstelling waren het makkelijkst te simuleren, met de grootste verbetering door persona-conditionering (+8,53 procentpunten).

Vraag 3: Modelkarakteristieken en Prompting

• Redeneerinspanning: Het verhogen van de redeneerinspanning (bijv. van laag naar medium) had een verwaarloosbaar effect op de nauwkeurigheid (<1 procentpunt).
• Modelgrootte: Het schalen van de modelgrootte binnen een familie (bijv. Mini versus Volledig, 27B versus 122B) leverde slechts bescheiden winst op (0,12 tot 1,31 procentpunten).
• Theorie-informeerde Prompts: Het vragen aan modellen om te redeneren via gevestigde privacytheorieën (Privacy Calculus, Beperkte Rationaliteit, Beschermingsmotivatie-theorie) verbeterde de simulatiekwaliteit niet boven het signaal dat door de persona-facetten alleen werd geboden.

Betekenis en Claims

De paper concludeert dat LLM's, hoewel ze een niet-triviale baseline-vaardigheid bezitten in het begrijpen van algemene privacynormen, momenteel de fideliteit missen om als betrouwbare proxies te dienen voor op individueel niveau privacybesluitvorming. De kloof tussen wat gebruikers zeggen (houdingen) en wat ze doen (gedrag) blijft het centrale obstakel.

De auteurs positioneren PRIVACYSIM als een eerste stap naar het begrijpen van deze beperkingen. Zij stellen dat LLM-simulatie momenteel alleen geschikt is voor low-risk, vroege-stadiumtaken (bijv. het vergelijken van ontwerpalternatieven, het blootleggen van voor de hand liggende schendingen, het genereren van hypothesen), maar dat deze moet worden gekoppeld aan menselijke gebruikersstudies voordat er beslissingen over implementatie worden genomen. Het werk suggereert dat het overbruggen van de kloof naar getrouwe simulatie waarschijnlijk rijker gedragssignalen vereist dan de huidige set persona-facetten, in plaats van simpelweg modellen te schalen of prompts te verfijnen.