🤖 AI

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

Dit artikel introduceert CIDER, een grootschalige dataset van contextuele onthullingsgrenzen afgeleid van menselijke annotaties, om de afstemming van grote taalmodellen met genuanceerde, individuele privacyvoorkeuren door middel van personalisatie tijdens de inferentie te evalueren en te verbeteren.

Oorspronkelijke auteurs: Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een goede vriend moet zijn. Je zou hem niet alleen een enorm regelboek geven met de tekst "Vertel geen geheimen." Dat is te vaag. Als je tegen de robot zegt: "Vertel niet over mijn verjaardag," kan hij in de war raken als je op een verrassingsfeestje bent waar iedereen het erover schreeuwt. Maar als je bij een rustig diner bent met een vreemde, zou datzelfde geheim achter slot en grendel moeten blijven. Dit is de ingewikkelde wereld van privacy. Het is niet alleen een muur met "Verboden Toegang"; het is meer als een reeks onzichtbare, verschuivende deuren die open en dicht gaan afhankelijk van wie er staat, hoe het weer is en hoeveel je diegene vertrouwt.

Wetenschappers weten al lang dat computers steeds beter worden in het volgen van algemene regels, zoals "deel geen medische dossiers met vreemden." Maar er is een kloof tussen het kennen van de algemene regel en het begrijpen van jouw specifieke, persoonlijke gevoelens daarbij. Jij bent misschien het type persoon dat ervan houdt om foto's van je lunch te delen, maar nerveus wordt als iemand je salaris noemt. Een ander persoon kan precies het tegenovergestelde voelen. De grote vraag die onderzoekers proberen op te lossen is: Kunnen we AI leren om deze unieke, persoonlijke "privacygrenzen" te begrijpen, zodat het niet per ongeluk je thee laat vallen wanneer je hem liever warm houdt?

Maak kennis met CIDER, een nieuwe studie die fungeert als een massaal trainingskamp voor AI om deze persoonlijke geheimen te leren. De onderzoekers verzamelden 169 echte mensen en stelden hen een eenvoudige maar lastige vraag: "Zou je het oké vinden als ik dit verhaal over jou op deze negen verschillende manieren vertelde?" Ze veranderden het verhaal telkens een klein beetje—soms gebruikten ze je volledig naam, soms zeiden ze alleen "een vriend", soms gaven ze elk klein detail, en soms hielden ze het vaag. Ze ontdekten dat de antwoorden van mensen niet willekeurig waren; ze hadden specifieke patronen. Sommige mensen vonden vage details oké, maar vonden het verschrikkelijk als hun naam werd gebruikt. Anderen vonden de naam niet erg, maar schrokken zich een hoedje van de kleine details.

Het team nam deze gegevens vervolgens en testte 12 verschillende AI-modellen door ze te vragen wat een specifiek persoon de volgende keer zou zeggen, gebaseerd op wat die persoon eerder had gezegd. Het is als het spelen van een spelletje "Raad de Regel", waarbij de AI naar jouw eerdere keuzes moet kijken en jouw persoonlijke privacystijl moet ontrafelen. De resultaten waren een mix van goed nieuws en enkele realiteitschecks. De grootste, slimste AI-modellen (zoals die van Anthropic en OpenAI) werden erg goed in dit. Wanneer ze slechts zes voorbeelden kregen van de eerdere keuzes van een persoon, konden ze de toekomstige keuzes van die persoon voorspellen met een veel hogere nauwkeurigheid—tot wel 11,41 procentpunt beter dan wanneer ze geen geschiedenis hadden. Deze slimme modellen leken de vibe van de situatie te begrijpen, en niet alleen de woorden.

Echter, de studie toonde ook aan dat niet alle AI's gelijk zijn. De kleinere, eenvoudigere modellen neigden naar rigide sluiproutes. Ze leerden dingen zoals: "Als de naam er staat, zeg NEE," of "Als de details te uitgebreid zijn, zeg NEE," zonder echt de nuance te begrijpen. Ze waren als studenten die het antwoordmodel uit hun hoofd hadden geleerd, maar de les niet begrepen. Bovendien, hoewel de slimme modellen beter werden in het raden, werden ze soms te zelfverzekerd in de verkeerde richting. Ze stopten soms met "Nee" zeggen wanneer dat wel moest, of ze zeiden "Ja" wanneer dat niet zo hoorde, wat een nieuwe soort onbalans creëerde. Slechts één model, Claude Sonnet 4.6, slaagde erin de nauwkeurigheid te verbeteren zonder de balans van fouten te verstoren.

Uiteindelijk suggereert CIDER dat we dichter bij AI komen die onze persoonlijke privacy echt kan respecteren, maar het is nog steeds geen opgelost probleem. De beste AI heeft niet alleen veel data nodig, maar ook het vermogen om de subtiele, menselijke context achter onze keuzes te begrijpen. Het is een herinnering dat privacy niet alleen gaat over het verbergen van informatie; het gaat erom precies te weten met wie je het delen doet, en de AI moet die dans net zo goed leren als wij.

Technische Samenvatting: CIDER - Een dataset van contextuele grenzen voor informatievermelding voor afstemming van privacyvoorkeuren

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden geïntegreerd in het dagelijks communicatieproces, blijft hun vermogen om af te stemmen op menselijke privacyvoorkeuren inconsistent. Bestaand onderzoek vertrouwt primair op het Contextual Integrity (CI) raamwerk om modellen te evalueren tegen algemene, groepsniveau-normen afgeleid uit regelgeving en literatuur. Deze normen zijn echter inherent grofmazig en slagen er niet in de dynamische, genuanceerde en geïndividualiseerde privacygedragingen te vatten die mensen vertonen in reële scenario's.

De kernuitdaging ligt in het oproepen en modelleren van individuele privacygrenzen. In tegenstelling tot publieke normen worden persoonlijke grenzen impliciet gevormd door geleefde ervaring en situationele risicoperceptie, wat het moeilijk maakt voor gebruikers om deze expliciet te articuleren. Huidige evaluatiemethoden missen een systematische operationalisering voor het beoordelen van het vermogen van een LLM om zich aan te passen aan deze specifieke, contextafhankelijke informatievermeldingsvoorkeuren, met name in scenario's waarbij AI-bemiddelde communicatie betrokken is.

Methodologie

De CIDER Datasets

Om dit gat te dichten, introduceren de auteurs CIDER (Contextual Information Disclosure Boundaries Elicited from Real Users), een dataset bestaande uit 14.850 menselijke annotaties van 169 deelnemers verspreid over 60 interpersoonlijke communicatiescenario's.

Scenario Constructie: Scenario's werden afgeleid van de PrivacyLens-dataset en dekken diverse praktijken rond gegevensdeling die de privacy-normen schenden. Elk scenario werd in meerdere contexten geïnstantieerd door de communicatierol (zender, onderwerp, ontvanger) en de AI-bemiddelde conditie (mens versus AI-assistent) te variëren.
Disclosure Varianten: Voor elke context genereerden de auteurs 9 informatievermeldingsvarianten die systematisch varieerden langs twee dimensies:
1. Granulariteit: Algemeen (G1), Matig Gedetailleerd (G2) en Zeer Gedetailleerd (G3).
2. Identificeerbaarheid: Niet Identificeerbaar (I1), Gedeeltelijk Identificeerbaar (I2) en Volledig Identificeerbaar (I3).
Gegevensverzameling: Deelnemers beoordeelden de acceptabiliteit (Ja/Nee) van elke variant binnen hun toegewezen context. De dataset vormt 1.650 contextuele informatievermeldingsgrenzen, die geïndividualiseerde beslissingspatronen vertegenwoordigen.

Taakformulering

Het artikel formuleert een privacyvoorkeur-voorspellingsopdracht. Gegeven de historische informatievermeldingsgrenzen ( $B$ ) van een gebruiker over $N$ contexten, moet een model de latente privacyvoorkeur van de gebruiker ( $p$ ) afleiden en de informatievermeldingsbeslissingen ( $\hat{y}$ ) voorspellen voor een nieuwe, ongeziene context ( $c_{new}$ ).

De evaluatie richt zich op inferentie-tijd personalisatie (in-context leren) zonder parameterupdates. De auteurs vergelijken vier condities:

HC (High Context): Historische grenzen verstrekt met volledige semantische context voor scenario's en varianten.
HL (Low Context): Historische grenzen verstrekt met structurele labels (granulariteit/identificeerbaarheid) maar met geredigeerde semantische inhoud.
H (History Only): Historische grenzen verstrekt als binaire beslissingen zonder context of labels.
No-History Baseline: Voorspelling gebaseerd uitsluitend op het doelscenario zonder gebruikersgeschiedenis.

Experimenten werden uitgevoerd over 12 open en propriëtaire LLM's (waaronder GPT-5.4, Claude Sonnet 4.6, Llama 4 en Qwen3-families) met variërende geschiedenislengtes ( $k \in \{1, 4, 5, 6\}$ ).

Belangrijkste Bijdragen

CIDER Dataset: De eerste gepersonaliseerde dataset die individueel contextueel informatieverdelingsgedrag vastlegt, waarbij de focus verschuift van groepsniveau-normen naar specifieke gebruikersgrenzen.
Operationalisering van Persoonlijke Grenzen: Een gestructureerd raamwerk voor het representeren van privacyvoorkeuren als binaire vectoren over informatieverdelingsvarianten gedefinieerd door granulariteit en identificeerbaarheid.
Evaluatie Benchmark: Een rigoureus protocol voor het evalueren van LLM's op gepersonaliseerde privacy-afstemming via in-context leren, waarbij de trade-offs tussen model schaal, redeneervermogen en personalisatiegetrouwheid worden belicht.
Studie Toolkit: Een herbruikbare pipeline voor het genereren van informatieverdelingsvarianten en het oproepen van beslissingen bij echte gebruikers, ter ondersteuning van toekomstige longitudinale studies.

Resultaten

Voorspellingsnauwkeurigheid en Personalisatie

Algemene Verbetering: In-context personalisatie verbetert over het algemeen de voorspellingsnauwkeurigheid. Bij het gebruik van slechts 6 historische voorbeelden ( $k=6$ ) verbeterde de nauwkeurigheid met wel 11,41 procentpunt vergeleken met de no-history baseline.
Model Schaal en Redeneren: Grotere, redeneer-gecapaciteerde modellen (bijv. GPT-5.4 met gemiddelde redeneerinspanning, Claude Sonnet 4.6) presteren significant beter dan kleinere modellen. Deze modellen maken effectief gebruik van semantische context (HC conditie) om gebruikersspecifieke voorkeuren te begrijpen.
- GPT-5.4 behaalde 72,45% nauwkeurigheid en Claude Sonnet 4.6 behaalde 71,98% onder HC met $k=6$ .
- Kleinere modellen (bijv. Llama 3.1 8B, Qwen3-8B) plateauëren vaak bij lagere nauwkeurigheden (bijv. ~59,70%) en neigen te vertrouwen op structurele heuristieken (labels voor granulariteit en identificeerbaarheid) in plaats van semantisch begrip. In sommige gevallen hielp het verstrekken van volledige semantische context (HC) kleinere modellen niet, of hinderde het zelfs in vergelijking met de HL conditie.

Foutanalyse en Trade-offs

Imbalans in Foutverschuivingen: Hoewel personalisatie de algehele nauwkeurigheid verbetert, leidt dit vaak tot ongebalanceerde verschuivingen in False Positives (FP) en False Negatives (FN).
- De meeste modellen verminderen FN voor "makkelijke" varianten (lage granulariteit/identificeerbaarheid) maar verhogen FP.
- Omgekeerd, voor "moeilijke" varianten (hoge granulariteit/identificeerbaarheid), verminderen modellen vaak FP maar verhogen ze FN.
Gebalanceerde Prestaties: Claude Sonnet 4.6 was het enige model dat gebalanceerde verbeteringen realiseerde, waarbij zowel de FP als de FN ratio's over alle varianten heen werden verminderd.
Foutmodi: Analyse van onjuiste voorspellingen onthulde vier fouttypen:
1. Self-Disclosure Bias: Modellen gaan ervan uit dat zelf-onthulling altijd acceptabel is.
2. Patroon Extrapolatie: Modellen extrapoleren blindelings historische "Ja"-patronen zonder semantisch redeneren.
3. Norm-Based Override: Modellen geven prioriteit aan algemene ethische normen boven specifieke gebruikersvoorkeuren.
4. Regel-gebaseerde Generalisatie: Modellen afleiden vereenvoudigde regels (bijv. "vertrouwde zender = Ja") die falen in genuanceerde nieuwe contexten.

Personalisatie versus Groep/Norm Afstemming

Vergelijkende analyse toonde aan dat individuele voorspellingen in 67,92% van de gevallen gelijkkwart of beter presteerden dan groepsgebaseerde grenzen en in 60,69% van de gevallen dan normgebaseerde grenzen, wat de noodzaak van gepersonaliseerde modellering valideert.

Betekenis en Claims

Het artikel positioneert CIDER als een cruciale bron voor het bevorderen van gepersonaliseerde privacy-afstemming. De bevindingen onthullen een dubbele realiteit in de huidige LLM-capaciteiten:

Belofte: Frontier-modellen met sterke redeneervermogens kunnen effectief leren en zich aanpassen aan individuele privacygrenzen met behulp van in-context geschiedenis, waarbij ze statische, normgebaseerde benaderingen aanzienlijk overtreffen.
Beperkingen: Huidige modellen, met name kleinere on-device modellen, worstelen met het benutten van semantische context voor personalisatie en vertonen vaak ongebalanceerde foutratio's (het ruilen van false positives voor false negatives). Bovendien vormt de afhankelijkheid van gecentraliseerde infrastructuur voor grote modellen een privacyparadox, aangezien het verzenden van gebruikersgegevens voor personalisatie een eigen privacyrisico creëert.

De auteurs concluderen dat het afstemmen van LLM's op persoonlijke privacyvoorkeuren niet alleen rijkere gedragshistorie vereist, maar ook verbeterde modelcapaciteiten om dergelijke informatie te interpreteren en te gebruiken, vooral voor kleinschalige, on-device implementatie. Zij roepen op tot toekomstig werk gericht op gerichte strategieën (bijv. fine-tuning, betere prompting) om de personalisatiegetrouwheid in kleinere modellen te verbeteren.