Technische Samenvatting: IDP-Bench

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet als persoonlijke AI-assistenten met toegang tot gevoelige gebruikersgegevens, is het waarborgen van privacy een kritieke veiligheidsuitdaging geworden. Hoewel eerder onderzoek uitgebreid heeft gebenchmarkt op individueel niveau van privacyrisico's, negeren deze evaluaties vaak Interdependent Privacy (IDP). IDP beschrijft scenario's waarin de privacy van één persoon afhankelijk is van de beslissingen van anderen om gegevens te delen, wat betekent dat persoonlijke gegevens vaak gezamenlijk eigendom zijn in plaats van toebehorend aan één enkel individu.

In realistische sociotechnische systemen verwerken LLM-agenten frequent gegevens die betrokken zijn bij meerdere subjecten (bijv. vergaderverslagen, groepschats, contactlijsten, gedeelde foto's). Huidige benchmarks, zoals CI-Bench en PrivacyLens, richten zich primair op scenario's met één subject of maken geen formeel onderscheid tussen meerdere individuen die betrokken zijn bij dezelfde datastroom. Bijgevolg is er een gat in het begrip of LLM's kunnen redeneren over de complexe privacy-normen die vereist zijn wanneer gegevens betrokken zijn bij co-implicaties waarbij partijen mogelijk niet hebben ingestemd of zelfs niet op de hoogte zijn van de datastroom.

Methodologie

De auteurs introduceren IDP-Bench, de eerste benchmark die specifiek is ontworpen om het vermogen van LLM's te evalueren om te redeneren over scenario's met interdependente privacy. De methodologie is geworteld in het Contextual Integrity (CI) framework en de IDP-theorie, gestructureerd in drie hoofdonderdelen: een risicomodel, een dataproductie-pipeline en een evaluatieprotocol op meerdere niveaus.

1. Risicomodel

De benchmark definieert een privacyrisicoscenario bestaande uit vier componenten en één informatieobject:

• Data Sender ($u$): Het individu dat de deelactie initieert.
• Data Recipient ($r$): Het beoogde doelwit van de deelactie.
• Primary Data Subject ($d_p$): Het hoofdindividu waar de gegevens betrekking op hebben.
• Secondary Data Subjects ($\{d_{s1}, \dots, d_{sk}\}$): Een niet-lege verzameling van aanvullende individuen wier informatie gelijktijdig in de gegevens wordt blootgesteld, maar die mogelijk geen toestemming hebben gegeven.
• Transmission Principle ($tp$): De methode van transmissie.

De kernuitdaging is bepalen of een LLM correct kan identificeren dat data $D$ betrekking heeft op meerdere subjecten, alle co-implicaties kan herkennen, en de geschiktheid van de informatiestroom kan beoordelen gezien de afwezigheid van toestemming van secundaire subjecten.

2. Dataproductie-pipeline

De benchmark maakt gebruik van een synthetische pipeline om 100 unieke scenario's te genereren (waarvan er 97 zijn gebruikt na filtering), bestaande uit:

• Seed Extension: Vertrekkend vanuit 493 PrivacyLens-seeds (5-tuples), hebben de auteurs Qwen2.5-72B-Instruct gebruikt om deze uit te breiden naar 9-veld IDP-seeds. Dit omvatte het toevoegen van velden voor secundaire subjecten, interdependentie-type (gezamenlijk eigendom, gecorreleerd, familiair, co-locatie) en interdependentie-beschrijving.
• Verificatie: Een unit-test verifieerder controleert de structurele en semantische geldigheid, waarbij wordt gewaarborgd dat secundaire subjecten verschillend zijn van het primaire subject en dat het scenario realistisch de dagelijkse IDP-contexten weerspiegelt (bijv. sociale media, groepschats) in plaats van gespecialiseerde professionele omgevingen.
• Vignette Generatie: Geverifieerde seeds worden uitgebreid naar narratieven van 7 zinnen. De eerste zes zinnen vestigen de actoren en gezamenlijke data zonder expliciete labels, terwijl de zevende zin (die tijdens de evaluatie wordt achtergehouden) expliciet de privacy-lek naar secundaire subjecten vermeldt.
• Ondergespecificeerde Instructies: Elke vignette wordt gekoppeld aan een instructie op hoog niveau die specifieke details weglaat over wat er gedeeld moet worden of wie erbij betrokken is, waardoor het model gedwongen wordt om privacybeperkingen te infereren.

3. Evaluatieprotocol

De evaluatie test acht open-source LLM's (Qwen2.5-familie en Llama-3.1-familie) over drie progressieve redeneringsniveaus met behulp van twee onafhankelijke LLM-judges (Llama-3.1-70B en Qwen2.5-72B):

• Niveau 1: Context Begrip (Q1–Q7): Het extraheren van CI-parameters (informatie-attribuut, primaire/secundaire subjecten, verzender, ontvanger, transmissieprincipe) en het identificeren van welke informatie over secundaire subjecten zou worden onthuld.
• Niveau 2: Co-ownership Herkenning (Q8): Bepalen of de data gezamenlijk eigendom is van meerdere individuen.
• Niveau 3: Geschiktheidsbeoordeling (Q9): Beslissen of het delen gepast is en een rechtvaardiging bieden.

De evaluatie gebruikt vijf prompt-varianten per vraag om de gevoeligheid voor formulering te meten en hanteert een LLM-als-judge benadering met specifieke prompts voor semantische matching, gedeeltelijke puntentelling en strikte exacte matching.

Belangrijkste Bijdragen

1. Uitbreiding van CI Seeds: De auteurs hebben de transitie van single-subject naar multi-subject seeds geformaliseerd door het PrivacyLens 5-tuple formaat uit te breiden met secundaire subjecten en interdependentie-beschrijvingen.
2. Constructie van IDP-Bench: Een synthetische benchmark van 100 IDP-scenario's die diverse multi-subject datatypen (vergaderverslagen, groepsfoto's, contactlijsten, etc.) bestrijken, verankerd in realistische digitale platforms.
3. Uitgebreide Evaluatie: Een evaluatie op meerdere niveaus van open-source LLM's op het gebied van contextbegrip, co-ownership herkenning en geschiktheidsbeoordeling, waarbij prestaties worden vergeleken over modelgroottes en families.

Resultaten

De evaluatie van acht modellen (variërend van 1.5B tot 72B parameters) leverde de volgende bevindingen op:

• Co-ownership Herkenning (Niveau 2): Modellen presteren hier sterk. Zes van de acht modellen scoorden boven de 90% op Q8, waarbij grotere modellen (bijv. Llama-3.1-70B, Qwen2.5-72B) bijna de plafondprestatie bereikten. Dit suggereert dat modellen betrouwbaar de aanwezigheid van co-ownership kunnen identificeren wanneer ze expliciet worden bevraagd.
• Context Begrip (Niveau 1): De prestaties zijn gemengd en over het algemeen lager.
  • Identificatie van Verzender/Ontvanger: Over het algemeen hoog voor grotere modellen (70–90%), maar kleinere modellen (bijv. Qwen2.5-1.5B) hebben aanzienlijke moeite (38–40%).
  • Identificatie van Primair/Secundair Subject: Dit blijft een aanzienlijke uitdaging. Terwijl identificatie van het primaire subject (Q2) verbetert met schaal, vertoont identificatie van het secundaire subject (Q3) inconsistente schaling; bijvoorbeeld presteerde Qwen2.5-14B beter dan Qwen2.5-72B in sommige judge-configuraties.
  • Informatie-attribuut (Q1): Alle modellen scoorden onder de 76%, wat wijst op moeilijkheden bij het classificeren van het kerndatatype.
• Geschiktheidsbeoordeling (Niveau 3): Prestaties verbeteren met de modelgrootte. De twee grootste Qwen-modellen (32B, 72B) bereikten een nauwkeurigheid van 91–96%, terwijl kleinere modellen (1.5B, 3B, 7B) in de range van 60–71% bleven. Opvallend genoeg bereiken grote modellen vaak de juiste normatieve conclusie (delen is ongepast), zelfs wanneer ze er niet in slagen de specifieke secundaire subjecten of informatie-attributen correct te identificeren die aan die conclusie ten grondslag liggen.
• Prompt-gevoeligheid: Prestaties variëren aanzienlijk tussen prompt-varianten, met name voor IDP-specifieke vragen, wat wijst op een gebrek aan robuustheid in het redeneren over deze scenario's.

Betekenis en Claims

Het artikel beweert dat IDP-Bench een kritieke kloof onthult in de huidige privacy-capaciteiten van LLM's: hoewel modellen kunnen herkennen dat data gezamenlijk eigendom is, worstelen ze met het fijnmaziger redeneren dat nodig is om te identificeren wie er betrokken is en welke specifieke informatie op het spel staat.

De auteurs benadrukken dat:

• Schaal is geen panacee: Hoewel de geschiktheidsbeoordeling verbetert met de modelgrootte, falen kleinere modellen en zelfs sommige grotere modellen er consistent in om de gedetailleerde IDP-parameters (secundaire subjecten) te resolveren die nodig zijn voor robuuste privacybescherming.
• Huidige benchmarks zijn onvoldoende: Bestaande privacy-benchmarks die zich richten op single-subject scenario's falen in het vastleggen van de relationele aard van real-world data, wat kan leiden tot een vals gevoel van veiligheid met betrekking tot de privacy van LLM's.
• Toekomstige Richtingen: Het werk onderstreept de noodzaak van een meer gerichte studie van IDP in LLM-privacyonderzoek, inclusief het uitbreiden van evaluaties naar agentic settings waar modellen acties uitvoeren in plaats van alleen vragen te beantwoorden, en het ontwikkelen van trainingsdoelstellingen die rekening houden met de multi-subject aard van data.

De auteurs blijven bescheiden en merken op dat hun huidige evaluatie gebaseerd is op redenering en nog geen actie-gebaseerde settings bevat waarbij modellen tools gebruiken om privacy-schendende acties uit te voeren, wat zij identificeren als een noodzakelijke toekomstige uitbreiding.