AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows

AgentSCOPE introduceert een nieuw benchmark en het Privacy Flow Graph-framework om privacyrisico's in agente workflows te evalueren, waarbij wordt aangetoond dat traditionele evaluaties van alleen input en output het risico aanzienlijk onderschatten omdat meer dan 80% van de scenario's privacy-schendingen bevat op tussenliggende stappen, met name bij tool-antwoorden.

De kern

Stel je voor dat je een zeer slimme, digitale assistent hebt die al je e-mails, agenda en bestanden mag lezen om je taken te doen. Je vraagt hem: "Stuur een mailtje naar mijn baas dat ik ziek ben."

Op het eerste gezicht lijkt dit geen probleem. De assistent doet wat je vraagt, en de mail die hij verstuurt, ziet er prima uit. Maar dit paper, AgentSCOPE, waarschuwt ons voor een groot gevaar dat we over het hoofd zien: de reis is net zo belangrijk als de bestemming.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Onzichtbare Tussenstop

Vroeger keken we alleen naar wat de assistent aan het einde produceerde. Was de mail netjes? Ja? Dan was alles goed.

Maar dit papier zegt: "Wacht even, wat gebeurt er onderweg?"

Stel je de assistent voor als een koerier die een pakketje voor je moet bezorgen.

• De oude manier: Je kijkt alleen of het pakketje heel aankomt bij de ontvanger.
• De nieuwe manier (AgentSCOPE): We kijken ook naar wat de koerier doet terwijl hij onderweg is.
  • Rukt hij bij een postkantoor (een tool) langs om alle brieven van je adres te bekijken, ook die van je buren?
  • Leest hij je dagboek (je agenda) om te zien of je een afspraak hebt, maar ziet hij per ongeluk ook een afspraak bij de vruchtbaarheidskliniek?
  • Zegt hij tegen de ontvanger: "Ik heb je mailtje bezorgd, maar ik zag ook dat je morgen naar de dokter gaat voor IVF, moet ik dat ook vertellen?"

Zelfs als de koerier het pakketje (de mail) netjes bezorgt, heeft hij misschien al je geheimen gelezen of doorgegeven aan mensen die dat niet mochten weten. Dat is wat dit paper "contextuele integriteit" noemt: Is de informatie op het juiste moment, bij de juiste persoon, en voor de juiste reden?

2. De Oplossing: De "Privacy-Flow Graph" (De Privacy-Routekaart)

Om dit te meten, hebben de onderzoekers een nieuw hulpmiddel bedacht: de Privacy Flow Graph.

Stel je dit voor als een detaillerend GPS-spoor van de koerier.

• In plaats van alleen te kijken waar hij begint en eindigt, tekenen we elke stap die hij zet.
• Elke stap wordt gecontroleerd: "Mag deze koerier nu deze specifieke brief lezen?"
• Als de koerier een brief leest die hij niet nodig had (bijvoorbeeld je medische gegevens terwijl hij alleen je werkadres nodig had), dan is dat een schending, zelfs als hij die brief nooit aan de ontvanger laat zien.

Dit maakt het onzichtbare zichtbaar. Het laat zien waar de privacy precies "lekt" tijdens het proces, niet pas aan het einde.

3. Het Experiment: AgentSCOPE

De onderzoekers hebben een testomgeving gebouwd genaamd AgentSCOPE.

• Ze hebben een fictief persoon bedacht, Emma, met een digitale assistent.
• Ze hebben 62 verschillende situaties bedacht (zoals: "Regel mijn verlof" of "Stuur mijn salarisstrook naar de belastingdienst").
• Ze hebben Emma's e-mails en agenda volgepropt met gevoelige informatie (zoals medische diagnoses of geheime afspraken).
• Vervolgens lieten ze zeven van de slimste AI-assistenten (zoals die van OpenAI en Anthropic) deze taken doen.

4. De Schokkende Resultaten

Wat vonden ze? Het is een beetje als een huis dat lijkt op een slot, maar waar de ramen openstaan.

• De schijnbare veiligheid: Als je alleen kijkt naar het eindresultaat (de mail die Emma's baas kreeg), zag het er bij veel AI's redelijk veilig uit. Slechts ongeveer 24% van de mails had een duidelijk privacyprobleem.
• De harde realiteit: Toen ze de hele reis (de Privacy Flow Graph) bekeken, bleek dat 80% tot 94% van de taken privacyfouten bevatte!

Waarom?
De meeste fouten gebeurden niet aan het einde, maar halverwege:

1. De "Over-reaktie" van de tools: De AI vroeg een tool (zoals een agenda-app) om "alle afspraken". De tool gaf alles terug, inclusief gevoelige medische afspraken. De AI had alleen de tijden nodig, maar kreeg de hele waarheid.
2. De "Over-vraag": De AI vroeg soms dingen die niet nodig waren.
3. De "Over-gebruik": Soms gaf de AI die gevoelige data door aan iemand die het niet nodig had, zelfs als het eindresultaat er netjes uitzag.

Een van de slimste AI's (GPT-4o-mini) was heel goed in het doen van de taak (79% succes), maar had ook de meeste privacyfouten (40% lekkage). Dit betekent: Hoe harder de AI probeert om je te helpen, hoe meer ze soms in je privacy kruipt.

5. De Conclusie: Kijk verder dan de voordeur

De belangrijkste boodschap van dit papier is simpel: Je kunt privacy niet alleen testen aan de uitgang.

Als je een huis wilt beschermen, kijk je niet alleen of de deur op slot zit. Je moet ook kijken of de ramen openstaan, of de buren niet door je raam kunnen kijken, en of de postbode niet alle brieven van je buurman meeneemt.

Voor AI-assistenten betekent dit:

• We moeten stoppen met alleen kijken naar het eindantwoord.
• We moeten elke stap in het proces controleren.
• We moeten zorgen dat AI's alleen de data zien en gebruiken die ze echt nodig hebben, en niet alles wat ze kunnen vinden.

Kortom: Privacy is een reis, geen bestemming. En tot nu toe maken onze slimme robots veel te veel fouten tijdens die reis.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows" in het Nederlands.

Titel: AgentSCOPE: Evaluatie van Contextuele Privacy in Agente Werkstromen

1. Het Probleem

Agente AI-systemen evolueren van passieve tekstgeneratoren naar autonome actoren die namens gebruikers handelen (bijv. toegang tot e-mail, agenda's en bestanden). Hoewel privacy-evaluatie voor deze systemen zich tot nu toe voornamelijk heeft gericht op de input- en outputgrenzen, overslaat dit een kritiek aspect: de intermediere informatieflows binnen de werkstroom.

Elke taak doorloopt meerdere stadia: van gebruikersinstructie naar agentvragen, tool-responses, en uiteindelijk de output. Het paper stelt dat privacynormen op elk van deze grenzen kunnen worden geschonden. Bestaande benchmarks (zoals SWE-bench of PrivacyLens) evalueren vaak alleen de uiteindelijke output of de taaksucces. Hierdoor blijven schendingen die optreden tijdens het ophalen van data of het verwerken van tool-responses onopgemerkt, zelfs als het eindresultaat ogenschijnlijk veilig lijkt. Dit leidt tot een ernstige onderschatting van het privacyrisico.

2. Methodologie

Om dit probleem aan te pakken, introduceren de auteurs een nieuwe framework en een benchmark:

A. Privacy Flow Graph (PFG)
De PFG is een raamwerk dat is gebaseerd op Contextual Integrity (CI) (Nissenbaum, 2009). Het modelleert een agente workflow als een reeks expliciete informatietransfers tussen vier actoren: de gebruiker, de agent, externe tools en downstream-ontvangers.

• Structuur: Elke overdracht (edge) in de grafiek wordt geannoteerd met de vijf CI-parameters: zender, ontvanger, onderwerp, datatype en transmissieprincipe.
• Analyse: Het systeem onderscheidt tussen essentiële informatie (strikt noodzakelijk voor de taak) en niet-essentiële gevoelige informatie (extra persoonlijke data die onnodig wordt opgehaald of doorgegeven).
• Doel: De PFG maakt het mogelijk om schendingen terug te traceren naar hun oorsprong (bijv. een te brede tool-query of een tool die te veel data retourneert), zelfs als deze data niet in de finale output terechtkomt.

B. AgentSCOPE Benchmark
AgentSCOPE is een benchmark bestaande uit 62 multi-stap scenario's rondom een fictieve gebruiker ("Emma") en haar agente assistent.

• Omgeving: De agent heeft toegang tot e-mail, agenda, contacten en bestanden.
• Domeinen: De scenario's zijn gebaseerd op privacynormen uit acht regulatoire domeinen (o.a. medisch, financieel, juridisch, voortplantingsgezondheid).
• Ground Truth: Voor elk scenario is er "ground truth" gedefinieerd op elk stadium van de pijplijn (instructie, query, response, output), wat aangeeft welke data geschikt is en wat een schending vormt.
• Executie: De agent voert de taken live uit in een gecontroleerde omgeving, waarna de PFG wordt geconstrueerd op basis van de daadwerkelijke interacties.

C. Evaluatiemethoden
De auteurs evalueren zeven state-of-the-art LLM-modellen (van OpenAI en Anthropic) met twee methoden:

1. Keyword-matching: Een baseline die zoekt naar specifieke gevoelige trefwoorden.
2. LLM-as-a-Judge: Een geavanceerde evaluator die elke informatieflow beoordeelt op basis van de CI-parameters en de contextuele ground truth. Dit is nauwkeuriger omdat het rekening houdt met contextuele nuances die keyword-matching mist.

Gedefinieerde Metrieken:

• Task Success Rate (TSR): Percentage succesvol voltooide taken.
• Leak Rate (LR): Schendingen zichtbaar in de finale output.
• Pipeline Violation Rate (PVR): Schendingen in de totale pijplijn (inclusief tussenstappen).
• Violation Origin Rate (VOR): Hoe vaak een output-schending terug te leiden is naar een eerdere schending.

3. Belangrijkste Resultaten

De evaluatie van zeven modellen (o.a. GPT-4o, Claude Sonnet) levert de volgende bevindingen op:

• Onderschatting van risico: Als privacy alleen op output-niveau wordt gemeten (LR), lijken de schendingen beperkt (24% - 40%). Echter, wanneer de volledige pijplijn wordt geëvalueerd (PVR), stijgt het percentage schendingen dramatisch naar 82% - 94%. Dit betekent dat in bijna elk scenario minstens één privacynorm wordt geschonden tijdens de uitvoering, zelfs als het eindantwoord schoon is.
• Locatie van schendingen: De meeste schendingen vinden plaats in de response-fase (waar tools onnodig gevoelige data teruggeven) en de instructie-fase (waar gebruikers te veel informatie delen). Schendingen in de output-fase zelf zijn relatief minder vaak de oorzaak van het probleem; het risico zit hem in de data-acquisitie.
• Trade-off: Er is een duidelijke spanning tussen taakprestatie en privacy. Het model met de hoogste taak-succesratio (GPT-4o-mini, 79%) had ook de hoogste leak-rate (40%).
• Evaluatiemethode: De LLM-based judge detecteert aanzienlijk meer schendingen dan keyword-matching (bijv. bij GPT-4.1: 61% vs 92%). Dit bevestigt dat contextuele beoordeling essentieel is.

4. Bijdragen

1. Conceptueel Kader: De introductie van de Privacy Flow Graph, die privacy-evaluatie uitbreidt van een enkel punt (output) naar een volledig traceerbaar proces van informatiestromen.
2. Benchmark: AgentSCOPE, de eerste benchmark met ground truth op elk stadium van de agent-pijplijn, specifiek ontworpen om contextuele integriteit te testen.
3. Empirisch Bewijs: Het aantonen dat bestaande evaluatiemethoden privacyrisico's in agente systemen ernstig onderschatten en dat de meeste risico's "upstream" (bij de bron of tool-responses) ontstaan.

5. Significatie en Conclusie

Het paper concludeert dat privacy-evaluatie voor agente systemen niet kan stoppen bij de output. De huidige generatie AI-systemen schendt privacynormen frequent tijdens de tussenstappen, wat leidt tot onbedoelde blootstelling van gevoelige data.

De Privacy Flow Graph biedt een gestructureerde manier om deze schendingen te traceren en toe te schrijven aan hun oorsprong. Dit stelt ontwikkelaars en regelgevers in staat om te bepalen of privacy door design is gewaarborgd of slechts per ongeluk. Naarmate agente systemen meer toegang krijgen tot persoonlijke data, moet pijplijn-niveau privacy-evaluatie de standaard worden, in plaats van een nagedachte. De auteurs plannen verdere uitbreidingen, waaronder online implementatie voor real-time ingrijpen.