🤖 AI

CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Dit paper introduceert CAMP, een nieuw privacykader voor meerdraads LLM-gesprekken dat de cumulatieve blootstelling van persoonsgegevens over meerdere berichten aanpakt door een sessiegebaseerde registratie en retroactieve masking te gebruiken om heridentificatie te voorkomen terwijl de conversatie nut behouden blijft.

Oorspronkelijke auteurs: Aman Panjwani

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aman Panjwani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting van het onderzoek: CAMP – De Wacht die de Geheime Code Bewaakt

Stel je voor dat je met een zeer slimme, maar nieuwsgierige robot praat. Deze robot helpt je met van alles: van het regelen van je verzekering tot het vinden van een nieuwe baan. Het probleem is dat deze robot elke keer als je iets zegt, ook alles wat je eerder hebt gezegd onthoudt en meeneemt naar de volgende vraag.

Dit klinkt handig, maar het is gevaarlijk voor je privacy.

Het Probleem: De "Puzzel" van je Privacy

Stel je voor dat je in één gesprek met de robot zegt:

"Mijn naam is Jan." (Niet zo erg, dat is normaal.)
"Ik werk bij de bank in Utrecht." (Ook nog oké.)
"Ik verdien 45.000 euro per jaar." (Iets privaat, maar nog niet alles.)
"Ik heb een zeldzame ziekte."

Als je dit in één zin zegt, zou een slimme privacy-beschermer (zoals de huidige systemen) direct roepen: "Stop! Te veel informatie!" en alles blokkeren.

Maar omdat je dit over vier verschillende gesprekken verspreidt, denken de huidige systemen: "Oh, dat is niet zo erg. In zin 1 staat alleen een naam, in zin 2 alleen een stad." Ze blokkeren niets.

Het gevaar zit hem in de combinatie. Als de robot al die losse stukjes bij elkaar zet, heeft hij een compleet profiel van jou: Jan uit Utrecht, werkt bij de bank, verdient 45k en heeft een zeldzame ziekte. Iedereen die deze puzzel ziet, weet precies wie je bent. Dit noemen de onderzoekers Cumulative PII Exposure (De stapeling van privacy-risico's).

De Oplossing: CAMP (De Slimme Wachter)

De onderzoekers hebben een nieuwe tool bedacht, genaamd CAMP. Denk aan CAMP als een slimme tussenpersoon of een poortwachter tussen jou en de robot.

Hoe werkt CAMP?

De Dagboekhouder: CAMP houdt een geheugen bij van alles wat je in het gesprek hebt gezegd. Het kijkt niet alleen naar wat je nu zegt, maar ook naar wat je vorige week (of vorige minuut) hebt gezegd.
De Risico-Rekenmachine: CAMP berekent voortdurend een "risicoscore".
- Als je alleen je naam noemt: lage score.
- Als je naam + stad + werk + inkomen combineert: de score schiet omhoog, alsof een alarm begint te piepen.
De Vermomming (Pseudonimisering): Zodra de score te hoog wordt (bijvoorbeeld omdat je te veel losse puzzelstukjes hebt gegeven), grijpt CAMP in.
- Het neemt alles wat je tot nu toe hebt gezegd en schrijft het opnieuw.
- Je naam "Jan" wordt "Piet".
- "Utrecht" wordt "Rotterdam".
- "Bank" wordt "Supermarkt".
- Belangrijk: De robot ziet alleen deze vermomde namen. Hij denkt dat hij met "Piet" praat.
De Ontmaskering: Als de robot een antwoord geeft (bijvoorbeeld: "Piet, je kunt beter een andere verzekering nemen"), pakt CAMP het antwoord terug, vervangt "Piet" weer door "Jan" en geeft het aan jou.
- Jij ziet een perfect antwoord over jou.
- De robot heeft nooit geweten wie je echt was.

Waarom is dit zo slim?

Vroeger dachten we dat privacy beschermen betekent: "Zorg dat je geen gevoelige woorden in één zin gebruikt."
CAMP zegt: "Nee, het gaat erom wat er gebeurt als je die woorden over tijd bij elkaar zet."

Het is alsof je een huis beveiligt.

Oude methode: Je sluit de voordeur als je een dief ziet. Maar als de dief via het raam, de achterdeur en de schoorsteen binnenkomt, weet je het pas als hij al binnen is.
CAMP-methode: Je hebt een slimme bewaker die ziet dat iemand niet bij de voordeur staat, maar wel een raam openzet, een sleutel in de brievenbus doet en een ladder meeneemt. De bewaker zegt: "Hé, deze combinatie is verdacht!" en blokkeert de toegang voordat de dief binnenkomt, door de hele situatie te veranderen (vermomming).

Conclusie

Dit onderzoek laat zien dat we in de wereld van AI-gesprekken niet meer alleen naar één zin kunnen kijken. We moeten kijken naar het gehele gesprek. CAMP is de eerste tool die dit doet: het houdt rekening met de stapeling van informatie, vermomt je identiteit als het te gevaarlijk wordt, en zorgt dat jij toch een perfect gesprek blijft hebben, zonder dat de robot ooit weet wie je echt bent.

Het is een nieuwe manier om te praten met robots: veilig, slim en zonder dat je je blootgeeft.

Probleemstelling: Cumulatieve PII-Exposure (CPE)

De huidige methoden voor het beschermen van Persoonlijk Identificeerbare Informatie (PII) in Large Language Models (LLM's) werken voornamelijk op per-bericht-basis (stateless). Tools zoals Microsoft Presidio scannen elk gebruikersbericht afzonderlijk en maskeren directe identificeerders (zoals namen of e-mailadressen) voordat het bericht naar het model wordt gestuurd.

Het paper identificeert een fundamenteel tekortkoming in deze aanpak voor multi-turn conversaties (gesprekken met meerdere beurten):

Cumulatief Risico: Een gebruiker kan in verschillende beurten verschillende, ogenschijnlijk onschadelijke informatie delen (bijv. in beurt 2 de naam, in beurt 4 de stad, in beurt 6 de werkgever). Geen enkel individueel bericht bevat voldoende informatie om een masker te activeren.
Re-identificatie: Wanneer deze fragmenten echter worden samengevoegd in de volledige conversatiegeschiedenis die naar het LLM wordt doorgestuurd, ontstaat er een compleet, re-identificeerbaar profiel.
De "Mosaic Effect": Dit fenomeen, genaamd Cumulative PII Exposure (CPE), betekent dat het privacyrisico niet additief is, maar combinatorisch. De combinatie van quasi-identifiers (zoals locatie + salaris + beroep) creëert een risico dat groter is dan de som der delen. Bestaande stateless systemen kunnen dit niet detecteren of voorkomen.

Methodologie: Het CAMP Framework

De auteurs stellen CAMP (Cumulative Agentic Masking and Pruning) voor, een middleware-laag die tussen de gebruiker en de externe LLM-operatie fungeert. CAMP is stateful en houdt toezicht op de hele sessie. De architectuur bestaat uit vijf kerncomponenten:

Per-Turn PII Extractor:
- Gebruikt Named Entity Recognition (NER) en patroonherkenning (gebaseerd op Microsoft Presidio) om PII in elk individueel bericht lokaal te detecteren.
- Er wordt geen data naar externe diensten gestuurd tijdens dit stadium.
Session Registry (Sessie-register):
- Een stateful database die alle gedetecteerde PII-entiteiten over de hele conversatiegeschiedenis bijhoudt.
- Dit is het onderscheidende element ten opzichte van bestaande systemen: het onthoudt wat er eerder is gezegd.
Co-occurrence Graph (Co-voorkomensgrafiek):
- Modelleert het risico van combinaties. Knopen vertegenwoordigen PII-entiteitstypen (bijv. "Locatie", "Salaris").
- Een rand (edge) wordt toegevoegd wanneer twee entiteitstypen in dezelfde sessie voorkomen.
- Een combinatieversterker ( $f(v)$ ) verhoogt het gewicht van een entiteit als deze verbonden is met andere entiteiten, omdat de combinatie het re-identificatierisico vergroot.
CPE Score en Drempelwaarde:
- Na elke beurt wordt de Cumulative PII Exposure (CPE) score berekend als de som van de versterkte gewichten van alle gedetecteerde entiteiten.
- Als de score een configureerbare drempelwaarde ( $\tau$ ) overschrijdt, wordt er ingegrepen.
Retroactieve Pseudonymisatie en De-masking:
- Actie: Zodra de drempel wordt overschreden, wordt de hele conversatiegeschiedenis retroactief herschreven. Echte PII-waarden worden vervangen door consistente synthetische waarden (bijv. een andere naam of stad) gegenereerd door de Faker-library.
- Consistentie: Dezelfde echte waarde wordt altijd vervangen door dezelfde synthetische waarde binnen een sessie, zodat de logica van het gesprek behouden blijft.
- De-masking: Wanneer het LLM antwoordt, scant een laag de respons voor synthetische waarden en vervangt deze terug door de originele waarden voordat het antwoord aan de gebruiker wordt getoond. De externe LLM verwerkt dus nooit echte PII.
Hard Block Rules:
- Zeer gevoelige data (zoals SSN, creditcardnummers) wordt direct geblokkeerd en vervangen door placeholders, ongeacht de CPE-score.

Kernbijdragen

Formalisatie van CPE: De eerste formele definitie van Cumulative PII Exposure als een sessie-gebaseerde privacyrisicometriek voor multi-turn LLM's.
Combinatorisch Risicomodel: Introductie van een co-voorkomensgrafiek die het risico van de samenwerking tussen entiteiten kwantificeert, in plaats van alleen de gevoeligheid van individuele entiteiten.
Retroactieve Interventie: Een nieuw mechanisme dat de geschiedenis herschrijft zodra het cumulatieve risico te hoog wordt, een functionaliteit die ontbreekt in bestaande per-bericht-systemen.
Volledige Privacy-Utility Cyclus: Een systeem dat de privacy van de gebruiker garandeert (de LLM ziet geen echte data) zonder de bruikbaarheid van het gesprek te verminderen (de gebruiker ziet zijn eigen echte data in het antwoord).

Resultaten

De auteurs evalueerden CAMP op vier synthetische scenario's: Gezondheidszorg, HR/Werving, Financiën en Algemene Conversatie.

Vergelijking met Baseline: Een standaard per-bericht masker (Presidio) liet in alle scenario's tussen de 3 en 6 verschillende PII-entiteitstypen naar de externe LLM lekken, waardoor re-identificatie mogelijk was.
Effectiviteit van CAMP: CAMP reduceerde de blootstelling van echte PII aan de externe LLM naar nul in alle scenario's.
Interventiepunten: CAMP detecteerde het cumulatieve risico en activeerde pseudonymisatie op het juiste moment (bijv. beurt 2 in financiële scenario's door snelle accumulatie van gevoelige data, of beurt 5 in algemene gesprekken).
Behoud van Bruikbaarheid: De LLM produceerde coherente antwoorden op de gesynthetiseerde data. De de-masking laag herstelde de originele identiteiten perfect, zodat de gebruiker geen merkbare verslechtering in de kwaliteit van het gesprek ervoer.
Drempelgevoeligheid: De parameter $\tau$ (drempelwaarde) laat zien dat er een afweging is tussen privacy en bruikbaarheid. Lagere drempels leiden tot vroeger ingrijpen (meer privacy, minder context), terwijl hogere drempels meer context toestaan maar later ingrijpen.

Significantie

Dit paper is significant omdat het een nieuwe klasse van privacykwetsbaarheden in agente AI-systemen blootlegt die door bestaande tools worden genegeerd.

Paradigmaverschuiving: Het beweert dat privacybescherming in multi-turn conversaties niet statisch (per bericht) kan zijn, maar dynamisch en contextafhankelijk moet zijn.
Architecturale Innovatie: CAMP introduceert een stateful middleware die de "mosaic effect" actief beheert, wat essentieel is voor de veilige implementatie van complexe AI-assistenten in sectoren zoals zorg en financiën.
Toekomstperspectief: Het werk legt de basis voor verdere onderzoeken naar adaptieve drempels, het detecteren van impliciete PII via lokale inferentie, en de integratie van differentiaalprivacy in conversatie-AI.

Kortom, CAMP biedt een oplossing voor het fundamentele probleem dat individuele onschadelijke informatie, wanneer samengevoegd in een gesprek, een ernstig privacyrisico vormt dat alleen kan worden opgelost door een sessie-bewust, retroactief beschermingsmechanisme.