AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents

Dit paper introduceert AudAgent, een tool die AI-agenten in real-time monitort en hun privacybeleid naleving garandeert door beleidsformalisatie, runtime-data-analyse en automatische compliantiecontrole, waardoor privacyovertredingen worden gedetecteerd en proactief worden geblokkeerd.

De kern

Stel je voor dat je een super-assistent hebt die alles voor je kan doen: e-mails schrijven, reizen boeken, en gegevens zoeken. Maar er is een probleem: deze assistent is zo'n beetje een "zwarte doos". Je vertelt hem wat hij moet doen, maar je ziet niet precies wat hij doet met je privé-informatie terwijl hij werkt. Hij zou je e-mailadres kunnen sturen naar een vreemde website of je telefoonnummer kunnen bewaren, terwijl je privacybeleid zegt dat hij dat niet mag.

Dit artikel introduceert AudAgent, een slim hulpmiddel dat fungeert als een onvermoeibare, digitale privacy-beschermer voor je AI-assistent.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Vertalen van de "Juridische Talen" (De Regels)

AI-bedrijven schrijven hun privacyregels in lange, saaie juridische teksten. Een computer snapt die niet goed.

• De Analogie: Stel je voor dat de privacyregels een recept zijn in een vreemde taal. AudAgent gebruikt een team van vier verschillende "vertalers" (AI-modellen) om dit recept te vertalen naar een simpele, duidelijke lijst met regels.
• De Slimme Truc: Omdat de vertalers soms iets anders begrijpen, laten ze elkaar controleren. Als drie van de vier vertalers zeggen: "Je mag alleen e-mails sturen naar Google", dan is dat de regel. Dit heet stemmen. Zo krijgen ze een zeer betrouwbaar "regelspel" dat de computer wel begrijpt.

2. De Onzichtbare Camera (Het Bewaken)

Nu de regels bekend zijn, moet AudAgent kijken wat de assistent echt doet.

• De Analogie: Stel je voor dat je assistent een chef-kok is in een keuken. AudAgent is de veiligheidsinspecteur die over zijn schouder meekijkt.
• Hoe het werkt: Zodra de chef (de AI) een ingrediënt (jouw data, zoals een e-mailadres of SSN) pakt, kijkt de inspecteur direct: "Waar gaat dit naartoe?"
  • Is het een directe opdracht van jou? (Oké).
  • Is het via een tussenschakel (een derde partij)? (Let op!).
  • Is het nodig voor de taak? (Ja/Nee).
  • Hoe lang wordt het bewaard? (Voor 5 minuten of voor altijd?).

3. De Controlepost (De Check)

De inspecteur vergelijkt wat hij ziet met de vertaalde regels.

• De Analogie: Stel je voor dat de regels een treinnetwerk zijn. De data is een trein. AudAgent heeft een spoorwachter (een automaat) die kijkt of de trein op het juiste spoor rijdt.
• Als de trein (jouw data) probeert een spoor te nemen dat niet in het reglement staat (bijvoorbeeld: "Stuur dit SSN naar een onbekende website"), dan gooit de spoorwachter de brem en stopt de trein direct. De AI mag die actie niet uitvoeren.

4. Het Glazen Raam (Het Zichtbaar Maken)

Tot nu toe was alles onzichtbaar. AudAgent maakt het transparant.

• De Analogie: Stel je voor dat je een live-camera hebt in de keuken van je assistent, die op je scherm te zien is.
• Je ziet een kaartje waar je ziet hoe de data van jou naar de AI, en dan naar andere diensten stroomt.
• Als er iets misgaat (bijvoorbeeld: "Oeps, je e-mailadres wordt nu naar een advertentiebedrijf gestuurd"), flitst het scherm rood en krijg je een waarschuwing. Je ziet precies waar het misgaat, in real-time.

Waarom is dit belangrijk?

De onderzoekers hebben ontdekt dat veel AI-assistenten (zelfs die van grote namen) soms niet doen wat ze in hun privacyregels beloven.

• Voorbeeld: Veel AI's zeggen: "We bewaren geen gevoelige data." Maar als je ze vraagt om je Sociale Zekerheidsnummer (SSN) op te zoeken of op te slaan, doen ze dat toch, omdat ze niet goed zijn getraind om dat te weigeren als er een "vermomde" tool wordt gebruikt.
• De Oplossing: AudAgent is zo slim dat hij niet luistert naar wat de AI zegt, maar kijkt naar wat hij doet. Als de AI probeert je SSN te sturen, blokkeert AudAgent het direct, zelfs als de AI denkt dat het mag.

Samenvatting

AudAgent is als een persoonlijke privacy-detective die 24/7 meekijkt met je AI-assistent. Hij vertaalt de ingewikkelde regels, bewaakt elke stap die de AI zet, en stopt de AI direct als hij iets doet wat niet mag. Hierdoor hoef je niet meer blind te vertrouwen op wat een bedrijf zegt, maar kun je zien wat er echt gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents", vertaald en samengevat in het Nederlands.

Probleemstelling

AI-agenten (aangedreven door Large Language Models of LLM's) kunnen autonoom taken uitvoeren en verzamelen vaak zonder expliciete toestemming gevoelige lokale gebruikersgegevens. Hoewel privacybeleid van deze agenten de beoogde datapraktijken beschrijft, ontbreekt er transparantie en verantwoordingsplicht: er is geen garantie dat het runtime-gedrag van de agent overeenkomt met wat er in het beleid staat. Bestaande beveiligingsmaatregelen richten zich vaak op kwetsbaarheden of kwaadaardige prompts, maar niet op het real-time controleren van naleving van privacybeleid door de eindgebruiker. De uitdagingen zijn:

1. Formalisatie: Privacybeleid is ongestructureerde natuurlijke taal, moeilijk om automatisch om te zetten in een machine-leesbaar model.
2. Beperkte zichtbaarheid: Agenten interageren met lokale en externe diensten (API's, bestandsystemen), wat het moeilijk maakt om datastromen vanuit één perspectief te traceren.
3. Efficiëntie: Auditing moet geautomatiseerd, real-time en met minimale overhead plaatsvinden.
4. Visualisatie: De tool moet platformonafhankelijk zijn en een intuïtieve weergave bieden voor gebruikers.

Methodologie: AudAgent

AudAgent is een geautomatiseerde tool die continu de datapraktijken van AI-agenten in real-time bewaakt en controleert op naleving van hun privacybeleid. De architectuur bestaat uit vier kerncomponenten:

1. Formalisering van Beleid via Cross-LLM Voting

Om natuurlijke taal om te zetten in een formeel model, gebruikt AudAgent geen enkel LLM, maar een meerderheidsstemmechanisme (voting) met meerdere LLM's.

• Proces: Meerdere LLM's analyseren onafhankelijk het privacybeleid en extraheren elementen gebaseerd op een vijf-elementen tuple (verzamelde data, verzamelconditie, verwerkingsdoel, openbaarmakingsvoorwaarde, bewaartermijn).
• Voting: De outputs worden semantisch vergeleken. Elementen die door een meerderheid van de LLM's worden bevestigd, worden opgenomen in het definitieve model.
• Voordeel: Dit verhoogt de nauwkeurigheid en biedt een kwantificeerbaar vertrouwen (confidence score) in het gegenereerde model, wat het risico op hallucinaties of bias van een enkel model verkleint.

2. Model-Gedreven Data Annotatie

Tijdens de uitvoering van de agent wordt data in real-time geanalyseerd.

• Presidio Integratie: Een lichte, lokaal draaiende analyzer (Microsoft Presidio) detecteert gevoelige data (PII) zoals e-mailadressen of SSN's.
• Contextuele Annotatie: AudAgent verrijkt deze detecties met metadata afgeleid van het geformaliseerde beleid en de uitvoeringscontext:
  • Verzamelconditie: Direct (door gebruiker ingevoerd) of Indirect (via tool-interactie).
  • Verwerkingsrelevantie: Relevant voor de taak of Irrelevant (mogelijke over-verzameling).
  • Openbaarmakingsvoorwaarde: Naam van de derde partij (tool/API) waar de data naartoe gaat.
  • Bewaartermijn: Geïnferreerd op basis van tijdstippen van verzameling en hergebruik.

3. Compliance Auditing via Ontologie en Automata

Om de geannoteerde data te vergelijken met het beleid, gebruikt AudAgent twee technieken:

• Ontologie-graaf: Lost granulariteitsproblemen op. Als het beleid spreekt over "contactgegevens" en de runtime-data is een "e-mailadres", koppelt de ontologie deze via een hiërarchische structuur (e-mail is een subtype van contactgegevens).
• Finite State Automata (FSA): Het privacybeleid wordt gecompileerd naar een set van lichtgewicht eindige automaten. Elke automaat traceert de status van een datatype (bijv. verzameld, verwerkt, gedeeld) en controleert of de transities voldoen aan de beleidsvoorwaarden (zoals bewaartermijnen of toegestane derde partijen). Als een automaat in een niet-toestemmende staat vastloopt, wordt een overtreding gemeld.

4. Visualisatie en Blokkering

• Architectuur: Een onafhankelijke laag die HTTP-verkeer tussen de agent, de LLM en tools analyseert.
• Interface: Een web-based interface (via WebSocket) toont de real-time uitvoeringstrace als een gerichte graaf. Overtredingen worden visueel gemarkeerd (bijv. rode randen).
• Actie: De tool kan in een "blocking mode" worden gezet om schadelijke acties (zoals het sturen van gevoelige data naar een niet-toegestane tool) proactief te blokkeren, zelfs als dit ingaat tegen het oorspronkelijke gedrag van de agent.

Belangrijkste Resultaten

De auteurs hebben AudAgent geëvalueerd op agenten gebouwd met frameworks zoals AutoGen, LangChain en MCP, gebruikmakend van LLM's van Anthropic, OpenAI, Google en DeepSeek.

1. Effectiviteit in Detectie: AudAgent slaagt erin om privacybeleidsovertredingen in real-time te detecteren en te visualiseren.
2. Ontdekking van Beleidskloven: De studie toont aan dat veel privacybeleidsdocumenten geen expliciete bescherming bevatten voor uiterst gevoelige data zoals Social Security Numbers (SSN).
3. Gedrag van Agenten: Zelfs agenten die door grote providers worden aangedreven (Claude, Gemini, DeepSeek) weigeren vaak niet om SSN's te verwerken via derde-party tools, tenzij ze specifiek worden gevraagd. Alleen de GPT-4o agent toonde consistente weigering.
4. Proactieve Bescherming: Door ingebouwde regels (bijv. "SSN's mogen niet worden gedeeld") kan AudAgent deze agenten overrulen en de datalekken fysiek blokkeren, zelfs als het beleid van de provider dit niet expliciet verbiedt.
5. Performance: De tool introduceert een minimale overhead (ongeveer 0,29 tot 0,51 seconden per taak), wat acceptabel is voor real-time toepassingen. De voting-mechanisme voor beleidsformalisatie verhoogt het vertrouwen in de resultaten aanzienlijk ten opzichte van het gebruik van een enkel LLM.

Bijdrage en Significantie

• Eerste van zijn soort: AudAgent is de eerste tool die geautomatiseerde auditing van AI-agenten mogelijk maakt tegen hun privacybeleid, specifiek gericht op de eindgebruiker.
• Brug tussen Beleid en Gedrag: Het overbrugt de technische kloof tussen ongestructureerd natuurlijke taalbeleid en chaotische runtime-datastromen door middel van geavanceerde formalisatie en automata.
• Vertrouwen en Verantwoordelijkheid: Het biedt eindgebruikers de middelen om hun privacyvoorkeuren af te dwingen en platformen in staat stelt om hun agents te diagnosticeren op naleving.
• Proactieve Beveiliging: Het verschuift de focus van reactieve beveiliging naar proactieve bescherming door gevoelige data (zoals SSN's) te blokkeren die door bestaande agents en beleidsdocumenten onvoldoende worden beschermd.

Kortom, AudAgent biedt een essentieel instrument voor het waarborgen van privacy in de opkomende wereld van autonome AI-agenten, waarbij het zowel de transparantie voor de gebruiker als de technische controle over datastromen verbetert.