On the Suitability of LLM-Driven Agents for Dark Pattern Audits

Deze studie evalueert de haalbaarheid en beperkingen van door LLM-aangedreven agenten voor het schalen van audits van donkere patronen op 456 websites van databemiddelaars, met name in de context van het uitoefenen van CCPA-rechten.

De kern

Stel je voor dat je een digitale superheld hebt die de hele internetwereld kan verkennen. Deze superheld is een kunstmatige intelligentie (een "LLM-agent") die niet alleen kan lezen, maar ook echt kan klikken, scrollen en formulieren invullen, net als een mens.

De vraag die de onderzoekers van dit paper zich stellen, is heel simpel: Kan deze digitale superheld ons helpen om "donkere trucs" op websites op te sporen?

Wat zijn "donkere trucs" (Dark Patterns)?

Stel je voor dat je in een supermarkt loopt om een product te kopen, maar de winkel is zo ontworpen dat je per ongeluk duurdere producten koopt of dat je abonneert op iets waar je niets mee wilt. De winkelmanager heeft de paden zo gelegd dat het moeilijk is om "nee" te zeggen en makkelijk om "ja" te zeggen.

Op internet noemen we dit donkere trucs. Bijvoorbeeld:

• Een knop voor "Afmelden" is bijna onzichtbaar en grijs, terwijl "Aanmelden" fel rood en groot is.
• Je moet tien keer op "Volgende" klikken voordat je eindelijk kunt zeggen: "Ik wil mijn gegevens niet verkopen."
• Er staat een tekst die zegt "Klik hier voor je privacy", maar als je klikt, kom je op een pagina waar je juist je gegevens moet delen.

Het Experiment: De Digitale Agent als Inspecteur

De onderzoekers wilden weten of hun digitale superheld deze trucs kan vinden, zonder dat er een menselijke inspecteur nodig is. Ze gebruikten een heel specifiek doelwit: websites van databrokers (bedrijven die je persoonlijke data verkopen) in Californië.

Volgens de wet (CCPA) mag je deze bedrijven vragen: "Geef me al mijn data" of "Verwijder mijn data". Maar vaak maken ze het zo moeilijk dat je het maar beter niet doet.

Hoe deden ze dit?

1. De Menselijke Referentie: Eerst liepen echte mensen (de onderzoekers) door de websites van 100 bedrijven. Ze noteerden precies welke trucs ze zagen. Dit was hun "antwoordenboek".
2. De Digitale Agent: Vervolgens lieten ze hun AI-agent dezelfde websites bezoeken. De agent moest proberen hetzelfde te doen: de weg vinden naar het formulier om je data op te vragen.
3. De Vergelijking: Ze keken of de agent dezelfde trucs zag als de mensen.

Wat leerden ze? (De Resultaten)

1. De agent is slim, maar niet perfect
De agent kon ongeveer 80% van de websites succesvol doorlopen. Dat is best goed! Hij kon de trucs vinden die direct zichtbaar waren, zoals "Er zijn te veel stappen nodig" of "De knop is heel klein".

• Analogie: Het is alsof de agent een zeer scherpe camera heeft. Als een bordje "Verboden" duidelijk op de grond ligt, ziet hij het direct.

2. De agent raakt verdwaald in labyrinten
Bij websites die erg verwarrend waren (waar je door 10 verschillende pagina's moet om iets te vinden), raakte de agent soms de weg kwijt.

• Analogie: Stel je voor dat je in een enorm labyrint loopt waar de muren veranderen. De agent loopt soms tegen een muur aan en denkt: "Oké, ik ben hier klaar," terwijl er eigenlijk nog een deur was die hij niet zag.

3. De agent kan niet altijd "lezen tussen de regels"
Soms is een truc niet direct zichtbaar, maar zit hij in de context. Bijvoorbeeld: "Ze zeggen dat je je ID moet sturen voor veiligheid, maar eigenlijk is dat alleen om je af te schrikken." De agent zag dat je een ID moest sturen, maar had moeite om te beslissen: "Is dit nodig voor veiligheid, of is dit een truc?"

• Analogie: De agent ziet dat iemand een zware tas draagt. Hij weet niet of die persoon hard werkt of dat de tas vol zit met stenen die hij niet nodig heeft.

4. De agent wordt geblokkeerd
Veel websites hebben beveiliging (zoals CAPTCHA's: "klik op alle verkeerslichten"). De agent kon deze beveiliging niet doorbreken.

• Analogie: De agent komt bij een poort met een bewaker die vraagt om een paspoort. De agent heeft geen paspoort, dus de bewaker laat hem niet binnen. De agent kan de trucs in het huis dus niet zien.

De Grote Les

De onderzoekers concluderen dat deze digitale agenten geweldige hulpmiddelen zijn om websites in grote aantallen te controleren. Ze kunnen snel duizenden websites scannen en zeggen: "Hier zit iets raars!"

Maar ze zijn nog niet klaar om de hele baan over te nemen.

• Ze hebben nog steeds menselijke hulp nodig om de moeilijke, verwarrende gevallen te beoordelen.
• Ze kunnen niet door elke beveiligingsmuur heen.
• Ze moeten nog leren om beter te kijken naar de "geheime" trucs die je pas ziet als je de hele route hebt afgelegd.

Kortom: De digitale agent is als een super-efficiënte stagiair. Hij doet het zware werk, vindt de duidelijke fouten en bespaart ons veel tijd. Maar voor de lastige oordelen en de moeilijkste gevallen, moeten we nog even zelf de handen uit de mouwen steken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "On the Suitability of LLM-Driven Agents for Dark Pattern Audits" in het Nederlands.

Probleemstelling

Donkere patronen (dark patterns) zijn interface-ontwerpen die gebruikersmanipulatie, misleiding of dwang bevorderen, waardoor hun besluitvorming wordt ondermijnd. Hoewel deze patronen uitgebreid zijn gedocumenteerd, blijft het auditen ervan grotendeels een handmatig proces dat moeilijk te schalen is. Bestaande automatiseringstechnieken vertrouwen vaak op statische analyses (zoals screenshots of HTML-crawling), wat ontoereikend is voor dynamische, multi-stap workflows zoals die voorkomen bij het uitoefenen van wettelijke rechten (bijvoorbeeld onder de California Consumer Privacy Act of CCPA).

De centrale onderzoeksvraag is of LLM-gedreven agenten (Large Language Model agents) betrouwbaar kunnen worden ingezet om deze complexe, interactieve workflows te navigeren en donkere patronen te identificeren, te classificeren en te onderbouwen met bewijs, zonder menselijke tussenkomst.

Methodologie

De auteurs hebben een empirische studie ontworpen met drie fasen, waarbij ze zich focussen op de "Right-to-Access" (recht op inzage) portals van 456 data-brokers die onder de CCPA vallen.

1. Fase 1: Ground Truth Constructie (Menselijke Annotatie)

   • Een menselijke annotator heeft handmatig de workflows van 100 willekeurig geselecteerde data-brokers doorlopen.
   • Er is een gestandaardiseerd interactieprotocol gevolgd om donkere patronen te identificeren op basis van een bestaande taxonomie (Gray et al.).
   • Er zijn twee criteria gehanteerd: een "redelijke verwachtingstest" (violen de interface duidelijke verwachtingen?) en een "schade-mechanisme mapping" (hoe wordt de gebruiker gehinderd?).
   • Dit resulteerde in een dataset van 100 handmatig geannoteerde workflows met 8 veelvoorkomende categorieën van donkere patronen.

2. Fase 2: Agent Ontwerp en Evaluatie (Ablatie-studie)

   • Een LLM-gedreven browser-agent (gebaseerd op het browser-use framework en GPT-5) werd ontwikkeld om dezelfde workflows te navigeren.
   • De agent verzamelt gestructureerd bewijs (screenshots, DOM-structuur, navigatiepaden) en classificeert patronen.
   • Een gecontroleerde prompt-ablatie studie werd uitgevoerd om de beste configuratie te bepalen:
     • Level 1: Zero-shot (basis instructies).
     • Level 2: Zero-shot + Rol (de agent als auditor).
     • Level 3: Few-shot + Rol (voorbeelden uit de ground truth).
     • Level 4: Few-shot + Rol + Chain-of-Thought (CoT) (stap-voor-stap redenering).
   • Prestaties werden gemeten op classificatie-accuraatheid, precisie, recall en de kwaliteit van de uitleg (explanation accuracy).

3. Fase 3: Schaalbare Deploy

   • De beste configuratie (Level 4) werd ingezet op de overige 356 data-brokers om de prevalentie van donkere patronen in het wild te schatten en de robuustheid van de agent te testen.

Belangrijkste Bijdragen

• Conceptueel Kader: Definieert "interaction-level dark pattern auditing" als een dynamisch proces dat het navigeren door multi-stap workflows vereist, in plaats van statische analyse.
• Empirische Evaluatie: Biedt de eerste uitgebreide evaluatie van LLM-agenten voor reguliere audits, inclusief een gestructureerde analyse van faalmodi.
• Methodologische Innovatie: Introduceert een gestructureerde verificatieprocedure voor workflow-afwerking en een taxonomie van agent-fouten (bijv. beveiligingsbarrières, navigatiefouten, interactiefouten).
• Dataset: Publiceert een handmatig geannoteerde ground-truth dataset van 100 CCPA-workflows als benchmark voor toekomstig onderzoek.

Resultaten

1. Prestaties van de Agent:

• Configuratie: De combinatie van Few-shot prompting, een gedefinieerde rol en Chain-of-Thought (Level 4) leverde de beste resultaten op.
  • Classificatie-accuraatheid: 86,7%
  • F1-score: 80,7%
  • Uitleg-accuraatheid: 98,5% (de agent kon zijn conclusies zeer goed onderbouwen met bewijs).
• Patroon-specifiek: De agent presteerde uitstekend bij lokaal waarneembare patronen (zoals "Adding Steps" en "Visual Prominence"). Prestaties daalden bij patronen die afhankelijk zijn van context over meerdere stappen (zoals "Privacy Mazes" en "Hidden Info"), voornamelijk door recall-problemen.

2. Workflow Voltooiing en Faalmodi:

• De agent slaagde erin om 81% van de workflows volledig te voltooien.
• De belangrijkste oorzaken van falen waren:
  • Infrastructuur en Beveiliging (52,5% van de mislukkingen): CAPTCHA's, bot-detectie en netwerkinstabiliteit.
  • Interactiecomplexiteit (42,4%): De agent kon dynamische elementen (zoals uitklapbare menu's of multi-pagina formulieren) niet volledig blootleggen of navigeren.
  • Interne instabiliteit (5,1%): Fouten in de interne planning of JSON-output.

3. Prevalentie van Donkere Patronen:

• In de grote schaal-deploy bleek dat "Creating Barriers" (het creëren van onnodige obstakels, zoals het verplichten van biometrie of het downloaden van apps) het meest voorkomende patroon was, aanwezig in ongeveer 50% van de voltooide workflows.
• Patronen gebaseerd op ambiguïteit en fragmentatie (zoals tegenstrijdige informatie) kwamen voor in 20-35% van de gevallen.

Significantie en Conclusie

Het onderzoek concludeert dat LLM-gedreven agenten haalbaar en veelbelovend zijn voor het schalen van audits van donkere patronen, maar dat ze niet volledig autonoom kunnen functioneren zonder menselijk toezicht.

• Sterke Punten: De agent kan complexe workflows navigeren, bewijs verzamelen en zeer accurate uitleg geven, vooral wanneer deze wordt ondersteund doorFew-shot voorbeelden en Chain-of-Thought redenering.
• Beperkingen: De betrouwbaarheid wordt beperkt door externe factoren (beveiligingsbarrières zoals CAPTCHA's) en de complexiteit van dynamische webinterfaces die context over lange trajecten vereisen.
• Aanbeveling: LLM-agenten moeten worden ingezet als schalbare "triage"-tools. Ze kunnen workflows autonoom doorlopen en potentiële overtredingen markeren met gestructureerd bewijs, waarna menselijke auditors de grenzgevallen (borderline cases) en interpretatieve oordelen kunnen beoordelen.

De studie biedt een fundamentele basis voor het ontwikkelen van toekomstige systemen voor reguliere audits, waarbij de nadruk ligt op het overbruggen van de kloof tussen statische detectie en dynamische, interactieve evaluatie.