🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

Dit artikel stelt een detectiekader met drie klassen voor dat de beperkingen van binaire mens-tegen-bot-classifiers overwint door AI-agenten te identificeren via minimale, robuuste gedragskenmerken (specifiek mouse_event_rate en teleport_click_ratio) die inherente artefacten van browserautomatisering exploiteren in plaats van redeneerpatronen, waarmee een bijna perfecte detectie-accuratesse wordt bereikt, zelfs onder geavanceerde evasiepogingen.

Oorspronkelijke auteurs: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende stad. Decennialang hadden de beveiligers bij de poorten een heel eenvoudige taak: ze hoefden slechts twee soorten mensen te herkennen. Er waren de Mensen, die met natuurlijke, licht wiebelende stappen rondliepen, stopten om na te denken en soms over hun eigen voeten struikelden. En dan waren er de Bots, die als robots op een strikt schema werkten, in perfect rechte lijnen marcheerden, nooit aarzelden en bewogen met mechanische precisie. De bewakers bouwden hun hele systeem rond deze binaire verdeling van "Mens versus Robot". Als je liep als een mens, kwam je binnen; als je marcheerde als een robot, werd je tegengehouden.

Maar onlangs is er een derde type bezoeker opgedoken: de AI-Agent. Denk aan deze als ongelooflijk slimme, superintelligente toeristen die kaarten kunnen lezen, complexe routes kunnen plannen en puzzels beter kunnen oplossen dan wie dan ook. Echter, zij moeten nog steeds de trottoirs en zebrapaden van de stad gebruiken om rond te komen. Het probleem is dat deze AI-Agents verraderlijk zijn. Ze zijn slim genoeg om zich als mensen te gedragen wanneer dat nodig is, maar ze moeten nog steeds de geautomatiseerde metrosystemen van de stad (browserautomatisering) gebruiken om zich te verplaatsen. De oude beveiligers, getraind om alleen "Mens" of "Robot" te herkennen, raken in de war. Ze laten de AI-Agents door de poort glippen, denkend dat het gewone mensen zijn, omdat de agents te slim zijn om de ouderwetse robots te zijn waar de bewakers op getraind zijn.

Dit is de puzzel die een team van onderzoekers van de Technische Universiteit München en Kontext Security besloten op te lossen. Ze stelden een eenvoudige maar cruciale vraag: Kunnen we het verschil zien tussen een mens, een robot en een slimme AI-agent door simpelweg te kijken naar hoe ze hun muis bewegen en op knoppen klikken? En als dat kan, wat is dan de absolute minimale hoeveelheid informatie die we nodig hebben om dit te doen?

De Grote Identiteitscrisis

De onderzoekers ontdekten dat de oude beveiligingssystemen spectaculair faalden. Toen ze standaard "Mens versus Bot"-detectoren testten op deze nieuwe AI-Agents, waren de resultaten slordig. Een veelvoorkomend type detector (een MLP genoemd) liet 39,1% van de AI-Agents door, waarbij ze dachten dat het mensen waren. Een meer geavanceerde detector (SAINT genoemd) liet zelfs 34,5% door. Een Random Forest-model miste zelfs 30,0% van hen.

Het team realiseerde zich dat dit niet alleen kwam omdat de detectoren "dom" waren. Het was een structureel probleem. De detectoren waren gebouwd met slechts twee vakjes om mensen in te sorteren: "Mens" of "Bot". Wanneer een slimme AI-Agent opdook, paste deze niet netjes in een van de twee vakjes, waardoor de detector simpelweg gokte. De onderzoekers bewezen dat als ze simpelweg een derde vakje met het label "Agent" zouden toevoegen, de detectoren perfect zouden worden en de agents elke keer met 100% nauwkeurigheid zouden vangen.

Het Geheim zit in de "Ghost" Bewegingen

Dus, hoe hebben ze ze gevangen? Het team ontdekte dat de AI-Agents niet werden betrapt vanwege hun "denken" of hun slimme plannen. In plaats daarvan werden ze betrapt door de geesten in de machine.

Stel je voor dat een mens op een toetsenbord typt of een muis beweegt. Hun hand is een fysiek object. Het heeft gewicht, het heeft traagheid, en het maakt kleine, rommelige, trillende bewegingen die een camera of sensor kan waarnemen. Maar wanneer een AI-Agent een browserautomatiseringstool gebruikt (zoals Playwright), beweegt hij geen fysieke hand. Hij stuurt digitale commando's. Het is alsoer een geest op een knop drukt.

De onderzoekers ontdekten dat deze digitale geesten een zeer specifieke, onzichtbare handtekening achterlaten:

Geen Jitter: Wanneer een mens een muis beweegt, wiebelt deze een beetje. Wanneer de AI klikt, verschijnt hij simpelweg bij het doel. Er zijn geen kleine, rommelige bewegingen die aan de klik voorafgaan.
Geen "Wheel" Spins: Als je een webpagina scrolt met een muiswieltje, creëert dat een specifieke stroom aan gegevens. De AI vertelt de pagina gewoon om te scrollen, waarbij het muiswiel volledig wordt overgeslagen.
Instant Clicks: Een mens doet een fractie van een seconde over het indrukken en loslaten van een muisknop. De AI doet dit direct, met nul variatie.

Het team bouwde een "vijftraps evasie-ladder" om te testen of de AI kon verbergen. Ze probeerden alles:

Niveau 1: De AI klikte gewoon normaal.
Niveau 2: De AI probeerde curven te tekenen (zoals een mens) met behulp van wiskundige formules.
Niveau 3: De AI gebruikte een "GAN" (een type AI dat leert menselijke bewegingen te kopiëren) om nep-muispaden te genereren.
Niveau 4: De AI voegde willekeurige "jitter" toe om er menselijker uit te zien.
Niveau 5: De AI speelde opnames af van echte mensen die hun muis bewogen.

Zelfs toen de AI een opname afspeelde van een echte mens die de muis bewoog (Niveau 5), werd hij nog steeds betrapt! Waarom? Omdat hoewel het pad van de muis menselijk leek, de manier waarop de klik gebeurde nog steeds een digitaal commando was. De AI kon niet faken dat hij geen fysieke muis gebruikte of dat hij niet de kleine, natuurlijke trillingen van een menselijke hand had. De "ghost" handtekening was er nog steeds.

De Magische Twee-Kenmerken Set

Het meest opwindende deel van de ontdekking was hoe weinig informatie er eigenlijk nodig was. De onderzoekers testten duizenden verschillende combinaties van kenmerken om de kleinste set te vinden die elke AI-Agent kon vangen.

Ze ontdekten dat je geen supercomplex systeem nodig hebt. Je hebt slechts twee eenvoudige zaken nodig om de AI te spotten:

Mouse Event Rate: Hoe vaak de muis beweegt. (Bewegingen van AI zijn vaak schaars of afwezig vóór een klik).
Click Duration Standard Deviation: Hoeveel de tijd die een klik kost varieert. (AI-klikken zijn perfect consistent; menselijke klikken variëren).

Met slechts deze twee aanwijzingen kon het systeem 100% van de AI-agents identificeren, zelfs wanneer ze probeerden te verbergen met de meest geavanceerde trucjes. Als ze drie andere kenmerken toevoegden (zoals hoe snel het typen was of hoeveel de scrollsnelheid varieerde), kon het systeem Humans, Bots en Agents allemaal perfect onderscheiden met een score van 0,991 (wat bijna perfect is).

Wat Dit Betekent

Het paper concludeert dat het vangen van AI-Agents niet gaat over het proberen uitzoeken of ze "denken" als een mens. Het gaat erom te merken dat ze een ander soort "spier" gebruiken om zich op het web te bewegen. Ze gebruiken digitale commando's in plaats van fysieke handen. Ze gebruiken digitale commando's in plaats van fysieke handen.

De onderzoekers waarschuwen dat als je een detector bouwt met slechts één kenmerk, je bedrogen kunt worden. Bijvoorbeeld, één kenmerk dat perfect leek op zichzelf, zorgde ervoor dat de detector voor iedereen "Agent" gokte, inclusen echte mensen, wat nutteloos is. Maar met de juiste twee kenmerken is de detector ongelooflijk robuust.

Deze ontdekking is een grote zaak voor de toekomst van het internet. Naarmate AI-Agents gebruikelijker worden, zullen websites moeten weten wie er browst. Dit onderzoek laat zien dat we geen enorme, ingewikkelde systemen hoeven te bouwen om hen te spotten. We hoeven alleen maar te zoeken naar de kleine, onzichtbare voetafdrukken die digitale geesten achterlaten wanneer ze proberen als mensen te lopen. En zolang ze standaard browserhulpmiddelen gebruiken, zullen die voetafdrukken er altijd zijn.

Technische Samenvatting: Minimale Feature Sets voor Gedragsdetectie van AI-agenten onder Browserautomatisering

1. Probleemstelling

De beveiligingsindustrie werkt al lang op een binaire aanname: webverkeer is ofwel menselijk ofwel een bot. Deze dichotomie heeft de ontwikkeling van gedragsbiometrie, CAPTCHA's en botmanagementplatforms gedreven. De opkomst van LLM-gestuurde AI-agenten (bijv. Anthropic's Computer Use, OpenAI's Operator) heeft echter een derde, afzonderlijke verkeersklasse geïntroduceerd. In tegenstelling tot traditionele bots die rigide scripts volgen, browsen deze agenten autonoom, redeneren ze en voeren ze taken met meerdere stappen uit via echte browsers met behulp van automatisering-API's zoals Playwright.

Het kernprobleem dat wordt geïdentificeerd, is dat binaire classificaties structureel niet in staat zijn een driedimensionale wereld te representeren. Wanneer ze worden gedwongen te kiezen tussen "mens" en "bot", routeren binaire detectoren AI-agenten verkeerd. Het artikel laat zien dat dit niet louter een probleem is van modelleringscapaciteit, maar een architecturaal probleem: de labelruimte mist een "agent"-klasse. Bijgevolg misclassificeren geavanceerde binaire detectoren (MLP, SAINT) ongeveer 34–39% van de echte AI-agenten als "mens". Modellen die hen wel vangen (zoals XGBoost), vertrouwen vaak op broze, toevallige features in plaats van robuuste, agent-specifieke signalen.

2. Methodologie

Dataset Constructie

De auteurs construeerden een uniforme driedelige dataset bestaande uit:

Mensen: 14.000+ sessies uit CaptchaSolve30k, waarbij de muisdynamiek tijdens het oplossen van CAPTCHA's werd vastgelegd.
Bots: 5.000 synthetische monsters gegenereerd uit drie archetypen (Headless, Scripted, Sophisticated) gebaseerd op literatuur-gegronde verdelingen. Het archetype "Sophisticated" is bewust overlappend met menselijk gedrag om triviale feature-scheiding te voorkomen.
Agenten: 1.025 echte sessies waarbij een LLM (Claude) een Chrome-browser aanstuurde via Playwright over 10 diverse webtaken (formulieren, navigatie, login, etc.).

Feature Engineering

De studie extraheerde 17 continue gedragsfeatures (traject, klik, timing en agent-specifieke ratio's) en 7 binaire omgevingsfeatures. Belangrijke features waren onder meer:

mouse_event_rate: De snelheid van ruwe mousemove-events.
teleport_click_ratio: Het fractie van klikken voorafgegaan door sprongen in de ruwe events.
click_duration_std: De standaarddeviatie van de klik-houdtijden.
inter_action_gap_ features: Ontworpen om de "pauze-denk-handel"-cyclus van LLM's te vangen.

Modelarchitectuur & Evaluatie

Modellen: De studie evalueerde MLP, Random Forest, XGBoost en SAINT (een tabular transformer).
Drie-klasse Formulering: Om het structurele gat aan te pakken, pasten de auteurs SAINT aan voor drie-klasse classificatie (Mens, Bot, Agent).
Evasie Ladder: Om robuustheid te testen, werd een vijfstaps evasie ladder geconstrueerd, escalerend van:
1. Geen: Native Playwright API.
2. Regelgebaseerd: Bézier-curven en menselijke gesamplede vertragingen.
3. GAN: WGAN-GP gegenereerde trajecten.
4. GAN+: GAN-trajecten met micro-jitter en Fitts' law timing.
5. Human Replay: Echte menselijke cursor-trajecten uit CaptchaSolve30k die via Playwright werden afgespeeld.
Feature Selectie: Een uitputtende zoektocht over 9.401 feature-subsets ( $k=1$ tot $5$), aangevuld met forward selection en backward elimination, werd uitgevoerd met behulp van Gradient Boosting Machines (GBM) voor computationele tractabiliteit.

3. Belangrijkste Resultaten

De Binaire Detectiegap

Binaire detectoren falen in het onderscheiden van agenten van mensen effectief:

MLP: 39,1% van de agenten misgeclassificeerd als mens.
SAINT: 34,5% van de agenten misgeclassificeerd als mens.
Random Forest: 30,0% misgeclassificeerd.
XGBoost: Bereikte 100% detectie, maar vertrouwde op broze, toevallige features (bijv. ontbrekende scroll-events) in plaats van agent-specifieke signalen.

Oplossing: Het overstappen naar een drie-klasse formulering (Mens, Bot, Agent) elimineerde de kloof volledig. Een SAINT-model getraind op de drie klassen bereikte F1 = 1.000 voor agenten over alle 30 runs (3 modelfamilies × 10 seeds).

Robuustheid tegen Evasie

De drie-klasse detector behield 100% agent recall over alle vijf de evasie-niveaus, inclus\t de "Human Replay" fase waar echte menselijke trajecten via Playwright werden afgespeeld.

Crucial inzicht: Evasie op traject-niveau (GANs, replay) faalt omdat de event-stream structuur niet-menselijk blijft. Automatisering-API's (Playwright) zenden geen ruwe pointer-move streams of wheel-delta streams uit die fysieke apparaten produceren.
Artefacten: Het detectiesignaal berust op "afwezigheidssignaturen": nul ruwe event teleports vóór klikken, lege wheel-delta series en lege pre-click mousemove tracks. Deze blijven bestaan, zelfs wanneer het cursorpad menselijk lijkt.

Minimale Feature Sets

Door middel van uitputtend zoeken en backward elimination identificeerde het paper dat een kleine subset van features voldoende is:

Twee Features:
- {mouse_event_rate, teleport_click_ratio} (uit uitputtend zoeken): Bereikt 100% agent recall met Agent Precision = 0.994 en Macro-F1 = 0.926.
- {mouse_event_rate, click_duration_std} (uit backward elimination): Bereikt 100% agent recall met Agent Precision = 1.000 en Macro-F1 = 0.904.
Vijf Features: Verhoogt Macro-F1 naar ≥0.99, wat robuuste discriminatie mogelijk maakt over alle drie de klassen.
Degenerat Geval ( $k=1$ ): De enkele "perfecte" feature (cursor_path_linearity) is een diagnostische valstrik; het dwingt de classifier om altijd "agent" te voorspellen, wat resulteert in een lage precisie (0.33) en Macro-F1 (0.17).

Oorsprong van het Signaal

Het discriminerende signaal is niet een artefact van agent-redenering (de "pauze-denk-handel"-cyclus) of taakcomplexiteit.

Features ontworpen om LLM-inferentie-gaten te vangen (bijv. inter_action_gap_variance) werden door backward elimination verwijderd zonder de recall te beïnvloeden.
Het signaal is een API-executie artefact: de specifieke manier waarop browserautomatisering-API's (Playwright/CDP) events genereren (programmatische DOM-aanroepen) verschilt fundamenteel van fysieke invoerapparaten.
Taakonafhankelijkheid: Het verwijderen van taak-gecorreleerde features (typen, scrollen) had geen invloed op de agent-detectie, wat bevestigt dat het signaal in de muisdynamiek en de aanwezigheid van de event-stream ligt.

4. Betekenis en Claims

Het paper claimt het eerste werk te zijn dat:

LLM-gestuurde browseragenten behandelt als een aparte detectiecategorie, los van traditionele bots.
Aantoont dat de "binair vs. agent" verwarring een architecturale beperking is van de labelruimte, oplosbaar door een derde klasse toe te voegen.
Laat zien dat detectie berust op laagniveau API-artefacten (ontbrekende ruwe event streams) in plaats van hoog-niveau cognitieve patronen, wat het robuust maakt tegen traject-gebaseerde evasie (GANs, human replay).
Een minimale feature set biedt voor praktische implementatie, waarbij bewezen wordt dat twee gedragsfeatures agenten kunnen isoleren met unit-precisie.

Beperkingen en Reikwijdte:

De resultaten zijn specifiek voor CDP-gemedieerde automatisering (Playwright, Puppeteer, Selenium met CDP).
Het paper stelt expliciet dat agenten die browser-API's volledig omzeilen (bijv. via OS-niveau inputsimulatie zoals xdotool of hardware-emulatoren) deze detectiemethode waarschijnlijk zouden omzeilen.
De bot-klasse is synthetisch; hoewel de agent-detectie op echte data is gevalideerd, hangen de macro-F1 scores voor drie-klasse discriminatie af van de synthetische bot-verdelingen.
De "Human Replay" evasie is beperkt tot de Playwright API; het testte geen OS-niveau injectie.

Concluderend betogen de auteurs dat het detecteren van AI-agenten momenteel haalbaar en robuust is omdat ze opereren via automatisering-API's die een duidelijk, niet-menselijk "afwezigheidssignatuur" achterlaten in de event-stream. Dit signaal is redundant, minimaal (vereist slechts 2–5 features) en overleeft zelfs de meest geavanceerde traject-gebaseerde evasiepogingen.