Technische Samenvatting: Aan hun daden herkenbaar: Vingerafdrukken van LLM-browseragenten via UI-sporen

1. Probleemformulering

Naarmate Large Language Model (LLM)-agenten overgaan van onderzoeksprototypen naar productiesystemen die namens gebruikers het web doorzoeken, rijst een kritieke veiligheidsvraag: kunnen websites passief het specifieke onderliggende model dat een agent aandrijft, identificeren? Huidige botdetectie vormt het probleem doorgaans als een binaire classificatie (mens versus geautomatiseerd). Echter, naarmate scriptgestuurde automatisering wordt verdrongen door LLM-agenten, verschuift het bedreigingslandschap. In klassieke beveiligingskaders is doelidentificatie de voorwaarde voor exploitatie. Als een tegenstander kan bepalen welk model een pagina bezoekt, kan hij aanvallen op maat maken—zoals het selecteren van specifieke jailbreaks uit een bekend corpus of het verkleinen van de zoekruimte voor white-box-adversariale aanvallen—gebaseerd op bekende, modelspecifieke kwetsbaarheden.

Dit paper onderzoekt of het onderliggende fundamentele model van een browseragent uitsluitend kan worden afgeleid uit passieve, in-pagina User Interface (UI)-sporen. De auteurs veronderstellen dat de acties van een agent (klikken, scrollen, toetsaanslagen) en interactietijdstippen een unieke gedragsvingerafdruk coderen die specifiek is voor het model, onafhankelijk van browserheaders of netwerklagen-metadata die kunnen worden vervalst.

2. Methodologie

Experimentele Opstelling

De studie evalueert 14 frontier multimodale LLM's, waaronder propriëtaire modellen (GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash) en open-source modellen (Qwen3/3.5-VL-serie, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite).

• Omgeving: Agenten opereren binnen een gestandaardiseerde browserharnas (Midscene.js) die modelbeslissingen vertaalt naar Playwright-commando's. Dit zorgt ervoor dat gedragsverschillen voortkomen uit het model zelf en niet uit de uitvoeringsomgeving.
• Taken: Agenten voeren taken uit in vier live webomgevingen: twee benchmarks voor informatiewinning (2WikiMultiHop, FRAMES op Wikipedia) en twee winkelbenchmarks (Webshop, Deepshop op Amazon).
• Dataverzameling: Een lichtgewicht JavaScript-tracker wordt geïnjecteerd in de doelpagina's. Deze logt passief client-side interactiegebeurtenissen met milliseconde-resolutie, waarbij wordt vastgelegd:
  • Actietypes (klik, scroll, toetsaanslag, navigatie).
  • Ruimtelijke coördinaten (klik X/Y, scrolldiepte).
  • Temporele dynamiek (intervallen tussen gebeurtenissen, tijd tot eerste actie).
  • Structurele patronen (ratio's van linkklikken, toetstypes).
• Spoorformaat: Een sessie genereert een spoor $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$, waarbij $s_t$ de observatie is, $u_t$ de actie, en $\Delta t_t$ de verstreken tijd sinds de vorige actie.

Classificatiebenadering

Het probleem wordt geformaliseerd als een supervised classificatietaken om het oorspronkelijke model te voorspellen $\hat{m} = f(\tau)$.

• Functie-extractie: 41 scalare functies worden geëxtraheerd, gecategoriseerd in temporele dynamiek (bijv. statistieken van intervallen tussen gebeurtenissen), scrollgedrag, ruimtelijke verdeling van klikken en navigatievolume.
• Modellen: Vijf classifier-families worden getraind: Lasso-regressie, Logistische regressie, Random Forest, XGBoost en een LSTM-netwerk. XGBoost wordt benadrukt als de primaire presterende methode.
• Evaluatieprotocollen:
  • Closed-Set Vingerafdrukken: De classifier wordt getraind en getest op een vaste set van 14 bekende agenten.
  • Open-Set Vingerafdrukken: Een "leave-one-agent-out" (LOO)-protocol wordt gebruikt om het vermogen te testen om bekende agenten te onderscheiden van een onbekende agent (het spoor markeren als onbekend).

3. Belangrijkste Resultaten

Hoge Nauwkeurigheid bij Closed-Set Identificatie

De studie toont aan dat agenten sterk identificeerbaar zijn op basis van hun actiesporen.

• Prestaties: De XGBoost-classifier behaalt Macro F1-scores tot 96% over de 14 modellen heen.
• Consistentie: Hoge prestaties worden waargenomen over alle vier datasets (2WikiMultiHop, FRAMES, Webshop, Deepshop). Zo behaalde Seed-2-lite 96,1% F1 op 2WikiMultiHop, en UI-TARS-1.5 behaalde 92,1% op Webshop.
• Efficiëntie: Sterke classifiers kunnen worden getraind met minder dan een derde van de beschikbare trainingssporen. Bovendien kan de modelidentiteit vroeg in een episode worden afgeleid; de Macro F1 stijgt scherp binnen de eerste 40% van de waargenomen acties en bereikt een plateau dicht bij de prestaties van het volledige spoor.

Open-Set Detectie

Hoewel open-set identificatie (onderscheid tussen bekend en onbekend) uitdagender is, blijft het haalbaar.

• De meeste agenten behalen een AUROC > 0,60 bij het onderscheiden van bekende van onbekende sporen.
• Opvallend is dat er een dissociatie bestaat tussen closed-set en open-set prestaties: agenten die het makkelijkst te identificeren zijn wanneer hun identiteit bekend is (bijv. Seed-2-lite), zijn niet per se het makkelijkst te onderscheiden van onbekende agenten in een open-set setting.

Functiebelang en Robuustheid

• Tijdsdominantie: Onder normale omstandigheden zijn temporele functies (Intervallen tussen Gebeurtenissen, tijd tot eerste actie) de primaire drijvers van de classificatienauwkeurigheid.
• Robuustheid tegen Verstoring: De auteurs testten de veerkracht van deze vingerafdrukken door willekeurige vertragingen (tot 5 seconden) tussen acties in te voegen.
  • Classifiers getraind op schone sporen lijden een scherpe daling in prestaties wanneer ze worden geëvalueerd op vertraagde sporen.
  • Echter, classifiers die opnieuw worden getraind op vertraagde sporen herstellen grotendeels hun prestaties. Ze verschuiven hun afhankelijkheid van pure timing naar robuuste structurele functies, zoals spreiding van klik-coördinaten, structurele toetsratio's en ratio's van linkklikken. Dit geeft aan dat, hoewel timing het sterkste signaal is, de gedrags"vingerafdruk" niet uitsluitend daarvan afhankelijk is.

Generalisatie

• Taakoverdracht: Single-task overdracht (trainen op één taak, testen op een andere binnen dezelfde site) is zwak. Echter, gepoolde-site training (sporen combineren van meerdere taken op dezelfde website) herstelt sterke attributprestaties.
• Cross-Site Overdracht: Overdracht tussen verschillende websites (bijv. Wikipedia naar Amazon) blijft zwak, wat suggereert dat vingerafdrukken worden geconditioneerd door de specifieke interactie tussen het model, de taakverdeling en de website-interface.

4. Betekenis en Implicaties

Het paper stelt dat dit werk een nieuw aanvalsoppervlak voor LLM-agenten vestigt: passieve modelattributie via UI-sporen.

• Bedreigingsmodel: De aanval is passief en co-gevestigd (de tegenstander beheert de pagina). Het vereist geen netwerkzichtbaarheid of actieve probing.
• Exploitatievector: Zodra een agent is geïdentificeerd, kan een tegenstander:
  1. Gerichte Prompt-injecties Implementeren: Jailbreaks selecteren waarvan bekend is dat ze effectief zijn tegen het specifieke geïdentificeerde model.
  2. Kosten Inflateren (Spons-aanvallen): Content serveren die is ontworpen om tokenverbruik te maximaliseren voor dure frontier-modellen (bijv. Claude Opus, GPT-5.4), wat effectief een denial-of-service creëert tegen het inferentiebudget van de gebruiker.
  3. Conditionele Toegangscontrole: Implementeren van modelspecifieke whitelisting of blacklisting, of vergiftigde content serveren die alleen zichtbaar is voor specifieke modellen terwijl het voor anderen onschuldig lijkt.
• Beperkingen van Verdediging: Standaard browsernormalisaties, zoals het randomiseren van timingvertragingen, zijn onvoldoende om te beschermen tegen deze aanval als de tegenstander bereid is zijn classifier opnieuw te trainen op de verstoord data.

5. Conclusie

De auteurs concluderen dat het gedrag op de pagina van LLM-agenten dient als een persistent, identificeerbaar signaal dat vergelijkbaar is met de modellen zelf. De verschuiving van "mens versus bot"-detectie naar "welk model"-attributie vertegenwoordigt een fundamentele verandering in het bedreigingslandschap voor ingezette agenten. Het paper publiceert een gelabeld corpus van agentsporen en een browserharnas om verder onderzoek naar gedragsattributie en de ontwikkeling van tegenmaatregelen te faciliteren.

Opmerking: Het paper stelt expliciet dat de huidige reikwijdte beperkt is tot één agentharnas (Midscene.js), een gesloten set van 14 modellen, en open-set detectie die nog niet perfect is. Toekomstig werk is nodig om harnas-invariante signalen te karakteriseren en obfuscatieverdedigingen tegen adaptieve tegenstanders te evalueren.