🤖 machine learning

Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces

Questo documento dimostra che i siti web possono identificare passivamente il modello linguistico di grandi dimensioni specifico che alimenta un agente browser con un'accuratezza fino al 96% analizzando le sue tracce di interazione con l'interfaccia utente e i tempi, rivelando una significativa vulnerabilità di sicurezza che persiste anche quando vengono introdotti semplici ritardi temporali.

Autori originali: William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

Pubblicato 2026-05-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una stanza affollata. Anche se indossi una maschera e cambi la voce, il modo in cui cammini, la velocità con cui tamburelli le dita e il ritmo specifico dei tuoi movimenti potrebbero tradirti. Hai una "andatura" unica.

Questo articolo riguarda la scoperta che gli agenti AI (programmi informatici che navigano sul web per te) possiedono una "andatura" simile.

Ecco la spiegazione della ricerca in termini semplici:

L'idea principale: L'andatura digitale

Quando un umano naviga su Internet, clicca, scorre e digita alla propria velocità. Quando un agente AI fa la stessa cosa, clicca e scorre anch'esso. Ma l'articolo dimostra che diversi modelli AI (come GPT-5, Claude o Qwen) hanno "personalità" distinte nel modo in cui si muovono.

Un modello potrebbe esitare a lungo prima di cliccare un link, mentre un altro potrebbe scorrere molto velocemente e cliccare secondo uno schema specifico. I ricercatori hanno scoperto che osservando questi piccoli movimenti e i tempi, potevano identificare esattamente quale modello AI si trovasse dietro lo schermo con un accuratezza del 96%.

Come l'hanno fatto: Il cronometro invisibile

I ricercatori non hanno bisogno di hackerare l'AI o vedere il suo codice interno. Hanno usato un trucco semplice e passivo:

L'allestimento: Hanno creato un sito web (come una pista di prova) dove 14 diversi agenti AI sono stati inviati per eseguire compiti, come trovare risposte su Wikipedia o fare acquisti su Amazon.
Il tracciatore: Hanno inserito un piccolo frammento di codice (un "tracciatore JavaScript") nella pagina. Questo codice agiva come un cronometro silenzioso e un sensore di movimento. Non chiedeva all'AI cosa stesse pensando; registrava semplicemente:
- Cosa l'agente ha cliccato.
- Dove sullo schermo ha cliccato.
- Per quanto tempo ha atteso tra un'azione e l'altra.
Il detective: Hanno inserito questi dati in un programma informatico (un classificatore) chiedendogli di indovinare quale AI avesse compiuto le mosse.

I risultati: Non puoi nascondere il tuo ritmo

I risultati sono stati sorprendenti:

Alta accuratezza: Il sistema poteva identificare correttamente il modello AI quasi ogni volta, anche se l'AI stava cercando di eseguire un compito diverso.
Velocità: Il sistema non aveva bisogno di osservare l'intera sessione. Spesso poteva indovinare l'identità dell'AI dopo pochi clic (come riconoscere l'andatura di un amico dopo averlo visto per pochi secondi).
Il tempismo è fondamentale: L'indizio più importante non era cosa l'AI cliccava, ma quando cliccava. Gli intervalli di tempo tra le azioni erano l'impronta digitale più forte.

La "difesa" che non ha funzionato

I ricercatori si sono chiesti: "E se aggiungessimo semplicemente ritardi casuali alle azioni dell'AI per confondere il tracciatore?"

Hanno provato ad aggiungere pause casuali (come far attendere l'AI per 5 secondi prima di cliccare).
Il risultato: Ha rallentato leggermente il tracciatore, ma il tracciatore era intelligente. Se i ricercatori riaddestravano il loro sistema su queste tracce "ritardate", il sistema imparava a ignorare le pause casuali e a concentrarsi nuovamente sul ritmo sottostante. La difesa ha fallito.

Perché questo è importante (Il "Perché dovrei preoccuparmi?")

L'articolo presenta questo come un rischio per la sicurezza.

Il problema: Al momento, i siti web si preoccupano principalmente di "È questo un umano o un bot?". Questa ricerca mostra che una volta stabilito che si tratta di un bot, si può chiedere: "Quale specifico bot è?"
Il rischio: Se un attore malintenzionato sa esattamente quale modello AI sta visitando il suo sito, può adattare gli attacchi specificamente per quel modello. È come un set di grimaldelli che funziona su un marchio specifico di serratura. Se conoscono il marchio della tua serratura, possono aprirla molto più velocemente.
La realtà: Ogni volta che un AI visita un sito web, lascia un'"impronta digitale" che rivela la sua identità, anche se cerca di nascondersi.

La conclusione

Proprio come non puoi facilmente nascondere il tuo stile di camminata in una folla, i modelli AI non possono facilmente nascondere il loro "stile di interazione" mentre navigano sul web. I loro clic e le loro pause sono una carta d'identità unica che rivela chi sono, e questa carta d'identità è visibile a chiunque controlli il sito web che visitano.

Cosa l'articolo NON afferma:

Non dice che questo possa essere usato per identificare utenti umani (presuppone che l'utente sia già un'AI).
Non afferma che questo funzioni su tutti i siti web del mondo (è stato testato su specifici compiti di acquisto e ricerca).
Non offre ancora una soluzione per risolvere questo problema; si limita a esporre la vulnerabilità.

Riepilogo Tecnico: Conosciuti dalle Loro Azioni: Fingerprinting di Agenti Browser LLM tramite Tracce UI

1. Formulazione del Problema

Mentre gli agenti basati su Large Language Model (LLM) passano da prototipi di ricerca a sistemi di produzione che navigano sul web per conto degli utenti, sorge una domanda critica di sicurezza: i siti web possono identificare passivamente il modello sottostante specifico che alimenta un agente? L'attuale rilevamento dei bot inquadra tipicamente il problema come una classificazione binaria (umano vs automatizzato). Tuttavia, man mano che l'automazione scriptata viene sostituita dagli agenti LLM, il panorama delle minacce si sposta. Nei framework di sicurezza classici, l'identificazione dell'obiettivo è il prerequisito per lo sfruttamento. Se un avversario può determinare quale modello sta visitando una pagina, può adattare gli attacchi—ad esempio, selezionando jailbreak specifici da un corpus noto o riducendo lo spazio di ricerca per attacchi avversari in white-box—basandosi su vulnerabilità note specifiche del modello.

Questo articolo indaga se il modello fondazionale sottostante di un agente browser possa essere inferito esclusivamente da tracce passive dell'Interfaccia Utente (UI) in pagina. Gli autori ipotizzano che le azioni di un agente (clic, scorrimenti, pressioni di tasti) e i tempi di interazione codifichino un'impronta comportamentale unica, distinta per modello, indipendente dagli header del browser o dai metadati del livello di rete che possono essere falsificati.

2. Metodologia

Configurazione Sperimentale

Lo studio valuta 14 LLM multimodali all'avanguardia, inclusi modelli proprietari (GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash) e modelli open-source (serie Qwen3/3.5-VL, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite).

Ambiente: Gli agenti operano all'interno di un harness browser standardizzato (Midscene.js) che traduce le decisioni del modello in comandi Playwright. Ciò garantisce che le differenze comportamentali derivino dal modello stesso e non dall'ambiente di esecuzione.
Compiti: Gli agenti eseguono compiti in quattro ambienti web live: due benchmark di recupero informazioni (2WikiMultiHop, FRAMES su Wikipedia) e due benchmark di shopping (Webshop, Deepshop su Amazon).
Raccolta Dati: Un tracker JavaScript leggero viene iniettato nelle pagine target. Registra passivamente eventi di interazione lato client con risoluzione in millisecondi, catturando:
- Tipi di azione (clic, scorrimento, pressione di tasti, navigazione).
- Coordinate spaziali (X/Y del clic, profondità dello scorrimento).
- Dinamiche temporali (intervalli tra eventi, tempo fino al primo azione).
- Pattern strutturali (rapporti di clic sui link, tipi di tasti).
Formato della Traccia: Una sessione genera una traccia $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$ , dove $s_t$ è l'osservazione, $u_t$ è l'azione e $\Delta t_t$ è il tempo trascorso dalla precedente azione.

Approccio di Classificazione

Il problema è formalizzato come un compito di classificazione supervisionata per prevedere il modello di origine $\hat{m} = f(\tau)$ .

Estrazione delle Caratteristiche: Vengono estratte 41 caratteristiche scalari, categorizzate in dinamiche temporali (ad es. statistiche degli intervalli tra eventi), comportamento di scorrimento, distribuzione spaziale dei clic e volume di navigazione.
Modelli: Vengono addestrati cinque famiglie di classificatori: Regressione Lasso, Regressione Logistica, Random Forest, XGBoost e una rete LSTM. XGBoost è evidenziato come il principale esecutore.
Protocolli di Valutazione:
- Fingerprinting a Set Chiuso: Il classificatore viene addestrato e testato su un insieme fisso di 14 agenti noti.
- Fingerprinting a Set Aperto: Viene utilizzato un protocollo "leave-one-agent-out" (LOO) per testare la capacità di distinguere agenti noti da un agente sconosciuto (segnalando la traccia come sconosciuta).

3. Risultati Chiave

Alta Accuratezza nell'Identificazione a Set Chiuso

Lo studio dimostra che gli agenti sono altamente identificabili dalle loro tracce di azione.

Prestazioni: Il classificatore XGBoost ottiene punteggi Macro F1 fino al 96% sui 14 modelli.
Coerenza: Si osservano prestazioni elevate su tutti e quattro i dataset (2WikiMultiHop, FRAMES, Webshop, Deepshop). Ad esempio, Seed-2-lite ha raggiunto un F1 del 96,1% su 2WikiMultiHop, e UI-TARS-1.5 ha raggiunto il 92,1% su Webshop.
Efficienza: Classificatori robusti possono essere addestrati utilizzando meno di un terzo delle tracce di addestramento disponibili. Inoltre, l'identità del modello può essere inferita all'inizio di un episodio; il Macro F1 aumenta bruscamente entro il primo 40% delle azioni osservate, stabilizzandosi vicino alle prestazioni della traccia completa.

Rilevamento a Set Aperto

Sebbene l'identificazione a set aperto (distinguere noti da sconosciuti) sia più impegnativa, rimane fattibile.

La maggior parte degli agenti ottiene un AUROC > 0,60 nel distinguere tracce note da quelle sconosciute.
Si nota notevolmente una dissociazione tra le prestazioni a set chiuso e a set aperto: gli agenti più facili da identificare quando la loro identità è nota (ad es. Seed-2-lite) non sono necessariamente i più facili da distinguere da agenti sconosciuti in un contesto a set aperto.

Importanza delle Caratteristiche e Robustezza

Dominanza Temporale: In condizioni normali, le caratteristiche temporali (intervalli tra eventi, tempo fino al primo azione) sono i principali driver dell'accuratezza della classificazione.
Robustezza alle Perturbazioni: Gli autori hanno testato la resilienza di queste impronte digitali iniettando ritardi casuali (fino a 5 secondi) tra le azioni.
- I classificatori addestrati su tracce pulite subiscono un calo brusco delle prestazioni quando valutati su tracce ritardate.
- Tuttavia, i classificatori riaddestrati su tracce ritardate recuperano in gran parte le prestazioni. Spostano la dipendenza dalla pura tempistica su caratteristiche strutturali robuste, come la dispersione delle coordinate dei clic, i rapporti strutturali dei tasti e i rapporti di clic sui link. Ciò indica che, sebbene la tempistica sia il segnale più forte, l'"impronta digitale" comportamentale non dipende esclusivamente da essa.

Generalizzazione

Trasferimento di Compito: Il trasferimento su singolo compito (addestramento su un compito, test su un altro nello stesso sito) è debole. Tuttavia, l'addestramento su sito raggruppato (combinando tracce da più compiti sullo stesso sito web) recupera prestazioni di attribuzione robuste.
Trasferimento Cross-Sito: Il trasferimento tra siti web diversi (ad es. da Wikipedia ad Amazon) rimane debole, suggerendo che le impronte digitali sono condizionate dall'interazione specifica tra il modello, la distribuzione del compito e l'interfaccia del sito web.

4. Significato e Implicazioni

L'articolo afferma che questo lavoro stabilisce una nuova superficie di attacco per gli agenti LLM: attribuzione passiva del modello tramite tracce UI.

Modello di Minaccia: L'attacco è passivo e co-localizzato (l'avversario controlla la pagina). Non richiede visibilità di rete o sondaggi attivi.
Vettore di Sfruttamento: Una volta identificato un agente, un avversario può:
1. Implementare Iniezioni di Prompt Mirate: Selezionare jailbreak noti per essere efficaci contro il modello specifico identificato.
2. Inflazionare i Costi (Attacchi Spugna): Fornire contenuti progettati per massimizzare il consumo di token per modelli all'avanguardia ad alto costo (ad es. Claude Opus, GPT-5.4), creando efficacemente un denial-of-service contro il budget di inferenza dell'utente.
3. Controllo di Accesso Condizionale: Implementare whitelist o blacklist specifiche per modello, o fornire contenuti avvelenati visibili solo a modelli specifici mentre appaiono benigni ad altri.
Limitazioni della Difesa: Le normalizzazioni standard del browser, come la randomizzazione dei ritardi temporali, sono insufficienti a proteggere da questo attacco se l'avversario è disposto a riaddestrare il proprio classificatore sui dati perturbati.

5. Conclusione

Gli autori concludono che il comportamento in pagina degli agenti LLM funge da segnale persistente e identificativo, paragonabile ai modelli stessi. Il passaggio dal rilevamento "umano vs bot" all'attribuzione "quale modello" rappresenta un cambiamento fondamentale nel panorama delle minacce per gli agenti distribuiti. L'articolo rilascia un corpus etichettato di tracce di agenti e un harness browser per facilitare ulteriori ricerche sull'attribuzione comportamentale e lo sviluppo di contromisure.

Nota: L'articolo afferma esplicitamente che il suo ambito attuale è limitato a un singolo harness di agente (Midscene.js), a un insieme chiuso di 14 modelli e a un rilevamento a set aperto che non è ancora perfetto. Sono necessari lavori futuri per caratterizzare segnali invarianti rispetto all'harness e valutare difese di offuscamento contro avversari adattivi.