🤖 machine learning

Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces

Ce papier démontre que les sites web peuvent identifier passivement le modèle de langage spécifique alimentant un agent de navigateur avec une précision allant jusqu'à 96 % en analysant ses traces d'interaction avec l'interface utilisateur et son chronométrage, révélant une vulnérabilité de sécurité significative qui persiste même lorsque de simples délais de temporisation sont introduits.

Auteurs originaux : William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans une pièce bondée. Même si vous portez un masque et modifiez votre voix, la façon dont vous marchez, la vitesse à laquelle vous tapez des doigts et le rythme spécifique de vos mouvements pourraient vous trahir. Vous avez une « démarche » unique.

Ce document traite de la découverte que les agents IA (des programmes informatiques qui naviguent sur le web pour vous) possèdent une « démarche » similaire.

Voici le résumé de la recherche en termes simples :

L'idée principale : La démarche numérique

Lorsqu'un humain navigue sur Internet, il clique, défile et tape à son propre rythme. Lorsqu'un agent IA fait la même chose, il clique et défile également. Mais l'article montre que différents modèles d'IA (comme GPT-5, Claude ou Qwen) ont des « personnalités » distinctes dans la façon dont ils se déplacent.

Un modèle peut faire une longue pause avant de cliquer sur un lien, tandis qu'un autre peut défiler très rapidement et cliquer selon un motif spécifique. Les chercheurs ont découvert qu'en observant ces micro-mouvements et en mesurant les temps, ils pouvaient identifier exactement quel modèle d'IA se trouvait derrière l'écran avec une précision de 96 %.

Comment ils ont procédé : Le chronomètre invisible

Les chercheurs n'avaient pas besoin de pirater l'IA ni de voir son code interne. Ils ont utilisé un stratagème simple et passif :

La mise en place : Ils ont créé un site web (comme une piste d'essai) où 14 agents IA différents ont été envoyés pour effectuer des tâches, comme trouver des réponses sur Wikipédia ou faire du shopping sur Amazon.
Le traqueur : Ils ont injecté un minuscule morceau de code (un « traqueur JavaScript ») dans la page. Ce code agissait comme un chronomètre silencieux et un capteur de mouvement. Il ne demandait pas à l'IA ce qu'elle pensait ; il enregistrait simplement :
- Ce que l'agent a cliqué.
- Où sur l'écran il a cliqué.
- Combien de temps il a attendu entre les actions.
Le détective : Ils ont alimenté ces données dans un programme informatique (un classifieur) et lui ont demandé de deviner quelle IA avait effectué les mouvements.

Les résultats : On ne peut pas cacher son rythme

Les résultats ont été frappants :

Haute précision : Le système pouvait identifier correctement le modèle d'IA presque à chaque fois, même si l'IA tentait d'accomplir une tâche différente.
Vitesse : Le système n'avait pas besoin d'observer toute la session. Il pouvait souvent deviner l'identité de l'IA après seulement quelques clics (comme reconnaître la démarche d'un ami après l'avoir vu pendant quelques secondes).
Le timing est crucial : L'indice le plus important n'était pas ce que l'IA cliquait, mais quand elle cliquait. Les intervalles de temps entre les actions constituaient l'empreinte la plus forte.

La « défense » qui n'a pas fonctionné

Les chercheurs se sont demandé : « Et si nous ajoutions simplement des délais aléatoires aux actions de l'IA pour tromper le traqueur ? »

Ils ont essayé d'ajouter des pauses aléatoires (comme faire attendre l'IA 5 secondes avant de cliquer).
Le résultat : Cela a ralenti le traqueur un peu, mais le traqueur était intelligent. Si les chercheurs réentraînaient leur système sur ces traces « retardées », le système apprenait à ignorer les pauses aléatoires et à se concentrer à nouveau sur le rythme sous-jacent. La défense a échoué.

Pourquoi cela compte (Le « Pourquoi devrais-je m'en soucier ? »)

L'article présente cela comme un risque de sécurité.

Le problème : Actuellement, les sites web se préoccupent surtout de « Est-ce un humain ou un bot ? ». Cette recherche montre que, une fois que vous savez qu'il s'agit d'un bot, vous pouvez demander : « Quel bot spécifique est-ce ? »
Le risque : Si un acteur malveillant sait exactement quel modèle d'IA visite son site, il peut adapter ses attaques spécifiquement pour ce modèle. C'est comme un jeu de crochetage qui fonctionne sur une marque spécifique de serrure. S'ils connaissent la marque de votre serrure, ils peuvent la crocheter beaucoup plus vite.
La réalité : Chaque fois qu'une IA visite un site web, elle laisse une « empreinte numérique » qui révèle son identité, même si elle tente de se cacher.

La conclusion

Tout comme vous ne pouvez pas facilement cacher votre style de marche dans une foule, les modèles d'IA ne peuvent pas facilement cacher leur « style d'interaction » lors de la navigation sur le web. Leurs clics et leurs pauses constituent une carte d'identité unique qui révèle qui ils sont, et cette carte d'identité est visible pour quiconque contrôle le site web qu'ils visitent.

Ce que l'article NE prétend PAS :

Il ne dit pas que cela peut être utilisé pour identifier des utilisateurs humains (il suppose que l'utilisateur est déjà une IA).
Il ne prétend pas que cela fonctionne sur tous les sites web du monde (il a été testé sur des tâches spécifiques de recherche et d'achat).
Il n'offre pas encore de solution pour corriger cela ; il expose simplement la vulnérabilité.

Résumé Technique : Reconnaissables par leurs Actions : Empreintes Digitales des Agents Navigateurs LLM via des Traces d'Interface Utilisateur

1. Formulation du Problème

Alors que les agents basés sur des modèles de langage (LLM) passent de prototypes de recherche à des systèmes de production naviguant sur le web pour le compte des utilisateurs, une question de sécurité critique se pose : les sites web peuvent-ils identifier passivement le modèle sous-jacent spécifique qui alimente un agent ? La détection actuelle des bots formule généralement le problème comme une classification binaire (humain vs automatisé). Cependant, à mesure que l'automatisation scriptée est remplacée par des agents LLM, le paysage des menaces évolue. Dans les cadres de sécurité classiques, l'identification de la cible est le préalable à l'exploitation. Si un adversaire peut déterminer quel modèle visite une page, il peut adapter ses attaques — par exemple, en sélectionnant des jailbreaks spécifiques dans un corpus connu ou en réduisant l'espace de recherche pour des attaques adverses en boîte blanche — en fonction de vulnérabilités spécifiques au modèle.

Cet article examine si le modèle fondamental sous-jacent d'un agent navigateur peut être inféré uniquement à partir de traces passives d'interface utilisateur (UI) in-page. Les auteurs postulent que les actions d'un agent (clics, défilements, frappes de touches) et les délais d'interaction encodent une empreinte comportementale unique, distincte du modèle, indépendante des en-têtes de navigateur ou des métadonnées de la couche réseau qui peuvent être falsifiées.

2. Méthodologie

Configuration Expérimentale

L'étude évalue 14 LLM multimodaux de pointe, incluant des modèles propriétaires (GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash) et des modèles open-source (séries Qwen3/3.5-VL, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite).

Environnement : Les agents opèrent dans un cadre de navigateur standardisé (Midscene.js) qui traduit les décisions du modèle en commandes Playwright. Cela garantit que les différences comportementales proviennent du modèle lui-même et non de l'environnement d'exécution.
Tâches : Les agents exécutent des tâches sur quatre environnements web en direct : deux benchmarks de récupération d'informations (2WikiMultiHop, FRAMES sur Wikipédia) et deux benchmarks d'achat (Webshop, Deepshop sur Amazon).
Collecte de Données : Un tracker JavaScript léger est injecté dans les pages cibles. Il enregistre passivement les événements d'interaction côté client avec une résolution à la milliseconde, capturant :
- Types d'actions (clic, défilement, frappe de touche, navigation).
- Coordonnées spatiales (coordonnées X/Y du clic, profondeur de défilement).
- Dynamiques temporelles (intervalles inter-événements, temps jusqu'à la première action).
- Motifs structurels (ratios de clics sur liens, types de touches).
Format de Trace : Une session génère une trace $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$ , où $s_t$ est l'observation, $u_t$ est l'action, et $\Delta t_t$ est le temps écoulé depuis l'action précédente.

Approche de Classification

Le problème est formalisé comme une tâche de classification supervisée visant à prédire le modèle d'origine $\hat{m} = f(\tau)$ .

Extraction de Caractéristiques : 41 caractéristiques scalaires sont extraites, catégorisées en dynamiques temporelles (par exemple, statistiques des intervalles inter-événements), comportement de défilement, distribution spatiale des clics et volume de navigation.
Modèles : Cinq familles de classificateurs sont entraînées : Régression Lasso, Régression Logistique, Forêt Aléatoire, XGBoost et un réseau LSTM. XGBoost est mis en avant comme le principal performant.
Protocoles d'Évaluation :
- Empreinte Digitale en Ensemble Fermé : Le classificateur est entraîné et testé sur un ensemble fixe de 14 agents connus.
- Empreinte Digitale en Ensemble Ouvert : Un protocole « leave-one-agent-out » (LOO) est utilisé pour tester la capacité à distinguer les agents connus d'un agent inconnu (signalant la trace comme inconnue).

3. Résultats Clés

Haute Précision dans l'Identification en Ensemble Fermé

L'étude démontre que les agents sont hautement identifiables à partir de leurs traces d'actions.

Performance : Le classificateur XGBoost atteint des scores Macro F1 allant jusqu'à 96 % sur les 14 modèles.
Cohérence : Une haute performance est observée sur les quatre jeux de données (2WikiMultiHop, FRAMES, Webshop, Deepshop). Par exemple, Seed-2-lite a obtenu 96,1 % de F1 sur 2WikiMultiHop, et UI-TARS-1.5 a obtenu 92,1 % sur Webshop.
Efficacité : Des classificateurs puissants peuvent être entraînés en utilisant moins d'un tiers des traces d'entraînement disponibles. De plus, l'identité du modèle peut être inférée tôt dans un épisode ; le Macro F1 augmente fortement au cours des 40 % premiers d'actions observées, se stabilisant près de la performance de la trace complète.

Détection en Ensemble Ouvert

Bien que l'identification en ensemble ouvert (distinguer les connus des inconnus) soit plus difficile, elle reste réalisable.

La plupart des agents atteignent une AUROC > 0,60 pour distinguer les traces connues des traces inconnues.
Il est à noter qu'il existe une dissociation entre les performances en ensemble fermé et en ensemble ouvert : les agents les plus faciles à identifier lorsque leur identité est connue (par exemple, Seed-2-lite) ne sont pas nécessairement les plus faciles à distinguer des agents inconnus dans un contexte d'ensemble ouvert.

Importance des Caractéristiques et Robustesse

Dominance du Timing : Dans des conditions normales, les caractéristiques temporelles (intervalles inter-événements, temps jusqu'à la première action) sont les principaux moteurs de la précision de classification.
Robustesse face aux Perturbations : Les auteurs ont testé la résilience de ces empreintes en injectant des délais aléatoires (jusqu'à 5 secondes) entre les actions.
- Les classificateurs entraînés sur des traces propres subissent une chute brutale de performance lorsqu'ils sont évalués sur des traces retardées.
- Cependant, les classificateurs re-entraînés sur des traces retardées récupèrent largement leur performance. Ils déplacent leur dépendance du timing pur vers des caractéristiques structurelles robustes, telles que la dispersion des coordonnées de clic, les ratios de touches structurelles et les ratios de clics sur liens. Cela indique que, bien que le timing soit le signal le plus fort, l'« empreinte digitale » comportementale n'en dépend pas exclusivement.

Généralisation

Transfert de Tâche : Le transfert mono-tâche (entraînement sur une tâche, test sur une autre au sein du même site) est faible. Cependant, l'entraînement regroupé par site (combinant des traces de plusieurs tâches sur le même site web) récupère une forte performance d'attribution.
Transfert Inter-Sites : Le transfert entre différents sites web (par exemple, de Wikipédia à Amazon) reste faible, suggérant que les empreintes digitales sont conditionnées par l'interaction spécifique entre le modèle, la distribution des tâches et l'interface du site web.

4. Signification et Implications

L'article affirme que ce travail établit une nouvelle surface d'attaque pour les agents LLM : l'attribution passive de modèle via des traces d'interface utilisateur.

Modèle de Menace : L'attaque est passive et co-localisée (l'adversaire contrôle la page). Elle ne nécessite ni visibilité réseau ni sondage actif.
Vecteur d'Exploitation : Une fois un agent identifié, un adversaire peut :
1. Déployer des Injections de Prompt Ciblés : Sélectionner des jailbreaks connus pour être efficaces contre le modèle spécifique identifié.
2. Gonfler les Coûts (Attaques Éponge) : Servir du contenu conçu pour maximiser la consommation de tokens pour les modèles de pointe à haut coût (par exemple, Claude Opus, GPT-5.4), créant ainsi efficacement un déni de service contre le budget d'inférence de l'utilisateur.
3. Contrôle d'Accès Conditionnel : Mettre en œuvre un blanchiment ou un blocage spécifique au modèle, ou servir du contenu empoisonné visible uniquement par des modèles spécifiques tout en apparaissant bénin pour les autres.
Limites de la Défense : Les normalisations standard des navigateurs, telles que l'aléatoire des délais de temporisation, sont insuffisantes pour protéger contre cette attaque si l'adversaire est prêt à réentraîner son classificateur sur les données perturbées.

5. Conclusion

Les auteurs concluent que le comportement en page des agents LLM sert de signal persistant et identifiant, comparable aux modèles eux-mêmes. Le passage de la détection « humain vs bot » à l'attribution « quel modèle » représente un changement fondamental dans le paysage des menaces pour les agents déployés. L'article publie un corpus étiqueté de traces d'agents et un cadre de navigateur pour faciliter la recherche ultérieure sur l'attribution comportementale et le développement de contre-mesures.

Note : L'article indique explicitement que sa portée actuelle est limitée à un seul cadre d'agent (Midscene.js), un ensemble fermé de 14 modèles, et une détection en ensemble ouvert qui n'est pas encore parfaite. Des travaux futurs sont nécessaires pour caractériser les signaux invariants par rapport au cadre d'agent et évaluer les défenses d'obfuscation contre des adversaires adaptatifs.