🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

Cet article propose un cadre de détection à trois classes qui surmonte les limites des classificateurs binaires humain-contre-bot en identifiant les agents IA grâce à des ensembles de caractéristiques comportementales minimales et robustes (spécifiquement mouse_event_rate et teleport_click_ratio) qui exploitent les artefacts inhérents à l'automatisation des navigateurs plutôt que les schémas de raisonnement, atteignant une précision de détection quasi parfaite même lors de tentatives d'évasion sophistiquées.

Auteurs originaux : Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une ville immense et bouillonnante. Pendant des décennies, les gardes de sécurité aux portes avaient un travail très simple : ils n'avaient besoin de repérer que deux types de personnes. Il y avait les Humains, qui se déplaçaient avec des pas naturels, légèrement vacillants, s'arrêtaient pour réfléchir et parfois trébuchaient sur leurs propres pieds. Puis il y avait les Bots, qui étaient comme des robots suivant un programme strict, marchant en lignes parfaitement droites, sans jamais hésiter, et se déplaçant avec une précision mécanique. Les gardes avaient construit tout leur système autour de ce binaire « Humain contre Robot ». Si vous marchiez comme un humain, vous passiez ; si vous marchiez au pas comme un robot, vous étiez arrêté.

Mais récemment, un troisième type de visiteur a commencé à apparaître : l'Agent IA. Considérez-les comme des touristes incroyablement intelligents, super-intelligents, capables de lire des cartes, de planifier des itinéraires complexes et de résoudre des énigmes mieux que quiconque. Cependant, ils doivent quand même utiliser les trottoirs et les passages piétons de la ville pour se déplacer. Le problème est que ces Agents IA sont rusés. Ils sont assez intelligents pour agir comme des humains quand ils en ont besoin, mais ils doivent toujours utiliser le système de métro automatisé de la ville (l'automatisation du navigateur) pour se déplacer. Les anciens gardes de sécurité, entraînés uniquement à repérer « l'Humain » ou le « Robot », sont confus. Ils laissent passer les Agents IA, pensant qu'il s'agit de simples gens ordinaires, car les agents sont trop malins pour ressembler aux vieux robots classiques que les gardes ont été entraînés à attraper.

C'est le puzzle que une équipe de chercheurs de l'Université technique de Munich et de Kontext Security a décidé de résoudre. Ils se sont posé une question simple mais cruciale : pouvons-nous faire la différence entre un humain, un robot et un agent d'IA intelligent simplement en observant comment ils déplacent leur souris et cliquent sur des boutons ? Et si nous le pouvons, quelle est la quantité absolue minimale d'informations dont nous avons besoin pour le faire ?

La grande crise d'identité

Les chercheurs ont constaté que les anciens systèmes de sécurité échouaient de manière spectaculaire. Lorsqu'ils ont testé les détecteurs standards « Humain vs Bot » sur ces nouveaux Agents IA, les résultats étaient désordonnés. Un type courant de détecteur (appelé MLP) a laissé passer 39,1 % des Agents IA, pensant qu'il s'agissait d'humains. Un autre détecteur sophistiqué (appelé SAINT) en a laissé passer 34,5 %. Un modèle de Forêt Aléatoire (Random Forest) en a manqué 30,0 %.

L'équipe a réalisé que ce n'était pas seulement parce que les détecteurs étaient « stupides ». C'était un problème structurel. Les détecteurs étaient construits avec seulement deux boîtes pour trier les gens : « Humain » ou « Bot ». Lorsqu'un Agent IA intelligent arrivait, il ne rentrait pas proprement dans l'une ou l'autre des boîtes, alors le détecteur se contentait de deviner. Les chercheurs ont prouvé que s'ils ajoutaient simplement une troisième boîte étiquetée « Agent », les détecteurs devenaient parfaits, capturant 100 % des agents à chaque fois.

Le secret réside dans les mouvements « fantômes »

Alors, comment les ont-ils attrapés ? L'équipe a découvert que les Agents IA n'étaient pas capturés à cause de leur « pensée » ou de leurs plans ingénieux. Au lieu de cela, ils étaient capturés par les fantômes dans la machine.

Imaginez un humain tapant sur un clavier ou déplaçant une souris. Sa main est un objet physique. Elle a un poids, une inertie, et produit des mouvements minuscules, désordonnés et saccadés qu'une caméra ou un capteur peut voir. Mais lorsqu'un Agent IA utilise un outil d'automatisation de navigateur (comme Playwright), il ne déplace pas une main physique. Il envoie des commandes numériques. C'est comme un fantôme qui appuie sur un bouton.

Les chercheurs ont découvert que ces fantômes numériques laissent une signature spécifique et invisible :

Absence de tremblement (Jitter) : Lorsqu'un humain déplace une souris, elle vacille un peu. Quand l'IA clique, elle apparaît simplement à la cible. Il n'y a pas de petits mouvements désordonnés menant au clic.
Pas de rotation de « molette » : Si vous faites défiler une page Web avec la molette d'une souris, cela crée un flux de données spécifique. L'IA ordonne simplement à la page de défiler, sautant l'étape de la molette.
Clics instantanés : Un humain prend une fraction de seconde infime pour presser et relâcher un bouton de souris. L'IA le fait instantanément, avec une variation nulle.

L'équipe a construit une « échelle d'évasion à cinq niveaux » pour tester si l'IA pouvait se cacher. Ils ont tout essayé :

Niveau 1 : L'IA clique normalement.
Niveau 2 : L'IA essaie de tracer des lignes courbes (comme un humain) en utilisant des formules mathématiques.
Niveau 3 : L'IA utilise un « GAN » (un type d'IA qui apprend à copier les mouvements humains) pour générer de faux trajets de souris.
Niveau 4 : L'IA ajoute un « tremblement » aléatoire pour paraître plus humaine.
Niveau 5 : L'IA joue la lecture d'enregistrements de vrais humains déplaçant leurs souris.

Même lorsque l'IA jouait la lecture d'un enregistrement d'un vrai humain déplaçant sa souris (Niveau 5), elle se faisait toujours attraper ! Pourquoi ? Parce que même si le trajet de la souris semblait humain, la manière dont le clic se produisait était toujours une commande numérique. L'IA ne pouvait pas simuler le fait qu'elle n'utilisait pas une souris physique ou qu'elle n'avait pas les minuscules oscillations naturelles d'une main humaine. La signature du « fantôme » était toujours là.

Le jeu magique des deux caractéristiques

La partie la plus excitante de la découverte était de savoir quelle quantité minimale d'informations était réellement nécessaire. Les chercheurs ont testé des milliers de combinaisons différentes de caractéristiques pour trouver l'ensemble le plus petit capable de capturer chaque Agent IA.

Ils ont découvert que vous n'avez pas besoin d'un système super complexe. Vous avez seulement besoin de deux choses simples pour repérer l'IA :

Taux d'événements de la souris : La fréquence à laquelle la souris se déplace. (Les mouvements de l'IA sont souvent épars ou inexistants avant un clic).
Écart-type de la durée du clic : À quel point le temps nécessaire pour cliquer varie. (Les clics de l'IA sont parfaitement constants ; les clics humains varient).

Avec seulement ces deux indices, le système pouvait identifier 100 % des agents d'IA, même lorsqu'ils essayaient de se cacher en utilisant les astuces les plus avancées. S'ils ajoutaient trois autres caractéristiques (comme la vitesse de frappe ou la variation de la vitesse de défilement), le système pouvait parfaitement distinguer les Humains, les Bots et les Agents avec un score de 0,991 (ce qui est presque parfait).

Ce que cela signifie

L'article conclut que capturer les Agents IA ne consiste pas à essayer de comprendre s'ils « pensent » comme un humain. Il s'agit de remarquer qu'ils utilisent un type de « muscle » différent pour se déplacer sur le Web. Ils utilisent des commandes numériques au lieu de mains physiques. Ils utilisent des commandes numériques plutôt que des mains physiques.

Les chercheurs préviennent que si vous essayez de construire un détecteur en utilisant une seule caractéristique, vous pourriez être trompé. Par exemple, une caractéristique qui semblait parfaite en soi a fait que le détecteur classait tout le monde comme « Agent », y compris les vrais humains, ce qui est inutile. Mais avec les deux bonnes caractéristiques, le détecteur est incroyablement robuste.

Cette découverte est un événement majeur pour l'avenir d'Internet. À mesure que les Agents d'IA deviennent plus courants, les sites Web devront savoir qui navigue. Cette recherche montre que nous n'avons pas besoin de construire des systèmes massifs et compliqués pour les repérer. Nous devons simplement chercher les empreintes minuscules et invisibles que les fantômes numériques laissent derrière eux lorsqu'ils essaient de marcher comme des humains. Et tant qu'ils utilisent des outils de navigation standards, ces empreintes seront toujours là.

Résumé Technique : Ensembles de Caractéristiques Minimales pour la Détection Comportementale des Agents IA sous Automatisation de Navigateur

1. Énoncé du Problème

L'industrie de la sécurité opère depuis longtemps sur une hypothèse binaire : le trafic web est soit humain, soit robot (bot). Cette dichotomie a piloté le développement de la biométrie comportementale, des CAPTCHAs et des plateformes de gestion de bots. Cependant, l'émergence des agents IA pilotés par des LLM (par exemple, l'utilisation de l'ordinateur par Anthropic, l'Opérateur d'OpenAI) a introduit une troisième classe de trafic distincte. Contrairement aux bots traditionnels qui suivent des scripts rigides, ces agents naviguent de manière autonome, raisonnent et exécutent des tâches multi-étapes à travers de vrais navigateurs via des API d'automatisation comme Playwright.

Le problème central identifié est que les classificateurs binaires ne peuvent structurellement pas représenter un monde à trois classes. Lorsqu'ils sont forcés de choisir entre "humain" et "bot", les détecteurs binaires orientent mal les agents IA. Le document démontre qu'il ne s'agit pas seulement d'un problème de capacité de modélisation, mais d'un problème architectural : l'espace des étiquettes manque d'une classe "agent". Par conséquent, les détecteurs binaires sophistiqués (MLP, SAINT) classent de manière erronée environ 34 à 39 % des véritables agents IA comme "humains", tandis que les modèles qui parviennent à les détecter (comme XGBoost) reposent souvent sur des caractéristiques fragiles et fortuites plutôt que sur des signaux spécifiques aux agents qui soient robustes.

2. Méthodologie

Construction du Jeu de Données

Les auteurs ont construit un jeu de données unifié à trois classes comprenant :

Humains : Plus de 14 000 sessions issues de CaptchaSolve30k, capturant la dynamique de la souris lors de la résolution de CAPTCHAs.
Bots : 5 000 échantillons synthétiques générés à partir de trois archétypes (Headless, Scripted, Sophisticated) basés sur des distributions fondées sur la littérature. L'archétype "Sophisticated" chevauche intentionnellement le comportement humain pour éviter une séparation triviale des caractéristiques.
Agents : 1 025 sessions réelles où un LLM (Claude) a piloté un navigateur Chrome via Playwright à travers 10 tâches web diverses (formulaires, navigation, connexion, etc.).

Ingénierie des Caractéristiques (Feature Engineering)

L'étude a extrait 17 caractéristiques comportementales continues (trajectoire, clic, timing et ratios spécifiques aux agents) et 7 caractéristiques d'environnement binaires. Les caractéristiques clés incluent :

mouse_event_rate : Taux d'événements mousemove bruts.
teleport_click_ratio : Fraction de clics précédés par des sauts d'événements bruts.
click_duration_std : Écart-type de la durée de maintien des clics.
Caractéristiques inter_action_gap_ : Conçues pour capturer le cycle "pause-réflexion-action" des LLM.

Architecture du Modèle et Évaluation

Modèles : L'étude a évalué MLP, Random Forest, XGBoost et SAINT (un transformateur tabulaire).
Formulation à Trois Classes : Pour répondre au fossé structurel, les auteurs ont adapté SAINT pour une classification à trois classes (Humain, Bot, Agent).
Échelle d'Évasion : Pour tester la robustesse, une échelle d'évasion à cinq niveaux a été construite, progressant de :
1. Aucune : API Playwright native.
2. Basée sur des règles : Courbes de Bézier et délais échantillonnés à partir d'humains.
3. GAN : Trajectoires générées par WGAN-GP.
4. GAN+ : Trajectoires GAN avec micro-jitter et respect de la loi de Fitts.
5. Rejeu Humain : Trajectoires de curseur humain réelles issues de CaptchaSolve30k rejouées via Playwright.
Sélection de Caractéristiques : Une recherche exhaustive sur 9 401 sous-ensembles de caractéristiques ( $k=1$ à $5$), complétée par une sélection directe (forward selection) et une élimination de l'arrière (backward elimination), a été réalisée en utilisant des modèles de Gradient Boosting Machines (GBM) pour la tractabilité computationnelle.

3. Résultats Clés

Le Fossé de la Détection Binaire

Les détecteurs binaires échouent à distinguer efficacement les agents des humains :

MLP : 39,1 % des agents sont classés à tort comme humains.
SAINT : 34,5 % des agents sont classés à tort comme humains.
Random Forest : 30,0 % de classification erronée.
XGBoost : A atteint 100 % de détection mais reposait sur des caractéristiques fragiles et fortuites (ex: absence d'événements de défilement/scroll) plutôt que sur des signaux spécifiques aux agents.

Résolution : Le passage à une formulation à trois classes (Humain, Bot, Agent) a éliminé totalement ce fossé. Un modèle SAINT entraîné sur les trois classes a atteint un F1 = 1,000 pour les agents sur les 30 exécutions (3 familles de modèles × 10 graines/seeds).

Robustesse face à l'Évasion

Le détecteur à trois classes a maintenu un rappel d'agent de 100 % à travers les cinq niveaux d'évasion, y compris le niveau "Rejeu Humain" où de réelles trajectoires humaines ont été rejouées via Playwright.

Insight Critique : L'évasion au niveau de la trajectoire (GAN, rejeu) échoue car la structure du flux d'événements reste non-humaine. Les API d'automatisation (Playwright) n'émettent pas de flux de mouvements de pointeur bruts ou de deltas de molette que les périphériques physiques produisent.
Artefacts : Le signal de détection repose sur des "signatures d'absence" : absence de téléportations d'événements bruts avant les clics, séries de deltas de molette vides et traces de mouvement de souris pré-clic vides. Ces éléments persistent même lorsque le chemin du curseur est similaire à celui d'un humain.

Ensembles de Caractéristiques Minimales

À travers une recherche exhaustive et une élimination par l'arrière, l'article a identifié qu'un petit sous-ensemble de caractéristiques est suffisant :

Deux Caractéristiques :
- {mouse_event_rate, teleport_click_ratio} (via recherche exhaustive) : Atteint un rappel d'agent de 100 % avec une Précision d'Agent = 0,994 et un Macro-F1 = 0,926.
- {mouse_event_rate, click_duration_std} (via élimination par l'arrière) : Atteint un rappel d'agent de 100 % avec une Précision d'Agent = 1,000 et un Macro-F1 = 0,904.
Cinq Caractéristiques : Élèvent le Macro-F1 à ≥ 0,99, permettant une discrimination robuste à travers les trois classes.
Cas Dégénéré ( $k=1$ ) : La caractéristique "parfaite" unique (cursor_path_linearity) est un piège diagnostique ; elle force le classificateur à toujours prédire "agent", entraînant une faible précision (0,33) et un Macro-F1 (0,17).

Origine du Signal

Le signal discriminant n'est pas un artefact du raisonnement de l'agent (le cycle "pause-réflexion-action") ou de la complexité de la tâche.

Les caractéristiques conçues pour capturer les écarts d'inférence des LLM (ex: inter_action_gap_variance) ont été supprimées par l'élimination par l'arrière sans affecter le rappel.
Le signal est un artefact d'exécution d'API : la manière dont les API d'automatisation de navigateur (Playwright/CDP) génèrent les événements (appels DOM programmatiques) diffère fondamentalement des entrées de périphériques physiques.
Indépendance de la Tâche : La suppression des caractéristiques corrélées aux tâches (frappe au clavier, défilement) n'a pas impacté la détection des agents, confirmant que le signal réside dans la dynamique de la souris et la présence du flux d'événements.

4. Signification et Revendications

L'article affirme être le premier travail à :

Traiter les agents de navigation pilotés par LLM comme une catégorie de détection distincte des bots traditionnels.
Démontrer que la confusion "binaire vs agent" est une limitation architecturale de l'espace des étiquettes, soluble en ajoutant une troisième classe.
Montrer que la détection repose sur des artefacts d'API de bas niveau (absence de flux d'événements bruts) plutôt que sur des schémas cognitifs de haut niveau, ce qui la rend robuste face à l'évasion de trajectoire (GAN, rejeu humain).
Fournir un ensemble de caractéristiques minimal pour un déploiement pratique, prouant que deux caractéristiques comportementales peuvent isoler les agents avec une précision unitaire.

Limites et Portée :

Les résultats sont spécifiques à l'automatisation médiée par CDP (Playwright, Puppeteer, Selenium avec CDP).
Le papier stipule explicitement que les agents contournant les API de navigateur (par exemple, via une simulation d'entrée au niveau de l'OS comme xdotool ou des émulateurs matériels) pourraient probablement échapper à cette méthode de détection.
La classe "bot" est synthétique ; bien que la détection d'agent soit validée sur des données réelles, les scores Macro-F1 pour la discrimination à trois classes dépendent des distributions de bots synthétiques.
Le niveau d'évasion "Rejeu Humain" est limité à l'API Playwright ; il ne teste pas l'injection au niveau du système d'exploitation (OS).

En conclusion, l'article soutient que la détection des agents IA est actuellement réalisable et robuste car ils opèrent via des API d'automatisation qui laissent une "signature d'absence" distincte et non-humaine dans le flux d'événements. Ce signal est redondant, minimal (nécessitant seulement 2 à 5 caractéristiques) et survit même aux tentatives d'évasion de trajectoire les plus sophistiquées (GAN, rejeu humain).