🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

Este artículo propone un marco de detección de tres clases que supera las limitaciones de los clasificadores binarios de humano contra bot mediante la identificación de agentes de IA a través de conjuntos de características de comportamiento mínimos y robustos (específicamente mouse_event_rate y teleport_click_ratio) que explotan artefactos inherentes de la automatización del navegador en lugar de patrones de razonamiento, logrando una precisión de detección casi perfecta incluso bajo intentos de evasión sofisticados.

Autores originales: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una ciudad gigante y bulliciosa. Durante décadas, los guardias de seguridad en las puertas tuvieron un trabajo muy sencillo: solo necesitaban detectar dos tipos de personas. Estaban los Humanos, que caminaban con pasos naturales y ligeramente tambaleantes, se detenían a pensar y, a veces, tropezaban con sus propios pies. Luego estaban los Bots, que eran como robots con una programación estricta, marchando en líneas perfectamente rectas, sin vacilar nunca y moviéndose con precisión mecánica. Los guardias construyeron todo su sistema en torno a este binario "Humano vs. Robot". Si caminabas como un humano, pasabas; si marchabas como un robot, te detenían.

Pero recientemente, un tercer tipo de visitante ha empezado a aparecer: el Agente de IA. Piensa en ellos como turistas increíblemente inteligentes y superinteligentes que pueden leer mapas, planificar rutas complejas y resolver acertijos mejor que nadie. Sin embargo, todavía necesitan usar las aceras y los pasos de peatones de la ciudad para desplazarse. El problema es que estos Agentes de IA son astutos. Son lo suficientemente inteligentes como para actuar como humanos cuando es necesario, pero todavía tienen que usar el sistema de metro automatizado de la ciudad (automatización del navegador) para moverse. Los viejos guardias de seguridad, entrenados solo para detectar "Humano" o "Robot", se están confundiendo. Están dejando pasar a los Agentes de IA por la puerta, pensando que son personas normales, porque los agentes son demasiado listos para parecerse a los robots de la vieja escuela que los guardias fueron entrenados para atrapar.

Este es el rompecabezas que un equipo de investigadores de la Universidad Técnica de Múnich y Kontext Security decidió resolver. Se hicieron una pregunta simple pero crucial: ¿Podemos distinguir la diferencia entre un humano, un robot y un inteligente agente de IA simplemente observando cómo mueven su ratón y hacen clic en los botones? Y si podemos, ¿cuál es la cantidad absoluta mínima de información que necesitamos para lograrlo?

La Gran Crisis de Identidad

Los investigadores descubrieron que los antiguos sistemas de seguridad estaban fallando estrepitosamente. Cuando probaron los detectores estándar de "Humano vs. Bot" con estos nuevos Agentes de IA, los resultados fueron desastrosos. Un tipo común de detector (llamado MLP) dejó que el 39.1% de los Agentes de IA se colaran, pensando que eran humanos. Un detector más sofisticado (llamado SAINT) dejó pasar el 34.5%. Incluso un modelo de Bosque Aleatorio (Random Forest) no detectó al 30.0% de ellos.

El equipo se dio cuenta de que esto no era solo porque los detectores fueran "tontos". Era un problema estructural. Los detectores estaban construidos con solo dos cajas para clasificar a las personas: "Humano" o "Bot". Cuando aparecía un Agente de IA inteligente, no encajaba de forma nítida en ninguna de las dos cajas, por lo que el detector simplemente adivinaba. Los investigadores demostraron que, si simplemente añadían una tercera caja etiquetada como "Agente", los detectores se volvían perfectos, atrapando el 100% de los agentes cada vez.

El Secreto está en los Movimientos "Fantasma"

Entonces, ¿cómo los atraparon? El equipo descubrió que los Agentes de IA no estaban siendo atrapados por su "pensamiento" o sus planes ingeniosos. En cambio, estaban siendo atrapados por los fantasmas en la máquina.

Imagina a un humano escribiendo en un teclado o moviendo un ratón. Su mano es un objeto físico. Tiene peso, tiene inercia y realiza movimientos diminutos, desordenados y erráticos que una cámara o un sensor pueden ver. Pero cuando un Agente de IA utiliza una herramienta de automatización de navegador (como Playwright), no está moviendo una mano física. Está enviando comandos digitales. Es como un fantasma presionando un botón.

Los investigadores descubrieron que estos fantasmas digitales dejan una firma específica e invisible:

Sin Jitter (Temblor): Cuando un humano mueve un ratón, este oscila un poco. Cuando la IA hace clic, simplemente aparece en el objetivo. No hay movimientos diminutos y desordenados que precedan al clic.
Sin Giros de "Rueda": Si desplazas una página web con la rueda del ratón, se crea un flujo de datos específico. La IA simplemente le dice a la página que se desplace, saltándose la rueda por completo.
Clics Instantáneos: Un humano tarda una fracción de segundo mínima en presionar y soltar un botón del ratón. La IA lo hace instantáneamente, con cero variación.

El equipo construyó una "escalera de evasión de cinco niveles" para probar si la IA podía esconderse. Intentaron todo:

Nivel 1: La IA simplemente hacía clics normales.
Nivel 2: La IA intentaba dibujar líneas curvas (como un humano) usando fórmulas matemáticas.
Nivel 3: La IA utilizó una "GAN" (un tipo de IA que aprende a copiar movimientos humanos) para generar trayectorias de ratón falsas.
Nivel 4: La IA añadió "jitter" aleatorio para parecer más humana.
Nivel 5: La IA reprodujo grabaciones de humanos reales moviendo sus ratones.

¡Incluso cuando la IA reprodujo una grabación de humanos reales moviendo sus ratones (Nivel 5), aun así fue atrapada! ¿Por qué? Porque aunque la trayectoria del ratón parecía humana, la forma en que se produjo el clic seguía siendo un comando digital. La IA no podía fingir el hecho de que no estaba usando un ratón físico o que no tenía los pequeños y naturales temblores de una mano humana. La firma del "fantasma" seguía ahí.

El Conjunto Mágico de Dos Características

La parte más emocionante del descubrimiento fue cuanta menos información se necesitaba realmente. Los investigadores probaron miles de combinaciones diferentes de características para encontrar el conjunto más pequeño que pudiera atrapar a cada uno de los Agentes de IA.

Descubrieron que no necesitas un sistema supercomplejo. Solo necesitas dos cosas simples para detectar a la IA:

Tasa de Eventos del Ratón: Con qué frecuencia se mueve el ratón. (Los movimientos de la IA suelen ser dispersos o inexistentes antes de un clic).
Desviación Estándar de la Duración del Clic: Cuánto varía el tiempo que toma hacer un clic. (Los clics de la IA son perfectamente consistentes; los clics humanos varían).

Con solo estas dos pistas, el sistema podía identificar el 100% de los agentes de IA, incluso cuando intentaban esconderse usando los trucos más avanzados. Si añadían tres características más (como la velocidad de escritura o cuánto variaba la velocidad de desplazamiento), el sistema podía distinguir perfectamente entre Humanos, Bots y Agentes con una puntuación de 0.991 (que es casi perfecta).

Lo que esto significa

El artículo concluye que atrapar a los Agentes de IA no consiste en intentar averiguar si están "pensando" como un humano. Se trata de notar que están utilizando un tipo de "músculo" diferente para moverse por la web. Están utilizando comandos digitales en lugar de manos físicas. El uso de manos físicas es lo que los distingue.

Los investigadores advierten que, si intentas construir un detector utilizando solo una característica, podrías ser engañado. Por ejemplo, una característica que parecía perfecta por sí sola hizo que el detector clasificara a todos como "Agente", incluyendo a los humanos reales, lo cual es inútil. Pero con las dos características correctas, el detector es increíblemente robusto.

Este descubrimiento es un gran acontecimiento para el futuro de internet. A medida que los Agentes de IA se vuelvan más comunes, los sitios web necesitarán saber quién está navegando. Esta investigación demuestra que no necesitamos construir sistemas masivos y complicados para detectarlos. Solo necesitamos buscar las huellas diminutas e invisibles que los fantasmas digitales dejan atrás cuando intentan caminar como humanos. Y mientras sigan utilizando las herramientas estándar del navegador, esas huellas siempre estarán ahí.

Resumen Técnico: Conjuntos de Características Mínimas para la Detección Conductual de Agentes de IA bajo Automatización de Navegador

1. Planteamiento del Problema

La industria de la seguridad ha operado durante mucho tiempo bajo una suposición binaria: el tráfico web es o bien humano o bien bot. Esta dicotomía ha impulsado el desarrollo de biometría conductual, CAPTCHAs y plataformas de gestión de bots. Sin embargo, la emergencia de agentes de IA impulsados por LLM (por ejemplo, el "Computer Use" de Anthropic, el "Operator" de OpenAI) ha introducido una tercera clase de tráfico distinta. A diferencia de los bots tradicionales que siguen scripts rígidos, estos agentes navegan, razonan y ejecutan tareas de múltiples pasos de forma autónoma a través de navegadores reales utilizando APIs de automatización como Playwright.

El problema central identificado es que los clasificadores binarios estructuralmente no pueden representar un mundo de tres clases. Al verse forzados a elegir entre "humano" y "bot", los detectores binarios desvían erróneamente a los agentes de IA. El documento demuestra que esto no es meramente un problema de capacidad de modelado, sino uno arquitectónico: el espacio de etiquetas carece de una clase "agente". En consecuencia, los detectores binarios sofisticados (MLP, SAINT) clasifican erróneamente aproximadamente entre el 34 % y el 39 % de los agentes de IA reales como "humanos", mientras que los modelos que sí logran captarlos (como XGBoost) suelen depender de características frágiles y coincidentes en lugar de señales robustas específicas de los agentes.

2. Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos unificado de tres clases que comprende:

Humanos: Más de 14,000 sesiones de CaptchaSolve30k, capturando la dinámica del ratón durante la resolución de CAPTCHAs.
Bots: 5,000 muestras sintéticas generadas a partir de tres arquetipos (Headless, Scripted, Sophisticated) basados en distribuciones fundamentadas en la literatura. El arquetipo "Sophisticated" se solapa intencionadamente con el comportamiento humano para evitar la separación trivial de características.
Agentes: 1,025 sesiones reales donde un LLM (Claude) dirigió un navegador Chrome a través de Playwright en 10 tareas web diversas (formularios, navegación, inicio de sesión, etc.).

Ingeniería de Características

El estudio extrajo 17 características conductuales continuas (trayectoria, clic, tiempo y ratios específicos de agentes) y 7 características de entorno binarias. Las características clave incluyeron:

mouse_event_rate: Tasa de eventos de movimiento de ratón (mousemove) brutos.
teleport_click_ratio: Fracción de clics precedidos por saltos de eventos brutos.
click_duration_std: Desviación estándar del tiempo de mantenimiento del clic.
Características inter_action_gap_: Diseñadas para capturar el ciclo "pausa-pensamiento-acción" de los LLM.

Arquitectura del Modelo y Evaluación

Modelos: El estudio evaluó MLP, Random Forest, XGBoost y SAINT (un transformador tabular).
Formulación de Tres Clases: Para abordar la brecha estructural, los autores adaptaron SAINT para la clasificación de tres clases (Humano, Bot, Agente).
Escalera de Evasión: Para probar la robustez, se construyó una escalera de evasión de cinco niveles, escalando desde:
1. Ninguna: API nativa de Playwright.
2. Basada en reglas: Curvas de Bézier y retrasos muestreados de humanos.
3. GAN: Trayectorias generadas por WGAN-GP.
4. GAN+: Trayectorias de GAN con micro-jitter y temporización de la ley de Fitts.
5. Replay Humano: Trayectorias de cursor de humanos reales de CaptchaSolve30k reproducidas mediante Playwright.
Selección de Características: Se realizó una búsqueda exhaustiva de 9,401 subconjuntos de características ( $k=1$ a $5$), complementada con selección hacia adelante (forward selection) y eliminación hacia atrás (backward elimination), utilizando modelos de Gradient Boosting Machines (GBM) para la tractabilidad computacional.

3. Resultados Clave

La Brecha de Detección Binaria

Los detectores binarios fallan al distinguir agentes de humanos de manera efectiva:

MLP: 39.1% de los agentes fueron clasificados erróneamente como humanos.
SAINT: 34.5% de los agentes fueron clasificados erróneamente como humanos.
Random Forest: 30.0% clasificados erróneamente.
XGBoost: Logró una detección del 100%, pero dependió de características frágiles y coincidentes (por ejemplo, la ausencia de eventos de scroll) en lugar de señales específicas del agente.

Resolución: Cambiar a una formulación de tres clases (Humano, Bot, Agente) eliminó la brecha por completo. Un modelo SAINT entrenado en las tres clases alcanzó un F1 = 1.000 para los agentes en las 30 ejecuciones (3 familias de modelos × 10 semillas).

Robustez contra la Evasión

El detector de tres clases mantuvo un 100% de recall de agentes a través de todos los cinco niveles de evasión, incluyendo el nivel de "Replay Humano", donde se reprodujeron trayectorias humanas reales mediante Playwright.

Perspectiva Crítica: La evasión a nivel de trayectoria (GANs, replay) falla porque la estructura del flujo de eventos sigue siendo no humana. Las APIs de automatización (Playwright) no emiten flujos de eventos de puntero bruto o flujos de delta de rueda que producen los dispositivos físicos.
Artefactos: La señal de detección depende de "firmas de ausencia": cero teletransportaciones de eventos brutos antes de los clics, series de delta de rueda vacías y pistas de mousemove previas al clic vacías. Estos persisten incluso cuando la trayectoria del cursor es similar a la humana.

Conjuntos de Características Mínimas

A través de la búsqueda exhaustiva y la eliminación hacia atrás, el documento identificó que un pequeño subconjunto de características es suficiente:

Dos Características:
- {mouse_event_rate, teleport_click_ratio} (de la búsqueda exhaustiva): Logra un recall de agente del 100% con una Precisión de Agente = 0.994 y un Macro-F1 = 0.926.
- {mouse_event_rate, click_duration_std} (de la eliminación hacia atrás): Logra un recall de agente del 100% con una Precisión de Agente = 1.000 y un Macro-F1 = 0.904.
Cinco Características: Elevan el Macro-F1 a ≥0.99, permitiendo una discriminación robusta entre las tres clases.
Caso Degenerado ( $k=1$ ): La única característica "perfecta" (cursor_path_linearity) es una trampa diagnóstica; obliga al clasificador a predecir siempre "agente", resultando en una precisión baja (0.33) y un Macro-F1 (0.17).

Origen de la Señal

La señal discriminante no es un artefacto del razonamiento del agente (el ciclo "pausa-pensamiento-acción") ni de la complejidad de la tarea.

Las características diseñadas para capturar las brechas de inferencia de los LLM (por ejemplo, inter_action_gap_variance) fueron eliminadas por la eliminación hacia atrás sin afectar el recall.
La señal es un artefacto de ejecución de la API: la forma específica en que las APIs de automatización de navegadores (Playwright/CDP) generan eventos (llamadas programáticas al DOM) difiere fundamentalmente de los dispositivos de entrada físicos.
Independencia de la Tarea: Eliminar las características correlacionadas con la tarea (escritura, scroll) no afectó la detección de agentes, confirmando que la señal reside en la dinámica del ratón y la presencia del flujo de eventos.

4. Significado y Reivindicaciones

El documento afirma ser el primer trabajo en:

Tratar a los agentes de navegación impulsados por LLM como una categoría de detección distinta separada de los bots tradicionales.
Demostrar que la confusión "binario vs. agente" es una limitación arquitectónica del espacio de etiquetas, resoluble añadiendo una tercera clase.
Mostrar que la detección depende de artefactos de API de bajo nivel (ausencia de flujos de eventos brutos) en lugar de patrones cognitivos de alto nivel, lo que la hace robusta frente a la evasión de trayectoria (GANs, replay humano).
Proporcionar un conjunto de características mínimo para el despliegue práctico, demostando que dos características conductuales pueden aislar agentes con precisión unitaria.

Limitaciones y Alcance:

Los resultados son específicos para la automatización mediada por CDP (Playwright, Puppeteer, Selenium con CDP).
El documento establece explícitamente que los agentes que evaden las APIs del navegador por completo (por ejemplo, mediante simulación de entrada a nivel de SO como xdotool o emuladores de hardware) probablemente evadirían este método de detección.
La clase de bot es sintética; aunque la detección de agentes se valida con datos reales, los puntajes de Macro-F1 para la discriminación de tres clases dependen de las distribuciones sintéticas de los bots.
El nivel de evasión de "Replay Humano" está limitado a la API de Playwright; no prueba la inyección a nivel de sistema operativo.

En conclusión, el documento argumenta que la detección de agentes de IA es actualmente factible y robusta porque operan a través de APIs de automatización que dejan una firma de "ausencia" distintiva y no humana en el flujo de eventos. Esta señal es redundante, mínima (requiere solo 2 a 5 características) y sobrevive incluso a los intentos de evasión de trayectoria más sofisticados.