Resumen Técnico: Conocidos por sus Acciones: Huella Digital de Agentes Navegadores de LLM mediante Rastros de UI

1. Formulación del Problema

A medida que los agentes de Modelos de Lenguaje Grande (LLM) pasan de ser prototipos de investigación a sistemas de producción que navegan por la web en nombre de los usuarios, surge una pregunta crítica de seguridad: ¿pueden los sitios web identificar pasivamente el modelo subyacente específico que impulsa a un agente? La detección actual de bots suele plantear el problema como una clasificación binaria (humano vs. automatizado). Sin embargo, a medida que la automatización basada en scripts es desplazada por agentes de LLM, el panorama de amenazas cambia. En los marcos de seguridad clásicos, la identificación del objetivo es un prerrequisito para la explotación. Si un adversario puede determinar qué modelo está visitando una página, puede adaptar los ataques, como seleccionar inicios de sesión específicos (jailbreaks) de un corpus conocido o reducir el espacio de búsqueda para ataques adversarios de caja blanca, basándose en vulnerabilidades conocidas específicas del modelo.

Este artículo investiga si el modelo base subyacente de un agente navegador puede inferirse únicamente a partir de rastros pasivos de Interfaz de Usuario (UI) dentro de la página. Los autores postulan que las acciones de un agente (clics, desplazamientos, pulsaciones de teclas) y los tiempos de interacción codifican una huella conductual única, distinta del modelo, independiente de las cabeceras del navegador o los metadatos de la capa de red, los cuales pueden ser falsificados.

2. Metodología

Configuración Experimental

El estudio evalúa 14 LLM multimodales de vanguardia, incluidos modelos propietarios (GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash) y modelos de código abierto (series Qwen3/3.5-VL, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite).

• Entorno: Los agentes operan dentro de un arnés de navegador estandarizado (Midscene.js) que traduce las decisiones del modelo en comandos Playwright. Esto asegura que las diferencias conductuales surjan del propio modelo y no del entorno de ejecución.
• Tareas: Los agentes realizan tareas en cuatro entornos web en vivo: dos benchmarks de recuperación de información (2WikiMultiHop, FRAMES en Wikipedia) y dos benchmarks de compras (Webshop, Deepshop en Amazon).
• Recopilación de Datos: Se inyecta un rastreador ligero de JavaScript en las páginas objetivo. Registra pasivamente eventos de interacción del lado del cliente con resolución de milisegundos, capturando:
  • Tipos de acción (clic, desplazamiento, pulsación de tecla, navegación).
  • Coordenadas espaciales (X/Y del clic, profundidad de desplazamiento).
  • Dinámicas temporales (intervalos entre eventos, tiempo hasta la primera acción).
  • Patrones estructurales (proporciones de clics en enlaces, tipos de teclas).
• Formato del Rastro: Una sesión genera un rastro $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$, donde $s_t$ es la observación, $u_t$ es la acción y $\Delta t_t$ es el tiempo transcurrido desde la acción anterior.

Enfoque de Clasificación

El problema se formaliza como una tarea de clasificación supervisada para predecir el modelo de origen $\hat{m} = f(\tau)$.

• Extracción de Características: Se extraen 41 características escalares, categorizadas en dinámicas temporales (p. ej., estadísticas de intervalos entre eventos), comportamiento de desplazamiento, distribución espacial de los clics y volumen de navegación.
• Modelos: Se entrenan cinco familias de clasificadores: Regresión Lasso, Regresión Logística, Random Forest, XGBoost y una red LSTM. XGBoost se destaca como el principal rendimiento.
• Protocolos de Evaluación:
  • Huella Digital de Conjunto Cerrado: El clasificador se entrena y prueba en un conjunto fijo de 14 agentes conocidos.
  • Huella Digital de Conjunto Abierto: Se utiliza un protocolo de "dejar un agente fuera" (LOO) para probar la capacidad de distinguir agentes conocidos de un agente desconocido (marcando el rastro como desconocido).

3. Resultados Clave

Alta Precisión en la Identificación de Conjunto Cerrado

El estudio demuestra que los agentes son altamente identificables a partir de sus rastros de acción.

• Rendimiento: El clasificador XGBoost alcanza puntuaciones Macro F1 de hasta 96% en los 14 modelos.
• Consistencia: Se observa un alto rendimiento en los cuatro conjuntos de datos (2WikiMultiHop, FRAMES, Webshop, Deepshop). Por ejemplo, Seed-2-lite alcanzó un F1 del 96.1% en 2WikiMultiHop, y UI-TARS-1.5 alcanzó un 92.1% en Webshop.
• Eficiencia: Los clasificadores fuertes pueden entrenarse utilizando menos de un tercio de los rastros de entrenamiento disponibles. Además, la identidad del modelo puede inferirse al inicio de un episodio; el Macro F1 aumenta bruscamente dentro del primer 40% de las acciones observadas, estabilizándose cerca del rendimiento de rastro completo.

Detección de Conjunto Abierto

Si bien la identificación de conjunto abierto (distinguir conocidos de desconocidos) es más desafiante, sigue siendo viable.

• La mayoría de los agentes alcanzan un AUROC > 0.60 en la distinción entre rastros conocidos y desconocidos.
• Cabe destacar que existe una disociación entre el rendimiento de conjunto cerrado y de conjunto abierto: los agentes que son más fáciles de identificar cuando su identidad es conocida (p. ej., Seed-2-lite) no son necesariamente los más fáciles de distinguir de agentes desconocidos en un entorno de conjunto abierto.

Importancia de las Características y Robustez

• Dominio del Tiempo: En condiciones normales, las características temporales (Intervalos entre Eventos, tiempo hasta la primera acción) son los principales impulsores de la precisión de clasificación.
• Robustez ante Perturbaciones: Los autores probaron la resiliencia de estas huellas digitales inyectando retrasos aleatorios (hasta 5 segundos) entre acciones.
  • Los clasificadores entrenados en rastros limpios sufren una caída brusca de rendimiento al evaluarse en rastros retrasados.
  • Sin embargo, los clasificadores reentrenados en rastros retrasados recuperan en gran medida el rendimiento. Cambian su dependencia del tiempo puro hacia características estructurales robustas, como la dispersión de coordenadas de clic, proporciones estructurales de teclas y proporciones de clics en enlaces. Esto indica que, aunque el tiempo es la señal más fuerte, la "huella digital" conductual no depende exclusivamente de ella.

Generalización

• Transferencia de Tarea: La transferencia de una sola tarea (entrenar en una tarea, probar en otra dentro del mismo sitio) es débil. Sin embargo, el entrenamiento agrupado por sitio (combinando rastros de múltiples tareas en el mismo sitio web) recupera un fuerte rendimiento de atribución.
• Transferencia entre Sitios: La transferencia entre diferentes sitios web (p. ej., de Wikipedia a Amazon) sigue siendo débil, lo que sugiere que las huellas digitales están condicionadas por la interacción específica entre el modelo, la distribución de tareas y la interfaz del sitio web.

4. Significado e Implicaciones

El artículo afirma que este trabajo establece una nueva superficie de ataque para los agentes de LLM: atribución pasiva de modelos mediante rastros de UI.

• Modelo de Amenaza: El ataque es pasivo y co-ubicado (el adversario controla la página). No requiere visibilidad de red ni sondeo activo.
• Vector de Explotación: Una vez identificado un agente, un adversario puede:
  1. Implementar Inyecciones de Prompts Dirigidas: Seleccionar inicios de sesión (jailbreaks) conocidos por ser efectivos contra el modelo identificado específico.
  2. Inflar Costos (Ataques de Esponja): Servir contenido diseñado para maximizar el consumo de tokens para modelos de vanguardia de alto costo (p. ej., Claude Opus, GPT-5.4), creando efectivamente una denegación de servicio contra el presupuesto de inferencia del usuario.
  3. Control de Acceso Condicional: Implementar listas blancas o negras específicas del modelo, o servir contenido envenenado visible solo para modelos específicos mientras parece benigno para otros.
• Limitaciones de la Defensa: Las normalizaciones estándar del navegador, como la aleatorización de retrasos temporales, son insuficientes para protegerse contra este ataque si el adversario está dispuesto a reentrenar su clasificador con los datos perturbados.

5. Conclusión

Los autores concluyen que el comportamiento en la página de los agentes de LLM sirve como una señal persistente e identificadora comparable a los propios modelos. El cambio de la detección "humano vs. bot" a la atribución "qué modelo" representa un cambio fundamental en el panorama de amenazas para los agentes desplegados. El artículo publica un corpus etiquetado de rastros de agentes y un arnés de navegador para facilitar la investigación adicional sobre la atribución conductual y el desarrollo de contramedidas.

Nota: El artículo establece explícitamente que su alcance actual se limita a un único arnés de agente (Midscene.js), un conjunto cerrado de 14 modelos y una detección de conjunto abierto que aún no es perfecta. Se necesita trabajo futuro para caracterizar señales invariantes al arnés y evaluar defensas de ofuscación contra adversarios adaptativos.