Resumo Técnico: Conhecidos por Suas Ações: Identificação de Agentes de Navegador de LLMs por Meio de Rastros de Interface

1. Formulação do Problema

À medida que os agentes de Modelos de Linguagem de Grande Escala (LLMs) transitam de protótipos de pesquisa para sistemas de produção que navegam na web em nome dos usuários, surge uma questão crítica de segurança: os sites podem identificar passivamente o modelo subjacente específico que impulsiona um agente? A detecção atual de bots geralmente enquadra o problema como uma classificação binária (humano versus automatizado). No entanto, à medida que a automação baseada em scripts é substituída por agentes de LLM, o cenário de ameaças se desloca. Nos quadros de segurança clássicos, a identificação do alvo é o pré-requisito para a exploração. Se um adversário puder determinar qual modelo está visitando uma página, ele poderá adaptar ataques — como selecionar jailbreaks específicos de um corpus conhecido ou reduzir o espaço de busca para ataques adversariais de caixa branca — com base em vulnerabilidades específicas do modelo.

Este artigo investiga se o modelo fundamental subjacente de um agente de navegador pode ser inferido exclusivamente a partir de rastros passivos de Interface de Usuário (UI) dentro da página. Os autores postulam que as ações de um agente (cliques, rolagens, pressionamentos de teclas) e os tempos de interação codificam uma impressão digital comportamental única, distinta do modelo, independente de cabeçalhos de navegador ou metadados da camada de rede, que podem ser falsificados.

2. Metodologia

Configuração Experimental

O estudo avalia 14 LLMs multimodais de ponta, incluindo modelos proprietários (GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash) e modelos de código aberto (séries Qwen3/3.5-VL, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite).

• Ambiente: Os agentes operam dentro de um harness de navegador padronizado (Midscene.js) que traduz decisões do modelo em comandos Playwright. Isso garante que as diferenças comportamentais surjam do próprio modelo e não do ambiente de execução.
• Tarefas: Os agentes realizam tarefas em quatro ambientes web ao vivo: dois benchmarks de recuperação de informações (2WikiMultiHop, FRAMES na Wikipedia) e dois benchmarks de compras (Webshop, Deepshop na Amazon).
• Coleta de Dados: Um rastreador JavaScript leve é injetado nas páginas-alvo. Ele registra passivamente eventos de interação do lado do cliente com resolução em milissegundos, capturando:
  • Tipos de ação (clique, rolagem, pressionamento de tecla, navegação).
  • Coordenadas espaciais (X/Y do clique, profundidade da rolagem).
  • Dinâmicas temporais (intervalos entre eventos, tempo até a primeira ação).
  • Padrões estruturais (razões de cliques em links, tipos de teclas).
• Formato do Rastro: Uma sessão gera um rastro $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$, onde $s_t$ é a observação, $u_t$ é a ação e $\Delta t_t$ é o tempo decorrido desde a ação anterior.

Abordagem de Classificação

O problema é formalizado como uma tarefa de classificação supervisionada para prever o modelo de origem $\hat{m} = f(\tau)$.

• Extração de Recursos: 41 recursos escalares são extraídos, categorizados em dinâmicas temporais (por exemplo, estatísticas de intervalo entre eventos), comportamento de rolagem, distribuição espacial de cliques e volume de navegação.
• Modelos: Cinco famílias de classificadores são treinadas: Regressão Lasso, Regressão Logística, Random Forest, XGBoost e uma rede LSTM. O XGBoost é destacado como o principal desempenho.
• Protocolos de Avaliação:
  • Identificação em Conjunto Fechado: O classificador é treinado e testado em um conjunto fixo de 14 agentes conhecidos.
  • Identificação em Conjunto Aberto: Um protocolo "leave-one-agent-out" (LOO) é usado para testar a capacidade de distinguir agentes conhecidos de um agente desconhecido (marcando o rastro como desconhecido).

3. Resultados Principais

Alta Precisão na Identificação em Conjunto Fechado

O estudo demonstra que os agentes são altamente identificáveis a partir de seus rastros de ação.

• Desempenho: O classificador XGBoost atinge pontuações Macro F1 de até 96% entre os 14 modelos.
• Consistência: Alto desempenho é observado em todos os quatro conjuntos de dados (2WikiMultiHop, FRAMES, Webshop, Deepshop). Por exemplo, o Seed-2-lite alcançou 96,1% de F1 no 2WikiMultiHop, e o UI-TARS-1.5 alcançou 92,1% no Webshop.
• Eficiência: Classificadores robustos podem ser treinados usando menos de um terço dos rastros de treinamento disponíveis. Além disso, a identidade do modelo pode ser inferida no início de um episódio; o Macro F1 sobe abruptamente dentro dos primeiros 40% das ações observadas, estabilizando-se próximo ao desempenho do rastro completo.

Detecção em Conjunto Aberto

Embora a identificação em conjunto aberto (distinguir conhecidos de desconhecidos) seja mais desafiadora, ela permanece viável.

• A maioria dos agentes alcança um AUROC > 0,60 na distinção entre rastros conhecidos e desconhecidos.
• Notavelmente, há uma dissociação entre o desempenho em conjunto fechado e em conjunto aberto: agentes que são mais fáceis de identificar quando sua identidade é conhecida (por exemplo, Seed-2-lite) não são necessariamente os mais fáceis de distinguir de agentes desconhecidos em um cenário de conjunto aberto.

Importância dos Recursos e Robustez

• Domínio do Tempo: Em condições normais, os recursos temporais (Intervalos entre Eventos, tempo até a primeira ação) são os principais impulsionadores da precisão da classificação.
• Robustez a Perturbações: Os autores testaram a resiliência dessas impressões digitais injetando atrasos aleatórios (até 5 segundos) entre as ações.
  • Classificadores treinados em rastros limpos sofrem uma queda acentuada no desempenho quando avaliados em rastros atrasados.
  • No entanto, classificadores re-treinados em rastros atrasados recuperam em grande parte o desempenho. Eles deslocam a dependência do tempo puro para recursos estruturais robustos, como dispersão de coordenadas de clique, razões estruturais de teclas e razões de cliques em links. Isso indica que, embora o tempo seja o sinal mais forte, a "impressão digital" comportamental não depende exclusivamente dele.

Generalização

• Transferência de Tarefa: A transferência de tarefa única (treinar em uma tarefa, testar em outra dentro do mesmo site) é fraca. No entanto, o treinamento em site agrupado (combinando rastros de múltiplas tarefas no mesmo site) recupera um forte desempenho de atribuição.
• Transferência entre Sites: A transferência entre sites diferentes (por exemplo, da Wikipedia para a Amazon) permanece fraca, sugerindo que as impressões digitais são condicionadas à interação específica entre o modelo, a distribuição de tarefas e a interface do site.

4. Significado e Implicações

O artigo afirma que este trabalho estabelece uma nova superfície de ataque para agentes de LLM: atribuição passiva de modelos por meio de rastros de UI.

• Modelo de Ameaça: O ataque é passivo e co-localizado (o adversário controla a página). Não requer visibilidade de rede ou sondagem ativa.
• Vetor de Exploração: Uma vez que um agente é identificado, um adversário pode:
  1. Implantar Injeções de Prompt Direcionadas: Selecionar jailbreaks conhecidos por serem eficazes contra o modelo específico identificado.
  2. Inflar Custos (Ataques Sponge): Servir conteúdo projetado para maximizar o consumo de tokens para modelos de ponta de alto custo (por exemplo, Claude Opus, GPT-5.4), criando efetivamente uma negação de serviço contra o orçamento de inferência do usuário.
  3. Controle de Acesso Condicional: Implementar listas brancas ou pretas específicas do modelo, ou servir conteúdo envenenado visível apenas para modelos específicos, enquanto parece benigno para outros.
• Limitações de Defesa: Normalizações padrão de navegador, como a aleatorização de atrasos de tempo, são insuficientes para proteger contra esse ataque se o adversário estiver disposto a re-treinar seu classificador nos dados perturbados.

5. Conclusão

Os autores concluem que o comportamento na página de agentes de LLMs serve como um sinal persistente e identificável, comparável aos próprios modelos. A mudança da detecção "humano versus bot" para a atribuição "qual modelo" representa uma mudança fundamental no cenário de ameaças para agentes implantados. O artigo libera um corpus rotulado de rastros de agentes e um harness de navegador para facilitar pesquisas adicionais sobre atribuição comportamental e o desenvolvimento de contramedidas.

Nota: O artigo afirma explicitamente que seu escopo atual é limitado a um único harness de agente (Midscene.js), um conjunto fechado de 14 modelos e detecção em conjunto aberto que ainda não é perfeita. Trabalhos futuros são necessários para caracterizar sinais invariantes ao harness e avaliar defesas de ofuscação contra adversários adaptativos.