🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

Este artigo propõe um framework de detecção de três classes que supera as limitações dos classificadores binários de humano-contra-bot ao identificar agentes de IA por meio de conjuntos de características comportamentais mínimos e robustos (especificamente mouse_event_rate e teleport_click_ratio) que exploram artefatos inerentes à automação de navegadores em vez de padrões de raciocínio, alcançando uma precisão de detecção quase perfeita mesmo sob tentativas de evasão sofisticadas.

Autores originais: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade gigante e movimentada. Durante décadas, os guardas de segurança nos portões tinham um trabalho muito simples: eles só precisavam identificar dois tipos de pessoas. Havia os Humanos, que caminhavam com passos naturais, levemente instáveis, paravam para pensar e, às vezes, tropeçavam nos próprios pés. Depois, havia os Bots, que eram como robôs em um cronograma rigoroso, marchando em linhas perfeitamente retas, sem hesitar e movendo-se com precisão mecânica. Os guardas construíram todo o seu sistema em torno desse binário "Humano vs. Robô". Se você caminhasse como um humano, entrava; se marchasse como um robô, era parado.

Mas recentemente, um terceiro tipo de visitante começou a aparecer: o Agente de IA. Pense neles como turistas incrivelmente inteligentes, superinteligentes, que conseguem ler mapas, planejar rotas complexas e resolver quebra-cabeças melhor do que qualquer pessoa. No entanto, eles ainda precisam usar as calçadas e faixas de pedestres da cidade para se locomover. O problema é que esses Agentes de IA são astutos. Eles são inteligentes o suficiente para agir como humanos quando precisam, mas ainda precisam usar o sistema de metrô automatizado da cidade (automação de navegador) para se mover. Os antigos guardas de segurança, treinados apenas para detectar "Humano" ou "Robô", estão ficando confusos. Eles estão deixando os Agentes de IA passarem pelo portão, pensando que são apenas pessoas comuns, porque os agentes são espertos demais para parecerem os robôs antigos que os guardas foram treinados para pegar.

Este é o enigma que uma equipe de pesquisadores da Universidade Técnica de Munique e da Kontext Security decidiu resolver. Eles fizeram uma pergunta simples, mas crucial: Podemos diferenciar um humano, um robô e um agente de IA inteligente apenas observando como eles movem o mouse e clicam em botões? E, se pudermos, qual é a quantidade absoluta mínima de informação que precisamos para fazer isso?

A Grande Crise de Identidade

Os pesquisadores descobriram que os antigos sistemas de segurança estavam falhando espetacularosamente. Quando testaram os detectores padrão de "Humano vs. Bot" nesses novos Agentes de IA, os resultados foram confusos. Um tipo comum de detector (chamado de MLP) deixou 39,1% dos Agentes de IA passarem, pensando que eram humanos. Um detector mais sofisticado (chamado SAINT) deixou 34,5% passarem. Um modelo de Floresta Aleatória (Random Forest) também deixou passar 30,0% deles.

A equipe percebeu que isso não era apenas porque os detectores eram "burros". Era um problema estrutural. Os detectores foram construídos com apenas duas caixas para classificar as pessoas: "Humano" ou "Robô". Quando um Agente de IA inteligente aparecia, ele não se encaixava perfeitamente em nenhuma das duas caixas, então o detector apenas chutava. Os pesquisadores provaram que, se simplesmente adicionassem uma terceira caixa rotulada como "Agente", os detectores se tornariam perfeitos, capturando 100% dos agentes todas as vezes.

O Segredo está nos Movimentos "Fantasmagóricos"

Então, como eles os pegaram? A equipe descobriu que os Agentes de IA não estavam sendo pegos por causa de seu "pensamento" ou de seus planos complexos. Em vez disso, eles estavam sendo pegos pelos fantasmas na máquina.

Imagine um humano digitando em um teclado ou movendo um mouse. A mão dele é um objeto físico. Ela tem peso, tem inércia e produz movimentos minúsculos, desordenados e trêmulos que uma câmera ou sensor podem ver. Mas quando um Agente de IA usa uma ferramenta de automação de navegador (como o Playwright), ele não está movendo uma mão física. Ele está enviando comandos digitais. É como um fantasma empurrando um botão.

Os pesquisadores descobriram que esses fantasmas digitais deixam uma assinatura específica e invisível:

Sem Tremor (Jitter): Quando um humano move o mouse, ele oscila um pouco. Quando a IA clica, ela simplesmente aparece no alvo. Não há movimentos minúsculos e desordenados que antecedem o clique.
Sem Giros de "Roda": Se você rola uma página da web com a roda do mouse, isso cria um fluxo específico de dados. A IA apenas diz à página para rolar, pulando a roda inteira.
Cliques Instantâneos: Um humano leva uma fração minúscula de segundo para pressionar e soltar um botão do mouse. A IA faz isso instantaneamente, com zero variação.

A equipe construiu uma "escada de evasão de cinco níveis" para testar se a IA poderia se esconder. Eles tentaram de tudo:

Nível 1: A IA apenas clicava normalmente.
Nível 2: A IA tentou desenhar linhas curvas (como um humano) usando fórmulas matemáticas.
Nível 3: A IA usou uma "GAN" (um tipo de IA que aprende a copiar movimentos humanos) para gerar caminhos de mouse falsos.
Nível 4: A IA adicionou "jitter" aleatório para parecer mais humana.
Nível 5: A IA reproduziu gravações de humanos reais movendo seus mouses.

Mesmo quando a IA reproduziu uma gravação de um humano real (Nível 5), ela ainda foi pega! Por quê? Porque mesmo que o caminho do mouse parecesse humano, a maneira como o clique aconteceu ainda era um comando digital. A IA não conseguia fingir o fato de que não estava usando um mouse físico ou que não possuía os pequenos e naturais tremores de uma mão humana. A assinatura do "fantasma" ainda estava lá.

O Conjunto Mágico de Dois Recursos

A parte mais emocionante da descoberta foi o quão pouca informação era realmente necessária. Os pesquisadores testaram milhares de diferentes combinações de recursos para encontrar o menor conjunto que pudesse capturar cada único Agente de IA.

Eles descobriram que você não precisa de um sistema supercomplexo. Você só precisa de dois elementos simples para identificar a IA:

Taxa de Eventos do Mouse: Com que frequência o mouse se move. (Movimentos de IA são frequentemente esparsos ou inexistentes antes de um clique).
Desvio Padrão da Duração do Clique: O quanto o tempo que leva para clicar varia. (Cliques de IA são perfeitamente consistentes; cliques humanos variam).

Com apenas essas duas pistas, o sistema podia identificar 100% dos agentes de IA, mesmo quando eles tentavam se esconder usando os truques mais avançados. Se eles adicionassem mais três recursos (como a velocidade da digitação ou o quanto a velocidade da rolagem variava), o sistema poderia distinguir perfeitamente entre Humanos, Bots e Agentes, com uma pontuação de 0,991 (que é quase perfeita).

O Que Isso Significa

O artigo conclui que capturar Agentes de IA não é sobre tentar descobrir se eles estão "pensando" como um humano. É sobre notar que eles estão usando um tipo diferente de "músculo" para se mover pela web. Eles estão usando comandos digitais em vez de mãos físicas.

Os pesquisadores alertam que, se você tentar construir um detector usando apenas um recurso, você pode ser enganado. Por exemplo, um recurso que parecia perfeito por si só fez com que o detector chutasse "Agente" para todos, incluindo humanos reais, o que é inútil. Mas com os dois recursos certos, o detector é incrivelmente robusto.

Esta descoberta é um grande acontecimento para o futuro da internet. À medida que os Agentes de IA se tornam mais comuns, os sites precisarão saber quem está navegando. Esta pesquisa mostra que não precisamos construir sistemas massivos e complicados para detectá-los. Só precisamos procurar pelas pegadas minúsculas e invisíveis que os fantasmas digitais deixam para trás quando tentam caminhar como humanos. E, enquanto eles estiverem usando ferramentas de navegador padrão, essas pegadas sempre estarão lá.

Resumo Técnico: Conjuntos de Recursos Mínimos para Detecção Comportamental de Agentes de IA sob Automação de Navegador

1. Declaração do Problema

A indústria de segurança tem operado há muito tempo sob uma suposição binária: o tráfego web é ou humano ou bot. Essa dicotomia impulsionou o desenvolvimento de biometria comportamental, CAPTCHAs e plataformas de gerenciamento de bots. No entanto, a emergência de agentes de IA impulsionados por LLM (ex: Computer Use da Anthropic, Operator da OpenAI) introduziu uma terceira classe de tráfego distinta. Diferente dos bots tradicionais que seguem scripts rígidos, esses agentes navegam de forma autônoma, raciocinam e executam tarefas de múltiplas etapas através de navegadores reais usando APIs de automação como o Playwright.

O problema central identificado é que classificadores binários estruturalmente não conseguem representar um mundo de três classes. Quando forçados a escolher entre "humano" e "bot", os detectores binários roteiam incorretamente os agentes de IA. O artigo demonstra que isso não é meramente um problema de capacidade de modelagem, mas sim arquitetônico: o espaço de rótulos carece de uma classe "agente". Consequentemente, detectores binários sofisticados (MLP, SAINT) classificam erroneamente cerca de 34–39% dos agentes de IA reais como "humanos", enquanto modelos que conseguem capturá-los (como o XGBoost) frequentemente dependem de recursos frágeis e coincidentes em vez de sinais robustos e específicos de agentes.

2. Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados unificado de três classes composto por:

Humanos: Mais de 14.000 sessões do CaptchaSolve30k, capturando a dinâmica do mouse durante a resolução de CAPTCHAs.
Bots: 5.000 amostras sintéticas geradas a partir de três arquétipos (Headless, Scripted, Sophisticated) baseados em distribuições fundamentadas na literatura. O arquétipo "Sophisticated" sobrepõe-se intencionalmente ao comportamento humano para evitar a separação trivial de recursos.
Agentes: 1.025 sessões reais onde um LLM (Claude) conduziu um navegador Chrome via Playwright através de 10 tarefas web diversas (formulários, navegação, login, etc.).

Engenharia de Recursos (Feature Engineering)

O estudo extraiu 17 recursos comportamentais contínuos (trajetória, clique, tempo e razões específicas de agentes) e 7 recursos de ambiente binários. Os principais recursos incluíram:

mouse_event_rate: Taxa de eventos brutos de movimento do mouse (mousemove).
teleport_click_ratio: Fração de cliques precedidos por saltos de eventos brutos.
click_duration_std: Desvio padrão dos tempos de retenção do clique.
inter_action_gap_ features: Projetadas para capturar o ciclo "pausa-pensa-age" dos LLMs.

Arquitetura do Modelo e Avaliação

Modelos: O estudo avaliou MLP, Random Forest, XGBoost e SAINT (um transformador tabular).
Formulação de Três Classes: Para abordar a lacuna estrutural, os autores adaptaram o SAINT para classificação de três classes (Humano, Bot, Agente).
Escada de Evasão: Para testar a robustez, uma escada de evasão de cinco níveis foi construída, escalando de:
1. Nenhuma: API nativa do Playwright.
2. Baseada em Regras: Curvas de Bézier e atrasos amostrados de humanos.
3. GAN: Trajetórias geradas por WGAN-GP.
4. GAN+: Trajetórias de GAN com micro-jitter e temporização da Lei de Fitts.
5. Replay Humano: Trajetórias de cursor humano real do CaptchaSolve30k reproduzidas via Playwright.
Seleção de Recursos: Uma busca exaustiva sobre 9.401 subconjuntos de recursos ( $k=1$ a $5$), complementada por seleção direta (forward selection) e eliminação reversa (backward elimination), foi realizada usando Gradient Boosting Machines (GBM) para tratabilidade computacional.

3. Principais Resultados

A Lacuna de Detecção Binária

Detectores binários falham em distinguir agentes de humanos de forma eficaz:

MLP: 39,1% dos agentes foram classificados erroneamente como humanos.
SAINT: 34,5% dos agentes foram classificados erroneamente como humanos.
Random Forest: 30,0% classificados erroneamente.
XGBoost: Alcançou 100% de detecção, mas dependeu de recursos frágeis e coincidentes (ex: ausência de eventos de rolagem) em vez de sinais específicos de agentes.

Resolução: A mudança para uma formulação de três classes (Humano, Bot, Agente) eliminou a lacuna inteiramente. Um modelo SAINT treinado nas três classes alcançou F1 = 1.000 para agentes em todas as 30 execuções (3 famílias de modelos × 10 sementes).

Robustez Contra Evasão

O detector de três classes manteve 100% de recall de agentes em todos os cinco níveis de evasão, incluindo o nível de "Replay Humano", onde trajetórias humanas reais foram reproduzidas via Playwright.

Insight Crítico: A evasão no nível da trajetória (GANs, replay) falha porque a estrutura do fluxo de eventos permanece não-humana. As APIs de automação (Playwright) não emitem fluxos de eventos brutos de ponteiro ou fluxos de delta de roda (wheel-delta) que dispositivos físicos produzem.
Artefatos: O sinal de detecção baseia-se em "assinaturas de ausência": zero teletransportes de eventos brutos antes dos cliques, séries de wheel-delta vazias e trilhas de mousemove pré-clique vazias. Isso persiste mesmo quando o caminho do cursor é semelhante ao humano.

Conjuntos de Recursos Mínimos

Através de busca exaustiva e eliminação reversa, o artigo identificou que um pequeno subconjunto de recursos é suficiente:

Dois Recursos:
- {mouse_event_rate, teleport_click_ratio} (da busca exaustiva): Alcança 100% de recall de agente com Precisão do Agente = 0,994 e Macro-F1 = 0,926.
- {mouse_event_rate, click_duration_std} (da eliminação reversa): Alcança 100% de recall de agente com Precisão do Agente = 1,000 e Macro-F1 = 0,904.
Cinco Recursos: Eleva o Macro-F1 para ≥0,99, permitindo a discriminação robusta entre todas as três classes.
Caso Degenerado ( $k=1$ ): O único recurso "perfeito" (cursor_path_linearity) é uma armadilha diagnóstica; ele força o classificador a sempre prever "agente", resultando em baixa precisão (0,33) e Macro-F1 (0,17).

Origem do Sinal

O sinal discriminativo não é um artefato do raciocínio do agente (o ciclo "pausa-pensa-age") ou da complexidade da tarefa.

Recursos projetados para capturar lacunas de inferência de LLM (ex: inter_action_gap_variance) foram removidos pela eliminação reversa sem afetar o recall.
O sinal é um artefato de execução de API: a maneira específica como as APIs de automação de navegador (Playwright/CDP) geram eventos (chamadas programáticas de DOM) difere fundamentalmente de dispositivos de entrada físicos.
Independência de Tarefa: A remoção de recursos correlacionados à tarefa (digitação, rolagem) não impactou a detecção de agentes, confirmando que o sinal reside na dinâmica do mouse e na presença do fluxo de eventos.

4. Significância e Alegações

O artigo afirma ser o primeiro trabalho a:

Tratar agentes de navegação impulsionados por LLM como uma categoria de detecção distinta, separada de bots tradicionais.
Demonstrar que a confusão "binário vs. agente" é uma limitação arquitetônica do espaço de rótulos, solucionável adicionando uma terceira classe.
Mostrar que a detecção depende de artefatos de baixo nível de API (ausência de fluxos de eventos brutos), tornando-a robusta contra evasão de nível de trajetória (GANs, replay humano).
Fornecer um conjunto de recursos mínimo para implantação prática, provando que dois recursos comportamentais podem isolar agentes com precisão unitária.

Limitações e Escopo:

Os resultados são específicos para automação mediada por CDP (Playwright, Puppeteer, Selenium com CDP).
O artigo afirma explicitamente que agentes que contornam as APIs do navegador (ex: via simulação de entrada ao nível do SO como xdotool ou emuladores de hardware) provavelmente evitariam este método de detecção.
A classe de bot é sintética; embora a detecção de agentes seja validada em dados reais, os escores de macro-F1 para a discriminação de três classes dependem das distribuições sintéticas de bots.
O nível de evasão "Human Replay" é limitado à API do Playwright; ele não testa a injeção ao nível do sistema operacional.

Em conclusão, o artigo argumenta que detectar agentes de IA é atualmente viável e robusto porque eles operam através de APIs de automação que deixam uma assinatura de "ausência" distinta e não-humana no fluxo de eventos. Este sinal é redundante, mínimo (exigindo apenas 2–5 recursos) e sobrevive mesmo aos intentos de evasão de trajetória mais sofisticados.