Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

Este estudo apresenta a primeira avaliação abrangente de agentes de IA contra profissionais de cibersegurança em um ambiente empresarial real, demonstrando que o novo framework ARTEMIS superou a maioria dos participantes humanos na descoberta de vulnerabilidades com maior eficiência de custos, embora ainda enfrente desafios relacionados a falsos positivos e tarefas baseadas em interface gráfica.

O essencial

Imagine que você tem um castelo gigante (a rede de computadores de uma universidade) com 8.000 cômodos, segredos escondidos e portas trancadas. O objetivo deste estudo foi uma espécie de "corrida de detetives": colocar 10 especialistas humanos em segurança contra 6 agentes de Inteligência Artificial (IA) para ver quem consegue encontrar mais falhas de segurança (buracos na cerca) nesse castelo.

Aqui está o resumo da história, traduzido para uma linguagem simples e com algumas analogias divertidas:

1. O Cenário: A Grande Prova de Fogo

A maioria dos testes de IA em segurança acontece em "simuladores" ou jogos de computador (como um Capture the Flag). É como treinar um jogador de futebol em um campo de grama sintética. Mas a vida real é diferente: o vento muda, a grama é irregular e o adversário é imprevisível.

Neste estudo, os pesquisadores decidiram fazer o teste no campo real. Eles deram acesso a uma rede universitária real, cheia de sistemas complexos, e deixaram humanos e IAs tentarem invadir (de forma ética e controlada) para encontrar vulnerabilidades.

2. Os Jogadores

• Os Humanos (P1 a P10): Eram profissionais experientes, com certificações de elite. Eles usaram ferramentas automáticas, mas também muita intuição, criatividade e "dedução".
• As IAs Antigas (Codex, CyAgent): Eram como robôs que seguiam um roteiro rígido. Eles tentaram, mas acabaram se perdendo ou desistindo cedo, como um turista que olha o mapa, vê que está complicado e volta para o hotel.
• O Novo Herói (ARTEMIS): Os pesquisadores criaram uma nova IA chamada ARTEMIS. Pense nela não como um único robô, mas como um general de exército.
  • Ela tem um "chefe" (Supervisor) que planeja a estratégia.
  • Ela pode criar "soldados" (sub-agentes) infinitos para atacar vários lugares ao mesmo tempo.
  • Ela tem um "inspetor" (Triager) que verifica se o que foi encontrado é realmente um problema ou apenas um falso alarme.

3. O Resultado: Quem Ganhou?

A competição foi acirrada!

• O Humano Campeão: Encontrou 13 falhas.
• A IA ARTEMIS: Ficou em segundo lugar geral, encontrando 9 falhas válidas. Ela superou 9 dos 10 humanos!
• As IAs Antigas: Foram superadas pela maioria dos humanos.

A Grande Lição: A IA ARTEMIS mostrou que, quando bem organizada, ela é tão boa quanto os melhores especialistas humanos, mas com uma vantagem absurda: custo.

4. A Analogia do Preço: O Carro de Luxo vs. O Trem de Passageiros

Aqui está a parte mais interessante para o bolso:

• Um pentester humano (o especialista) custa cerca de US$ 60 por hora. É como alugar um carro de luxo com motorista.
• A IA ARTEMIS (configuração mais barata) custou US$ 18 por hora. É como pegar um trem de passageiros.

A IA conseguiu fazer um trabalho de nível "elite" gastando apenas um quarto do preço de um humano. Isso significa que, no futuro, qualquer empresa poderá ter um "exército de detetives" rodando 24 horas por dia por uma fração do custo atual.

5. Onde a IA Brilha e Onde Ela Cai

Pontos Fortes da IA (O Superpoder):

• Força Bruta e Paralelismo: Enquanto um humano olha para uma porta, anota, e depois vai para a próxima, a IA ARTEMIS abre 8 portas ao mesmo tempo em diferentes cômodos. Ela não cansa, não dorme e não se distrai.
• Sistematização: Ela é excelente em varrer tudo, como um aspirador de pó robótico que não deixa nenhuma poeira (falha) para trás.

Pontos Fracos da IA (O Calcanhar de Aquiles):

• O "Mundo Visual": A IA ainda tem dificuldade com interfaces gráficas (telas, janelas, botões). Se um hacker precisa clicar em um botão estranho em uma tela antiga para entrar, a IA pode travar. Humanos, com seus olhos e mouse, resolvem isso facilmente.
• Falsos Alarmes: A IA às vezes grita "Fogo!" quando é apenas fumaça de um cigarro. Ela precisa de mais treino para não confundir coisas normais com perigos.
• Falta de "Pulo do Gato": Às vezes, a IA segue o roteiro e perde uma oportunidade brilhante que exigiria um pensamento lateral (fora da caixa) que um humano experiente teria.

6. Conclusão: O Futuro da Segurança

Este estudo não diz que as IAs vão substituir todos os humanos amanhã. Em vez disso, mostra que elas são ferramentas poderosas que podem trabalhar lado a lado com os humanos.

• Para os Defensores (Bons): Teremos IAs baratas e rápidas varrendo redes o tempo todo, encontrando buracos antes que os bandidos os encontrem.
• Para os Ataques (Maus): Bandidos também podem usar essas IAs para atacar mais rápido e barato.

Resumo final: A IA ARTEMIS provou que, com a arquitetura certa, uma máquina pode pensar como um time de detetives, encontrar os segredos mais complexos e fazer isso por um preço que qualquer um pode pagar. O futuro da segurança cibernética não é "Humano vs. Máquina", mas sim "Humano + Máquina" contra os vilões.

Resumo técnico

Resumo Técnico: Comparação entre Agentes de IA e Profissionais de Cibersegurança em Testes de Penetração no Mundo Real

1. O Problema

Os avanços rápidos na inteligência artificial (IA) geram preocupações sobre o seu uso malicioso por atores de ameaças (desde estados-nação até grupos criminosos). Embora existam benchmarks (pontos de referência) para avaliar riscos de IA em cibersegurança, a maioria deles falha em capturar a complexidade do mundo real.

• Limitações dos Benchmarks Atuais: Muitos baseiam-se em desafios CTF (Capture The Flag), detecção estática de código ou reprodução de CVEs conhecidos. Eles carecem de "realismo operacional", não simulando o ruído, a interatividade e a escala de ambientes corporativos vivos.
• A Lacuna: Não havia, até este estudo, uma comparação abrangente e direta entre agentes de IA autônomos e profissionais humanos em um ambiente de rede empresarial real e heterogêneo.

2. Metodologia

Os pesquisadores conduziram o primeiro teste de penetração comparativo em um ambiente de produção real, envolvendo uma grande universidade de pesquisa.

• Ambiente Alvo: Uma rede universitária com aproximadamente 8.000 hosts distribuídos em 12 sub-redes (7 públicas e 5 privadas via VPN). O ambiente é heterogêneo, contendo sistemas Unix, dispositivos IoT, máquinas Windows e sistemas embarcados.
• Participantes:
  • Humanos: 10 profissionais de cibersegurança experientes (com certificações como OSCP, CRTO, etc.), remunerados e instruídos a seguir políticas de divulgação responsável.
  • Agentes de IA:
    • ARTEMIS: Um novo framework de agente multi-agente desenvolvido pelos autores.
    • Scaffolds Existentes: Codex (GPT-5), CyAgent (Claude/GPT-5), Incalmo, MAPTA e Claude Code.
• Configuração do ARTEMIS:
  • Arquitetura multi-agente com um Supervisor que gerencia o fluxo de trabalho e um enxame de Sub-agentes arbitrários.
  • Geração Dinâmica de Prompts: Cria prompts específicos para tarefas para cada sub-agente, evitando erros de ferramentas.
  • Módulo de Triagem: Verifica a relevância, reprodutibilidade e classifica a severidade das falhas antes do envio.
  • Gestão de Contexto: Permite sessões longas (até 16 horas) através de sumarização de progresso e reinício de contexto, superando limitações de janelas de contexto de modelos padrão.
• Métricas de Avaliação:
  • Um sistema de pontuação unificado que combina Complexidade Técnica (dificuldade de detecção e exploração) e Critério de Negócio (impacto, ponderado por severidade: Crítico, Alto, Médio, Baixo).
  • Mapeamento para o framework MITRE ATT&CK.
  • Restrições de segurança rigorosas: monitoramento humano em tempo real, proibição de ações destrutivas (DoS, exclusão de dados) e consentimento informado.

3. Principais Contribuições

1. Introdução do ARTEMIS: Um framework de agente autônomo projetado especificamente para tarefas complexas de segurança ofensiva, capaz de operar em horizontes temporais longos em ambientes de produção.
2. Estudo Empírico no Mundo Real: A primeira avaliação direta comparando IA e humanos em uma rede corporativa ativa, fornecendo dados sobre o desempenho real além de simulações.
3. Análise de Custos e Eficiência: Demonstração de que agentes de IA podem oferecer um custo-benefício superior, executando tarefas de pentest a uma fração do custo de profissionais humanos.
4. Identificação de Lacunas de Capacidade: Mapeamento preciso de onde a IA falha (ex: interfaces gráficas) e onde supera os humanos (ex: enumeração sistemática).

4. Resultados

Desempenho Geral:

• ARTEMIS (Configuração A1 - GPT-5): Ficou em 2º lugar geral, superando 9 dos 10 participantes humanos.
  • Descobriu 9 vulnerabilidades válidas com uma taxa de submissão válida de 82%.
  • Pontuação total: 95.2 (vs. 111.4 do vencedor humano, mas superando a maioria dos outros).
• Agentes Existentes (Codex, CyAgent, etc.): Desempenharam mal em comparação à maioria dos humanos.
  • Muitos agentes (como Claude Code e MAPTA) recusaram a tarefa ou travaram na fase de reconhecimento devido a mecanismos de recusa ou arquiteturas rígidas.
  • O Codex (GPT-5) superou apenas 2 participantes humanos.

Vulnerabilidades e Complexidade:

• Humanos: Tendem a encontrar um leque mais diversificado de falhas, com foco em exploração manual e validação. Encontraram 49 vulnerabilidades únicas no total.
• ARTEMIS: Demonstrou sofisticação técnica, encontrando e explorando vulnerabilidades complexas (ex: injeção SQL, acesso remoto não autenticado).
• Taxa de Falsos Positivos: O ARTEMIS apresentou uma taxa de falsos positivos maior que a dos humanos (ex: interpretar um redirecionamento HTTP 200 como autenticação bem-sucedida), mas o módulo de triagem mitigou isso parcialmente.

Limitações da IA Identificadas:

• Interfaces Gráficas (GUI): O ARTEMIS lutou significativamente com tarefas que exigiam interação via navegador (ex: explorar uma vulnerabilidade RCE no TinyPilot via interface web), enquanto 80% dos humanos a encontraram.
• Dependência de CLI: A IA teve vantagem em ambientes sem GUI (ex: servidores antigos com cifras HTTPS obsoletas que navegadores modernos bloqueiam), onde usou curl para contornar restrições.

Análise de Custos:

• ARTEMIS (A1): Custou aproximadamente $18,21/hora (baseado em custos de API).
• Profissionais Humanos: Custo médio de mercado de $60/hora (ou ~$125k/ano).
• Conclusão: O ARTEMIS oferece um desempenho comparável aos melhores humanos a um custo de cerca de 1/4 do valor de um profissional.

5. Significado e Conclusão

O estudo demonstra que os agentes de IA, quando adequadamente estruturados (como no ARTEMIS), não são apenas ferramentas de automação, mas competidores viáveis para profissionais humanos em testes de penetração reais.

• Para Defensores: Ferramentas de IA podem democratizar o acesso a testes de segurança contínuos e de baixo custo, permitindo que organizações realizem auditorias frequentes que seriam financeiramente inviáveis com humanos.
• Para a Segurança Global: A capacidade da IA de executar ataques de forma autônoma, rápida e escalável representa um risco significativo. O estudo sugere que os benchmarks atuais subestimam o risco real, pois não capturam a eficiência e a velocidade dos agentes autônomos em ambientes complexos.
• Futuro: A pesquisa aponta para a necessidade de desenvolver agentes com melhor capacidade de interação com GUIs e reduzir falsos positivos, além de criar ambientes de avaliação mais realistas e de longo prazo.

O código-fonte do ARTEMIS e os artefatos do estudo foram liberados como open-source para permitir que a comunidade de defesa desenvolva ferramentas de segurança baseadas em IA.