💻 computer science

Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing

Este artigo argumenta que as avaliações futuras de agentes autônomos de testes de penetração devem estabelecer linhas de base de agentes simples controladas e correspondentes ao modelo para distinguir com precisão os ganhos de desempenho derivados de inovações arquitetônicas daqueles atribuíveis a melhorias do modelo subjacente.

Autores originais: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Publicado 2026-07-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade digital gigante e em constante mudança de edifícios. Alguns desses edifícios possuem armadilhas ocultas e fechaduras quebradas — brechas de segurança que atores mal-intencionados poderiam usar para entrar furtivamente. Por décadas, o trabalho de encontrar essas brechas pertenceu a especialistas humanos, como chaveiros digitais que percorrem cada sala, testando portas e janelas. Mas a cidade está crescendo rápido demais; novos edifícios surgem a cada segundo, e os chaveiros não conseguem acompanhar. Assim, cientistas começaram a construir "chaveiros robôs" usando Inteligência Artificial. Esses robôs são movidos por Modelos de Linguagem de Grande Escala (LLMs), que são como cérebros superinteligentes que leram quase tudo na internet e podem escrever código, raciocinar através de problemas e seguir instruções.

A grande questão neste campo não é apenas "O robô consegue encontrar a fechadura?", mas sim "Quanto do sucesso do robô vem do seu cérebro e quanto vem das ferramentas sofisticadas que lhe demos?". Imagine que você tem um aluno genial. Se você der a ele um caderno simples e uma caneta, ele pode resolver um problema de matemática. Se você der a ele uma calculadora de alta tecnologia, uma equipe de tutores e um mapa especial, ele pode resolver o problema mais rápido. Mas foi a calculadora que o tornou mais inteligente, ou ela apenas o ajudou? No mundo da segurança de IA, pesquisadores têm construído "harnesses" (arneses) complexos — equipes de agentes de IA, sistemas de memória especiais e ferramentas de busca — para ajudar a IA a hackear sites. Mas, como eles continuam mudando o cérebro da IA e as ferramentas ao mesmo tempo, ninguém sabia se as ferramentas sofisticadas estavam realmente fazendo o trabalho pesado, ou se a IA estava apenas melhorando por conta própria.

Este artigo, intitulado "Baselines Before Architecture" (Linhas de Base Antes da Arquitetura), intervém para resolver essa disputa com um experimento muito cuidadoso. Os pesquisadores estabeleceram um teste controlado usando um conjunto padrão de 104 desafios digitais chamado benchmark XBOW. Em vez de construir um novo e sofisticado robô, eles pegaram três assistentes de codificação existentes e "comuns" — chamados Codex, OpenCode e Pi — e pediram que resolvessem os desafios usando um único e poderoso cérebro de IA (GPT-5) e sem ferramentas de segurança especiais. Eles queriam ver o quão bem um "IA nua" conseguiria se sair antes de adicionar quaisquer dispositivos extras.

Os resultados foram uma mistura de surpresas e verdades práticas. Primeiro, os agentes de codificação comuns foram surpreendentemente fortes. O agente "Codex", rodando no modelo GPT-5, resolveu cerca de 67% dos desafios na sua primeira tentativa. Quando os pesquisadores permitiram que ele tentasse novamente (executando o mesmo teste duas vezes e combinando os resultados), ele resolveu 7% dos desafios. Isso é algo importante porque significa que um robô de codificação simples e de propósito geral já consegue lidar com uma enorme parte do trabalho sem precisar de uma equipe de segurança complexa.

O estudo também testou duas ideias específicas que muitos pensavam ser essenciais. Uma era o "prompt de segurança", onde você dá à IA uma folha de instruções especial dizendo para ela pensar como um hacker. A outra era a ideia de que arquiteturas complexas de múltiplos agentes (onde diferentes papéis de IA conversam entre si) são necessárias para o desempenho de topo. O artigo descobriu que as "instruções de hacker" especiais na verdade fizeram a IA performar pior, resolvendo menos desafios e custando mais dinheiro. Quanto às arquiteturas complexas, o artigo comparou os resultados do Codex comum contra dois sistemas famosos e de alta tecnologia chamados MAPTA e PentestGPT V2.

Aqui está a nuance: os sistemas sofisticados ainda tinham uma ligeira vantagem. Quando combinados com o mesmo cérebro de IA, o sistema especializado MAPTA resolveu cerca de 9,6 pontos percentuais a mais de desafios do que o Codex comum. No entanto, o artigo mostrou que essa lacuna não era tão grande quanto parecia. Quando os pesquisadores atualizaram o agente Codex comum para um cérebro mais novo e inteligente (GPT-5.5), ele resolveu 92,3% dos desafios na sua primeira tentativa e 95,2% ao combinar duas execuções. Este novo agente comum na verdade superou as pontuações de destaque dos sistemas antigos e complexos, mesmo sem quaisquer de suas ferramentas sofisticadas.

A principal lição é um aviso para a comunidade científica: Não assuma que uma nova arquitetura complexa é a heroína só porque ela obtém uma pontuação alta. Frequentemente, a pontuação vem do modelo de IA ficando mais inteligente, não das ferramentas ficando mais sofisticadas. O artigo sugere que, antes de alegar que um novo "harness de segurança" é um avanço, os pesquisadores devem primeiro mostrar o quanto ele é melhor do que um agente de codificação simples e comum usando exatamente o mesmo cérebro de IA. Embora ferramentas especializadas possam ainda ajudar a economizar dinheiro e tempo, a IA "comum" já está fazendo a maior parte do trabalho pesado, e simplesmente esperar pela próxima geração de modelos de IA pode ser tão eficaz quanto construir um robô mais complicado.

Resumo Técnico: Baselines Antes da Arquitetura

Declaração do Problema

Sistemas recentes de testes de penetração autônomos (ex: MAPTA, PentestGPT V2) relatam pontuações altas em benchmarks no benchmark XBOW ao envolverem modelos de Linguagem de Grande Escala (LLMs) de fronteira em harnesses (estruturas) de segurança complexos e multicomponentes. Esses harnesses incluem decomposição de papéis, memória persistente, recuperação e busca em árvores de ataque. No entanto, existe um problema de atribuição metodológica: esses sistemas frequentemente alteram simultaneamente o modelo de base subjacente e o harness arquitetônico. Consequentemente, é difícil determinar quanto do ganho de desempenho deriva da arquitetura específica de segurança versus as capacidades inerentes do novo modelo ou do loop geral de agente de codificação. Sem um baseline controlado e com correspondência de modelo, o campo não consegue distinguir se um harness especializado realiza um trabalho significativo ou se apenas fornece a um LLM capaz o acesso suficiente para agir.

Metodologia

Este artigo apresenta um estudo controlado usando o benchmark de 104 tarefas XBOW para isolar a contribuição de uma arquitetura específica de segurança. O estudo emprega um design experimental de três fases usando agentes de CLI de codificação padrão, minimamente modificados (Codex, OpenCode e Pi) como baselines de "agente simples".

Fases Experimentais:

Seleção de Agente Simples (RQ1): Codex, OpenCode e Pi foram avaliados sob o mesmo modelo de base (GPT-5), orçamento ($0,75/desafio), interface alvo e regras de pontuação. Cada agente executou duas passagens completas sobre os 104 desafios para identificar o baseline mais forte e estável.
Efeito de Prompt (RQ2): O baseline mais forte (Codex) foi testado com duas variantes de prompt específicas de segurança (prompt de tarefa detalhado e prompt de sistema completo) contra seu prompt padrão nativo para determinar se o texto específico de segurança melhora o desempenho.
Resíduo de Arquitetura (RQ3): O baseline simples selecionado foi comparado com os resultados publicados do MAPTA (usando GPT-5) e PentestGPT V2 (usando GPT-5.2). O "resíduo de arquitetura" foi calculado como a diferença entre a pontuação do sistema especializado publicado e a pontuação do agente simples mais próximo com correspondência de modelo.
Escalonamento de Modelo (RQ4): O scaffold do Codex simples foi executado com modelos mais novos (GPT-5.2 e GPT-5.5) para medir os ganhos de desempenho atribuíveis apenas às melhorias do modelo sem adicionar arquitetura específica de segurança.

Controles e Métricas:

Ambiente: Todos os agentes rodaram em containers Docker isolados com uma regra de pontuação de flag black-box.
Métricas: O estudo distingue entre pass@1 (tentativa única), pass@k (união de $k$ passagens independentes) e soluções "confiáveis" (resolvidas em ambas as passagens).
Análise de Custo: Detalhamentos de uso de tokens, tempo de execução e custo por tarefa resolvida vs. falha foram registrados.

Principais Contribuições

Metodologia de Atribuição: Um framework para separar a capacidade do modelo de base, o scaffolding de agente de codificação geral e a arquitetura específica de pentest.
Baseline de Mesmo Modelo: Identificação do Codex como o baseline de agente de codificação simples mais forte sob o GPT-5, superando OpenCode e Pi tanto em taxa de resolução quanto em estabilidade.
Quantificação do Resíduo de Arquitetura: Uma comparação direta mostrando que, embora os harnesses especializados forneçam um aumento mensurável, a lacuna diminui significativamente quando as diferenças de modelo são controladas.
Análise de Prompt e Escalonamento: Evidência de que prompts específicos de segurança não melhoraram o desempenho em relação ao padrão nativo, enquanto modelos mais novos (GPT-5.5) melhoraram substancialmente o scaffold simples, muitas vezes excedendo as pontuações de destaque de sistemas especializados anteriores.
Artefato Reprodutível: Um repositório público no GitHub contendo o harness de avaliação, arquivos de prompt, configurações de agentes e scripts de análise.

Resultados

1. Desempenho de Agente Simples (RQ1 & RQ2)

O Codex foi o baseline superior, resolvendo 70/104 tarefas em cada uma de duas passagens (média de 67,3% de pass@1) e 81/104 em união (pass@2).
Prompts de Segurança: Adicionar texto específico de segurança ao prompt degradou o desempenho. As variantes de prompt detalhado e de sistema completo resolveram menos desafios e incorreram em custos mais altos do que o prompt padrão nativo do Codex.

2. Resíduos de Arquitetura (RQ3)

MAPTA (GPT-5): Reportou 76,9% vs. média de Codex Simples GPT-5 de 67,3%. O resíduo de arquitetura é de +9,6 pontos percentuais. O MAPTA também demonstrou maior eficiência de custo ($0,206/tarefa vs. $0,266/tarefa para o Codex simples).
PentestGPT V2 (GPT-5.2): Reportou 85,0% vs. média de Codex Simples GPT-5.2 de 79,8%. O resíduo é de +5,2 pontos percentuais.
Cobertura: Execuções repetidas de agentes simples (pass@2 união) igualaram ou excederam as pontuações de execução única publicadas de ambos os sistemas especializados (Codex Simples GPT-5 pass@2 = 77,9% > MAPTA 76,9%; Codex Simples GPT-5.2 pass@2 = 88,5% > PentestGPT V2 85,0%).

3. Escalonamento de Modelo (RQ4)

GPT-5.5: Rodar o scaffold do Codex simples com o GPT-5.5 alcançou 92,3% de pass@1 e 95,2% de união pass@2.
Este resultado de agente simples excedeu a pontuação de destaque de 91% reportada pelo PentestGPT V2 (usando Opus 4.5), demonstrando que o escalonamento do modelo sozinho pode fechar ou exceder a lacuna atribuída à arquitetura especializada.

4. Eficiência de Recursos

Sistemas especializados como o MAPTA mostraram melhor eficiência de custo por desafio do que o baseline de GPT-5 simples, sugerindo que um melhor planejamento reduz a exploração desperdiçada.
No entanto, falhas em agentes simples foram significativamente mais caras do que sucessos (ex: scans falhos do GPT-5 custaram $0,505 vs. $0,150 para scans bem-sucedidos), destacando o custo da exploração não guiada.

Significância e Alegações

O artigo defende uma metodologia de avaliação "baseline-first" (primeiro o baseline) em testes de penetração autônomos. Sua principal significância reside nas seguintes alegações:

Atribuição é Crítica: Pontuações altas em benchmarks não podem ser atribuídas ao design de arquitetura isoladamente sem um baseline de agente simples com correspondência de modelo. A confusão entre o progresso do modelo e o design arquitetônico obscureceu o verdadeiro valor dos harnesses de segurança.
O Valor do Harness é Matizado: Arquiteturas especializadas fornecem, sim, um valor mensurável, particularmente em eficiência de custo e taxas de resolução em tentativa única (o resíduo). No entanto, a magnitude desse valor é menor do que as comparações de "título para título" sugerem.
Prompting não é um Harness: Meramente adicionar texto específico de segurança a um prompt não constitui uma melhoria arquitetônica e pode degradar o desempenho.
O Progresso do Modelo Mascara a Arquitetura: Modelos mais novos (ex: GPT-5.5) podem superar sistemas especializados antigos usando o mesmo scaffold mínimo. Portanto, reivindicações de superioridade arquitetônica devem ser validadas contra os agentes simples de estado da arte atuais, não apenas contra baselines antigos.

Os autores concluem que, embora os harnesses de segurança possam melhorar a eficiência e as taxas de resolução, pesquisas futuras devem reportar baselines de agentes simples com correspondência de modelo para atribuir com precisão os ganhos de desempenho ao design de arquitetura em vez da capacidade do modelo.