Resumo Técnico: Agentes Autônomos de LLM e CTFs: Um Segundo Olhar

Declaração do Problema

Apesar da proliferação de agentes de Modelo de Linguagem Grande (LLM) que prometem automatizar tarefas de segurança ofensiva, alegações recentes de taxas de sucesso próximas às humanas em desafios de Capture-the-Flag (CTF) merecem escrutínio. A indústria de cibersegurança enfrenta uma escassez significativa de mão de obra, enquanto atacantes exploram novas vulnerabilidades rapidamente. Embora os LLMs possuam conhecimento sobre classes de vulnerabilidades e ferramentas, a segurança ofensiva exige planejamento de múltiplos passos, uso adaptativo de ferramentas e gerenciamento coerente de contexto ao longo de horizontes de interação prolongados — capacidades que os agentes atuais lutam para demonstrar de forma confiável. Além disso, muitos estudos anteriores dependem de sistemas de código fechado ou tarefas proxy (por exemplo, reconhecimento de vulnerabilidades) em vez da execução completa de exploits, deixando uma lacuna na compreensão das verdadeiras capacidades e limitações de agentes autônomos em testes de penetração.

Metodologia

Os autores realizam uma avaliação rigorosa de agentes baseados em LLM em um conjunto curado de 30 desafios de CTF baseados na web, abrangendo 14 classes de vulnerabilidades (por exemplo, injeção SQL, XSS, falhas de lógica de negócios, condições de corrida). Todos os desafios foram resolvidos manualmente pelos autores para fornecer soluções de referência de verdade fundamental para análise granular.

Arquiteturas de Agente

O estudo compara três arquiteturas modulares específicas de domínio contra uma base de propósito geral:

1. Executor (E): Um agente monolítico responsável por descoberta, planejamento e execução.
2. Executor + Avaliador (E+E): Um sistema multiagente onde um Avaliador pontua as ações propostas pelo Executor antes da execução, fornecendo feedback para refinamento.
3. Planejador + Executor + Avaliador (P+E+E): Um pipeline estruturado onde um Planejador (suportado por um Nó de Reconhecimento) formula um plano de ataque de alto nível, que é então executado pelo Executor e monitorado pelo Avaliador. Este design desacopla o planejamento da execução.
4. Base (claude-code): Um assistente agênico de propósito geral, de nível de produção (Opus 4.5), que determina autonomamente sua arquitetura interna, incluindo a capacidade de gerar subagentes.

Configuração Experimental

• Modelos: As arquiteturas modulares foram testadas com GPT-4.1 e GPT-5. A base utilizou o claude-code (Opus 4.5).
• Execução: Cada arquitetura foi executada três vezes por desafio (90 execuções totais por arquitetura) para medir a consistência, enquanto a base foi executada uma vez por desafio devido a restrições de tokens.
• Ambiente: Os agentes interagiram com aplicações web isoladas em Docker via terminais SSH, utilizando as ferramentas run_command e run_python.
• Métricas: Taxa de sucesso (máxima entre as execuções), passos médios de interação, custo (USD) e duração em tempo real.

Principais Contribuições e Resultados

1. Teto de Desempenho e Comparação com a Base

O estudo revela que os agentes atuais ainda estão abaixo da capacidade humana.

• Taxa de Sucesso: Tanto a melhor arquitetura projetada (P+E+E com GPT-5) quanto o claude-code de propósito geral resolveram exatamente 19 dos 30 desafios (63%).
• Dependência do Modelo: O núcleo do LLM é decisivo; o GPT-4.1 resolveu apenas 9/30 tarefas, enquanto o GPT-5 alcançou 19/30, indicando que o raciocínio complexo de múltiplos passos requer modelos da geração mais recente.
• Arquitetura vs. Propósito Geral: Embora o claude-code tenha alcançado a mesma taxa de sucesso máxima que a solução projetada mais complexa sem engenharia específica de domínio, as soluções projetadas ofereceram eficiência superior.

2. Eficiência e Consistência

Embora a solvabilidade máxima fosse idêntica entre sistemas fortes, a complexidade arquitetural impactou significativamente a eficiência e a confiabilidade:

• Custo e Passos: A arquitetura P+E+E foi a mais eficiente em termos de custo, reduzindo os passos médios de 31,56 (apenas Executor) para 24,09 e diminuindo os custos em 34% em comparação com a abordagem monolítica.
• Consistência: Arquiteturas multiagente demonstraram maior robustez. A configuração P+E+E resolveu o mesmo desafio em todas as três execuções independentes para 16/30 tarefas, comparado a 12/30 para o Executor monolítico.
• Sobrecarga de Tempo de Execução: Apesar da eficiência em passos, arquiteturas estruturadas incorreram em tempos de execução real mais altos devido à sobrecarga de instanciar múltiplos agentes, enquanto o claude-code permaneceu rápido ao raramente gerar subagentes.

3. Análise de Falhas e Gargalos

O estudo identifica que as falhas se agrupam consistentemente em torno de categorias específicas, independentemente da arquitetura do agente ou do modelo utilizado.

• Gargalo Primário: O reconhecimento de vulnerabilidades é o principal ponto de falha. O Planejador identificou corretamente a vulnerabilidade alvo em 23/30 casos; nos 7 restantes, nem os agentes nem o claude-code conseguiram formular um plano. Uma vez que uma vulnerabilidade foi reconhecida, a exploração teve sucesso na vasta maioria dos casos.
• Modos de Falha Sistemáticos:
  • Cross-Site Scripting (XSS): As falhas devem-se a limitações ambientais (falta de renderização de navegador para execução de JavaScript) e não a erros de raciocínio.
  • Injeção SQL/Comando Cega: As falhas decorreram de restrições da janela de contexto. O refinamento iterativo longo de payloads degradou a qualidade do raciocínio e a consistência.
  • Falhas de Lógica de Negócios: Os agentes falharam consistentemente em raciocinar sobre fluxos de trabalho de aplicações, recorrendo à busca por exploits técnicos padrão (por exemplo, injeções) em vez de entender a lógica pretendida.
  • Condições de Corrida: Ambos os sistemas falharam em executar ataques que exigiam ações concorrentes ou sincronizadas, pois as arquiteturas operavam sequencialmente e não inferiam a necessidade de paralelismo.

Significado e Alegações

O artigo fornece um "teste de realidade" sobre alegações de desempenho próximo ao humano em segurança ofensiva autônoma. Seu significado principal reside em:

1. Estabelecer Bases Fortes: Demonstrar que agentes de propósito geral como o claude-code são bases fortes que igualam o desempenho máximo de sistemas multiagente específicos de domínio, feitos à mão.
2. Identificar o Valor Arquitetural: Mostrar que, embora a arquitetura não aumente o teto de tarefas solúveis, a orquestração estruturada (especificamente o modelo Planejador-Executor-Avaliador) melhora significativamente a consistência, a eficiência de custos e a redução de passos dentro do subconjunto solúvel.
3. Definir Limitações: Esclarecer que as limitações atuais não são meramente arquitetônicas, mas decorrem de lacunas fundamentais nas capacidades dos LLMs:
   • Técnicas: Falta de capacidades ambientais (renderização de navegador, concorrência).
   • Cognitivas: Incapacidade de raciocinar sobre lógica de negócios e manter coerência ao longo de longas cadeias de interação com estado.

Os autores concluem que o progresso futuro exige abordar essas barreiras ambientais e cognitivas específicas, particularmente melhorando o reconhecimento de vulnerabilidades e o gerenciamento de contexto de longo prazo, em vez de simplesmente aumentar a complexidade arquitetural.