Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

Título: Os Agentes Sonham com Shells Root? Avaliação de Crédito Parcial de Agentes LLM em Desafios Capture The Flag

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) e seus agentes autônomos têm sido cada vez mais propostos para tarefas de cibersegurança ofensiva. No entanto, suas capacidades em cenários realistas de ataque permanecem mal compreendidas.

• Limitações Atuais: LLMs padrão são preditores de tokens e carecem de suporte nativo para interação com ferramentas, memória persistente ou planejamento de longo prazo, essenciais para resolver desafios complexos.
• Falha nas Métricas Binárias: A avaliação tradicional de agentes de IA em segurança cibernética baseia-se em métricas binárias (sucesso/fracasso: "pegou a bandeira" ou não). Isso é insuficiente porque os agentes atuais raramente resolvem desafios inteiros do início ao fim, mas frequentemente demonstram progresso parcial mensurável (ex: encontrar credenciais, obter acesso inicial) que é ignorado por métricas binárias.
• Necessidade de Isolamento Realista: Muitos benchmarks anteriores usam ambientes curados ou simplificados que não refletem a complexidade de uma máquina atacante (Kali) interagindo com uma máquina alvo isolada em uma rede privada.

2. Metodologia: O Framework DeepRed

Os autores desenvolveram o DeepRed, um benchmark de código aberto e extensível projetado para avaliar agentes LLM em ambientes virtualizados isolados.

• Arquitetura de Execução:

  • O agente opera em uma máquina virtual (VM) Kali Linux (atacante) conectada via rede interna privada a uma VM de desafio (alvo).
  • O agente interage exclusivamente através de ferramentas de terminal (comando e saída) e busca na web opcional (filtrada para evitar vazamento de flags).
  • O ambiente é totalmente isolado (usando VirtualBox em vez de containers Docker para maior segurança e realismo) e é resetado após cada execução para garantir reprodutibilidade.
  • O agente utiliza o framework SmolAgents, permitindo a escrita de código Python para coordenar a execução de comandos e manter o estado.

• Método de Avaliação de Crédito Parcial:

  • Em vez de apenas verificar se a flag final foi capturada, cada desafio é decomposto em uma sequência de checkpoints binários derivados de writeups (soluções) públicos.
  • Exemplos de checkpoints: identificar um serviço, recuperar credenciais, fazer upload de um payload, obter um shell inicial ou realizar elevação de privilégios.
  • A pontuação final é a soma dos checkpoints completados, permitindo uma avaliação granular do progresso.

• Pipeline de Rotulagem Automatizada:

  • Para escalar a avaliação, os autores desenvolveram um pipeline de duas etapas baseado em LLM:
    1. Resumo: Os logs de execução brutos (que podem ser longos) são condensados em um resumo estrutado passo a passo por um modelo de "Resumo".
    2. Julgamento: Um modelo "Juiz" analisa o resumo contra a rubrica de checkpoints do desafio e atribui as pontuações.
  • O pipeline foi validado contra anotações humanas, alcançando alta concordância (Kappa de Cohen médio de 0,78), demonstrando que a avaliação automatizada é viável e confiável.

3. Contribuições Principais

1. DeepRed: Uma arquitetura de benchmark open-source que suporta execução segura, isolada e reprodutível de agentes LLM em cenários de CTF realistas.
2. Método de Crédito Parcial: Uma metodologia inovadora baseada em logs que avalia o progresso intermediário, superando as limitações das métricas binárias.
3. Pipeline de Avaliação Automatizada: Um sistema validado que utiliza LLMs para resumir e julgar trajetórias de execução, reduzindo o custo de avaliação humana de horas para minutos por execução.
4. Lançamento de Recursos: Disponibilização de todos os componentes do framework, configurações de desafios, scripts de avaliação e rubricas de pontuação para a comunidade.

4. Resultados do Benchmark

Os autores avaliaram 10 modelos LLM comercialmente acessíveis (incluindo GPT-5.1 Codex Max, Gemini 2.0, Claude, Qwen, etc.) em 10 desafios CTF baseados em VMs, cobrindo categorias como exploração web, elevação de privilégios, esteganografia e exploração de serviços.

• Desempenho Geral: Os agentes atuais permanecem limitados. O melhor modelo (GPT-5.1 Codex Max) alcançou apenas 35% de conclusão média de checkpoints. A maioria dos modelos ficou entre 12% e 22%, e o modelo mais fraco atingiu apenas 5%.
• Padrões de Falha:
  • Os agentes performam melhor em fluxos de trabalho de exploração comuns (ex: injeção SQL seguida de elevação de privilégios padrão).
  • Eles falham consistentemente em tarefas que exigem descoberta não padrão, rastreamento de estado de longo prazo e adaptação a resultados inesperados (ex: desafios de fuzzing ou manipulação complexa de chaves SSH).
• Uso de Tokens e Passos: O consumo de tokens variou amplamente (de 8,8M a 58,1M por execução), mas não houve correlação direta entre alto consumo de tokens e melhor desempenho. A qualidade do raciocínio e seleção de ações foi mais determinante que o volume de interação.
• Dificuldade dos Desafios: Desafios como Whitedoor e Quick foram os mais resolvidos, enquanto Fuzzz e Thirteen foram os mais difíceis, exigindo técnicas menos convencionais.

5. Significado e Conclusão

• Estado da Arte: O estudo revela que, embora os agentes LLM possam realizar progresso significativo em etapas intermediárias de tarefas de segurança ofensiva, eles ainda estão longe de uma autonomia robusta de ponta a ponta em ambientes complexos.
• Importância da Avaliação Granular: A abordagem de crédito parcial é crucial para entender as capacidades emergentes dos agentes, pois métricas binárias esconderiam diferenças substanciais de habilidade em tarefas de múltiplos passos.
• Direções Futuras: Os principais gargalos identificados são o planejamento de longo horizonte, o uso de memória e a adaptação a falhas. O trabalho sugere que arquiteturas multi-agente, sistemas de memória explícita e loops de auto-reflexão são necessários para avançar.
• Impacto na Segurança: Compreender essas limitações é vital tanto para o desenvolvimento de ferramentas defensivas automatizadas quanto para antecipar potenciais usos maliciosos de agentes autônomos.

Em resumo, o DeepRed estabelece um novo padrão para a avaliação rigorosa e reprodutível de agentes de IA em cibersegurança, demonstrando que, embora promissores, os agentes atuais ainda precisam de avanços significativos em raciocínio estratégico e adaptação para operar de forma autônoma em cenários de ataque realistas.