Resumo Técnico: Desacoplamento de Reconhecimento e Exploração em Testes de Penetração Web Baseados em LLM

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa para automatizar tarefas de cibersegurança, as avaliações existentes de agentes de teste de penetração baseados em LLM dependem fortemente de testes de caixa-preta de ponta a ponta. Essa abordagem sofre de cascata de erros: falhas no reconhecimento inicial (por exemplo, interpretar incorretamente telemetria não estruturada ou falhar na identificação de uma vulnerabilidade) impedem que o agente alcance a fase de exploração. Consequentemente, a capacidade real de um agente de gerar e executar exploits é mascarada por erros de percepção anteriores, levando a falsos negativos estatísticos. Isso torna difícil para os pesquisadores distinguir se uma falha decorre de uma falta de conhecimento factual, de uma falha na arquitetura de raciocínio ou de uma incapacidade de processar ruído ambiental.

Metodologia

Para enfrentar esses gargalos de avaliação, os autores propõem um framework de avaliação desacoplado em duas etapas que separa o reconhecimento autônomo da exploração de vulnerabilidades.

1. Arquitetura do Framework Desacoplado

O framework agrega o pipeline tradicional de teste de penetração (coleta, varredura, verificação, exploração) em duas fases ortogonais:

• Fase de Reconhecimento: O agente tenta identificar a vulnerabilidade alvo (por exemplo, produzindo um identificador CVE correto) usando ferramentas de sondagem e interpretando logs não estruturados.
• Fase de Exploração: O agente tenta construir e executar um payload. Crucialmente, se o agente falhar na fase de reconhecimento, um mecanismo de Injeção de Verdade Fundamental (Ground-Truth Injection) intervém. O framework pausa a execução, injeta o contexto autêntico da vulnerabilidade (CVE e detalhes) no prompt e permite que o agente prossiga para a exploração. Isso isola o desempenho da exploração do ruído do reconhecimento.

2. Configuração Experimental

• Dataset: Um benchmark de alta fidelidade de 70 ambientes de teste de vulnerabilidade web reconstruídos a partir de Vulhub e Vulfocus, cobrindo padrões OWASP Top 10 e CWE (ex: SQL Injection, IDOR, Desserialização).
• Agentes: Cinco frameworks de teste de penetração de código aberto com arquiteturas heterogêneas foram avaliados:
  • Hexstrike-AI (Multi-agente, orientado por MCP)
  • CyberStrikeAI (Monolítico)
  • RedAmon (Orientado a grafos, Multi-agente)
  • NeuroSploit (Restrito, Árvore Simbólica)
  • Decepticon (Orientado a grafos, Multi-agente)
• Métricas:
  • Recall de Vulnerabilidade Alvo (TVR): Mede a habilidade do agente de identificar autonomamente a vulnerabilidade correta durante o reconhecimento.
  • Taxa de Sucesso Funcional (FSR): Mede a habilidade do agente de acionar com sucesso o exploit (ex: reverse shell) após a injeção da verdade fundamental.
• Ablação: Experimentos foram conduzidos com e sem uma Base de Conhecimento Empírica Verificada (VEKB) para isolar o impacto do conhecimento externo na geração de código e invocação de ferramentas.

Principais Resultados

1. O Gap de Capacidade

O estudo revela um hiato substancial entre a habilidade de um agente de encontrar uma vulnerabilidade e sua habilidade de explorá-la quando fornecido o contexto:

• Capacidade de Exploração (FSR): Quando provido com o contexto de vulnerabilidade preciso (via injeção de verdade fundamental), os agentes alcançam uma Taxa de Sucesso Funcional de até 90,0% (especificamente o Hexstrike-AI).
• Capacidade de Reconhecimento (TVR): Sob condições autônomas sem conhecimento prévio, o Recall de Vulnerabilidade Alvo estabiliza em aproximadamente 50,0%.
• Implicação: Muitos "fracassos" em testes de ponta a ponta são, na verdade, falhas de reconhecimento mascarando uma lógica de exploração bem-sucedida. Os agentes frequentemente falham ao processar telemetria não estruturada em vez de falharem na construção do exploit.

2. Trade-offs Arquiteturais

Diferentes arquiteturas demonstraram forças distintas baseadas na classe de vulnerabilidade e complexidade de interação:

• Sistemas Multi-Agente (ex: Hexstrike-AI): Impor isolamento de estado via protocolos como MCP provou ser mais eficaz para interações de sequência longa (ex: desserialização insegura) e para lidar com logs de erro ruidosos. Eles alcançaram o maior FSR (90,0%) e foram robustos contra o desvio de atenção (attention drift).
• Arquiteturas Monolíticas (ex: CyberStrikeAI): Tiveram melhor desempenho em falhas de injeção de cadeia curta, onde o colapso de contexto é menos provável, mas tiveram dificuldades com cadeias de interação longas.
• Designs Orientados a Grafos (ex: RedAmon, Decepticon): Mostraram força em vulnerabilidades de controle de acesso entre sessões (ex: IDOR) devido à sua capacidade de manter o estado global e comparar fronteiras de privilégio entre personas.
• Arquiteturas Restritas (ex: NeuroSploit): Dependeram de árvores simbólicas e regex, o que reduziu alucinações, mas limitou a mutação de payloads, tornando-as adequadas para verificação determinística de N-day, mas menos flexíveis para cenários inéditos.

3. Impacto do Conhecimento e Escala do Modelo

• Injeção de Conhecimento: Integrar a VEKB melhorou significamente o desempenho em todos os frameworks, reduzindo taxas de omissão no reconhecimento e corrigindo erros de protocolo de baixo nível na exploração.
• Escala do Modelo: Simplesmente aumentar o tamanho do modelo base (ex: mudar de Gemini 3 Pro para GPT-5) não garantiu melhor desempenho. Em frameworks monolíticos, modelos maiores às vezes sofreram de dispersão de atenção ao processar telemetria de erro verbosa sem isolamento de estado.

Significância e Alegações

O artigo afirma fornecer o primeiro protocolo de benchmarking detalhado que desacopla o reconhecimento da exploração para medir com precisão os limites de capacidade de agentes ofensivos baseados em LLM.

• Valor Diagnóstico: O framework permite que pesquisadores atribuam falhas especificamente a "erros de percepção" (reconhecimento) versus "erros de execução" (exploração), indo além da "caixa-preta" das taxas de sucesso de ponta a end-to-end.
• Orientação de Design: Os resultados sugerem que futuros agentes de segurança ofensiva automatizados devem priorizar o isolamento estrito de estado (ex: via designs multi-agente) para lidar com o ruído de ambientes reais, em vez de apenas escalar modelos base.
• Transição na Segurança: O trabalho ressalta uma mudança na segurança baseada em LLM de geração de código estático para execução de exploit autônoma, onde a capacidade de manter o contexto em meio ao ruído adversário é o principal gargalo.

Os autores observam que, embora seu benchmark utilize CVEs divulgados, o paradigma desacoplado oferece uma base para trabalhos futuros em cenários de zero-day, potencialmente injetando semânticas de vulnerabilidade abstratas em vez de identificadores CVE específicos.