Resumo Técnico: Cochise – Um Ambiente de Referência para Testes de Penetração Autônomos

Declaração do Problema

Avanços recentes em testes de penetração autônomos impulsionados por Modelos de Linguagem de Grande Escala (LLMs) produziram resultados promissores. No entanto, sistemas existentes (por exemplo, incalmo, cAI, pentestGPT) frequentemente combinam escolhas complexas de arquitetura, prompting e integração de ferramentas. Essa complexidade cria um efeito de "caixa preta", dificultando o isolamento de contribuições específicas ou a determinação de quais ganhos de desempenho derivam da lógica central do agente versus sua infraestrutura circundante. Além disso, a falta de infraestrutura reutilizável de execução e registro de logs impede a comparação de modelos e arquiteturas sob um protocolo comum. Adicionalmente, ambientes de teste de segurança realistas (como o Game of Active Directory, ou GOAD) exigem grandes recursos de hardware (48–64 GB de RAM, ~190 GB de armazenamento), criando uma barreira de entrada para pesquisadores que desejam verificar ou construir sobre trabalhos existentes sem provisionar esses recursos por conta própria.

Metodologia

Os autores apresentam o Cochise, um ambiente de referência mínimo em Python com 597 linhas, projetado para padronizar a interface experimental para testes de penetração autônomos.

Arquitetura do Sistema

O Cochise opera sobre uma arquitetura Planejador–Executor, desacoplando o planejamento estratégico de longo prazo da execução tática de curto prazo:

• Host de Execução: O Cochise conecta-se a um host de execução Linux (por exemplo, uma VM Kali Linux) via SSH. Este host possui alcançabilidade de rede para o ambiente de destino (por exemplo, GOAD). A base de código é deliberadamente separada do ambiente de teste para impedir que o agente destrua acidentalmente sua própria configuração ou logs e para prevenir movimento lateral de volta para o agente.
• Módulo Planejador: Atua como o núcleo estratégico, mantendo o estado de longo prazo fora do contexto do LLM. Ele utiliza uma representação textual estruturada de tarefas, especificamente uma Árvore de Tarefas de Teste de Penetração (PTT) (uma lista em Markdown com estrutura de árvore), e um componente de conhecimento. O planejador recebe a PTT atual, um resumo da última tarefa e a visão de mundo atual para selecionar a próxima tarefa.
• Módulo Executor: Funciona como um agente no estilo ReAct (Raciocínio e Ação). É instanciado por tarefa, conecta-se ao host de execução via SSH e emite comandos para resolver a tarefa específica atribuída pelo planejador.
  • Estado Efêmero: O estado do executor é descartado após a conclusão da tarefa. Isso limita os custos da janela de contexto, isola falhas no contexto do LLM (por exemplo, raciocínio malformado, deriva de prompt) e força o planejador a servir como ponto de integração para conhecimento entre tarefas.
  • Auto-correção: Ambos os módulos implementam o padrão Reflexion para detectar e reparar invocações de comandos inválidos.

Registro de Logs e Análise

Cada interação (chamadas de API do LLM, decisões do planejador, comandos SSH e saídas) é serializada em um log de trajetória estruturado JSON. Este formato captura:

• Chaves de eventos (por exemplo, atualizações de estratégia).
• Prompts exatos e conclusões brutas.
• Métricas de custo granulares (tokens de entrada/saída/raciocínio/armazenados em cache).
• Strings de comandos Bash e suas saídas stdout/stderr.

Para abordar a barreira de hardware dos ambientes de teste ao vivo, os autores fornecem:

1. cochise-replay: Para visualização offline de execuções capturadas.
2. cochise-analyze-logs & cochise-analyze-graphs: Ferramentas para analisar logs JSON quanto a custo, tokens, duração e análise de comprometimento, exportando resultados para tabelas ou gráficos em LaTeX.
3. Corpus Público: Um conjunto de dados de logs de trajetória JSON de execuções no GOAD, permitindo que pesquisadores estudem o comportamento do agente sem provisionar o pesado ambiente de teste.

Contribuições Principais

1. Ambiente de Referência Mínimo: Um esqueleto em Python de 597 linhas que fixa a interface de execução, abstração de modelo, manipulação de estado e formato de trajetória. Utiliza o framework LiteLLM para fácil troca de modelos e um prompt de cenário configurável para diversos casos de uso.
2. Separação Arquitetural: Uma separação clara entre um planejador com estado de longo prazo e um executor estilo ReAct efêmero, projetado para gerenciar o espaço de ação ilimitado e a natureza de efeitos colaterais dos testes de penetração.
3. Ferramentas de Reprodutibilidade: Um conjunto de ferramentas para reprodução e análise offline, juntamente com um corpus público de logs de trajetória, permitindo pesquisa sem a necessidade de hardware caro.
4. Base Comparativa: Um esqueleto estável contra o qual designs alternativos de agentes podem ser ablatados e comparados.

Resultados

Os autores avaliaram o Cochise contra o ambiente de teste Game of Active Directory (GOAD) usando dois LLMs de ponta: Gemini-3-Flash e Claude-4.7-Opus.

• Capacidade: Ambos os modelos comprometeram com sucesso pelo menos um dos três domínios do Active Directory em todas as execuções. Em 3 de 5 execuções, ambos os modelos comprometeram todos os três domínios.
• Eficiência: Embora ambos os modelos tenham tido sucesso, o Gemini-3-Flash demonstrou um perfil de custo significativamente menor, com um custo médio por conta comprometida 12 vezes menor que o do Claude-4.7-Opus ($0,11 vs. $0,74).
• Complexidade: Em termos de tamanho de código, o Cochise (597 linhas de código principais) é significativamente mais compacto que protótipos existentes, que variam de 1.822 a 9.100 linhas de código principais (Tabela 1).

Significado e Alegações

O artigo posiciona explicitamente o Cochise não como um agente de testes de penetração de última geração, mas como infraestrutura experimental reutilizável.

• Utilidade de Pesquisa: Seu valor principal reside em permitir a comparação de modelos, arquiteturas de agentes e rastros de testes de penetração sob um protocolo comum.
• Acessibilidade: Ao fornecer um ambiente mínimo e um corpus de logs pré-gerados, reduz a barreira para pesquisadores estudarem comportamento agêntico em ambientes adversariais sem incorrer em custos de tokens ou sobrecarga de provisionamento de hardware.
• Posicionamento Ético: Os autores reconhecem a natureza de uso duplo da pesquisa. Eles enfatizam que o Cochise destina-se a melhorar a reprodutibilidade e a comparabilidade para defensores e pesquisadores, em vez de servir como um assistente operacional de red team. A natureza mínima do código destaca questões inerentes aos LLMs subjacentes, e não ao próprio ambiente.