Resumen Técnico: Cochise – Un Entorno de Referencia para Pruebas de Penetración Autónomas

Declaración del Problema

Los avances recientes en pruebas de penetración autónomas impulsadas por Modelos de Lenguaje Grande (LLM) han arrojado resultados prometedores. Sin embargo, los sistemas existentes (por ejemplo, incalmo, cAI, pentestGPT) a menudo combinan elecciones complejas de arquitectura, generación de prompts e integración de herramientas. Esta complejidad crea un efecto de "caja negra", dificultando el aislamiento de contribuciones específicas o la determinación de qué ganancias de rendimiento derivan de la lógica central del agente versus su infraestructura circundante. Además, la falta de infraestructura reutilizable de ejecución y registro obstaculiza la comparación de modelos y arquitecturas bajo un protocolo común. Adicionalmente, los entornos de prueba de seguridad realistas (como Game of Active Directory, o GOAD) requieren huellas de hardware masivas (48–64 GB de RAM, ~190 GB de almacenamiento), creando una barrera de entrada para los investigadores que desean verificar o construir sobre trabajos existentes sin aprovisionar estos recursos ellos mismos.

Metodología

Los autores presentan Cochise, un entorno de referencia mínimo en Python de 597 líneas diseñado para estandarizar la interfaz experimental para pruebas de penetración autónomas.

Arquitectura del Sistema

Cochise opera sobre una arquitectura Planificador–Ejecutor, desacoplando la planificación estratégica a largo plazo de la ejecución táctica a corto plazo:

• Host de Ejecución: Cochise se conecta a un host de ejecución Linux (por ejemplo, una VM de Kali Linux) vía SSH. Este host tiene alcanzabilidad de red hacia el entorno objetivo (por ejemplo, GOAD). La base de código está deliberadamente separada del entorno de prueba para evitar que el agente destruya accidentalmente su propia configuración o registros y para prevenir el movimiento lateral de regreso al agente.
• Módulo Planificador: Actúa como el núcleo estratégico, manteniendo el estado a largo plazo fuera del contexto del LLM. Utiliza una representación textual estructurada de tareas, específicamente un Árbol de Tareas de Pentest (PTT) (una lista en Markdown con estructura de árbol), y un componente de conocimiento. El planificador recibe el PTT actual, un resumen de la última tarea y la visión del mundo actual para seleccionar la siguiente tarea.
• Módulo Ejecutor: Funciona como un agente al estilo ReAct (Razonamiento y Acción). Se instancia por tarea, se conecta al host de ejecución vía SSH y emite comandos para resolver la tarea específica asignada por el planificador.
  • Estado Efímero: El estado del ejecutor se descarta tras la finalización de la tarea. Esto limita los costos de la ventana de contexto, aísla las fallas del contexto del LLM (por ejemplo, razonamiento mal formado, deriva de prompts) y obliga al planificador a servir como punto de integración para el conocimiento entre tareas.
  • Autocorrección: Ambos módulos implementan el patrón Reflexion para detectar y reparar invocaciones de comandos inválidas.

Registro y Análisis

Cada interacción (llamadas a la API del LLM, decisiones del planificador, comandos SSH y salidas) se serializa en un registro de trayectoria JSON estructurado. Este formato captura:

• Claves de eventos (por ejemplo, actualizaciones de estrategia).
• Prompts exactos y completaciones crudas.
• Métricas de costo granulares (tokens de entrada/salida/razonamiento/caché).
• Cadenas de comandos Bash y sus salidas stdout/stderr.

Para abordar la barrera de hardware de los entornos de prueba en vivo, los autores proporcionan:

1. cochise-replay: Para visualización offline de las ejecuciones capturadas.
2. cochise-analyze-logs & cochise-analyze-graphs: Herramientas para analizar registros JSON en busca de costos, tokens, duración y análisis de compromiso, exportando resultados a tablas o gráficos en LaTeX.
3. Corpus Público: Un conjunto de datos de registros de trayectoria JSON de ejecuciones en GOAD, permitiendo a los investigadores estudiar el comportamiento del agente sin aprovisionar el pesado entorno de prueba.

Contribuciones Clave

1. Entorno de Referencia Mínimo: Una estructura base en Python de 597 líneas que fija la interfaz de ejecución, la abstracción de modelos, el manejo de estado y el formato de trayectoria. Utiliza el framework LiteLLM para un intercambio fácil de modelos y un prompt de escenario configurable para diversos casos de uso.
2. Separación Arquitectónica: Una separación clara entre un planificador con estado a largo plazo y un ejecutor efímero al estilo ReAct, diseñado para gestionar el espacio de acción ilimitado y la naturaleza con efectos secundarios de las pruebas de penetración.
3. Herramientas de Reproducibilidad: Un conjunto de herramientas para reproducción y análisis offline, junto con un corpus público de registros de trayectoria, que permite la investigación sin necesidad de hardware costoso.
4. Línea Base Comparativa: Una estructura base estable contra la cual se pueden realizar ablaciones y comparaciones de diseños de agentes alternativos.

Resultados

Los autores evaluaron Cochise contra el entorno de prueba Game of Active Directory (GOAD) utilizando dos LLMs de vanguardia: Gemini-3-Flash y Claude-4.7-Opus.

• Capacidad: Ambos modelos comprometieron con éxito al menos uno de los tres dominios de Active Directory en todas las ejecuciones. En 3 de cada 5 ejecuciones, ambos modelos comprometieron los tres dominios.
• Eficiencia: Aunque ambos modelos tuvieron éxito, Gemini-3-Flash demostró un perfil de costos significativamente menor, con un costo promedio por cuenta comprometida 12 veces menor que el de Claude-4.7-Opus ($0.11 vs. $0.74).
• Complejidad: En términos de tamaño de código, Cochise (597 líneas de código centrales) es significativamente más compacto que los prototipos existentes, que oscilan entre 1.822 y 9.100 líneas de código centrales (Tabla 1).

Significado y Afirmaciones

El artículo posiciona explícitamente a Cochise no como un agente de pruebas de penetración de última generación, sino como infraestructura experimental reutilizable.

• Utilidad de Investigación: Su valor principal radica en permitir la comparación de modelos, arquitecturas de agentes y trazas de pruebas de penetración bajo un protocolo común.
• Accesibilidad: Al proporcionar un entorno mínimo y un corpus de registros pregenerados, reduce la barrera para que los investigadores estudien el comportamiento de agentes en entornos adversarios sin incurrir en costos de tokens o sobrecarga de aprovisionamiento de hardware.
• Postura Ética: Los autores reconocen la naturaleza de doble uso de la investigación. Enfatizan que Cochise tiene la intención de mejorar la reproducibilidad y la comparabilidad para defensores e investigadores, en lugar de servir como un asistente operativo de equipos rojos. La naturaleza mínima del código destaca problemas inherentes a los LLMs subyacentes más que al entorno en sí.