Resumen Técnico: AGENTCYBERRANGE

Declaración del Problema

Los sistemas de IA de frontera están demostrando capacidades cada vez mayores en tareas de ciberseguridad interactivas, tales como la inspección de bases de código, la detección de vulnerabilidades y la generación de exploits. Sin embargo, la evaluación sistemática de sus capacidades ofensivas autónomas permanece limitada por la falta de una infraestructura de entornos de ciberseguridad (cyber-range) abierta, reproducible y multi-host.

Los benchmarks públicos existentes (por ejemplo, CTFs, reproducción de vulnerabilidades o generación de exploits individuales) suelen aislar habilidades individuales de la estructura de extremo a extremo de las intrusiones realistas. Los ataques cibernéticos realistas implican una cadena operativa: el descubrimiento de servicios expuestos, la obtención de un punto de entrada inicial, la recopilación de información interna y la expansión del compromiso a través de hosts en red mediante la post-explotación. Los benchmarks actuales no logran capturar este flujo de trabajo, lo que dificulta la observación de riesgos cibernéticos emergentes de forma temprana bajo condiciones que preserven el ciclo de vida completo del ataque.

Metodología

Los autores presentan AGENTCYBERRANGE, una infraestructura de evaluación de múltiples entornos abierta, diseñada para medir la capacidad de ataque cibernético autónomo de los sistemas de IA de frontera en entornos realistas. El sistema consta de dos componentes principales:

1. La Suite de Benchmarks

El benchmark cubre dos etapas principales de ataques realistas:

• Explotación Web (WebExploitBench): Consiste en 110 vulnerabilidades en 15 aplicaciones web del mundo real (por ejemplo, CMS, comercio electrónico, motores de flujo de trabajo de IA). Incluye vulnerabilidades reales de tipo zero-day y one-day, así como vulnerabilidades sintéticas embebidas en flujos de trabajo de aplicaciones. Las tareas requieren que los agentes exploren endpoints ocultos, infieran parámetros y exploten vulnerabilidades desde la superficie de ataque expuesta.
• Post-Explotación (PostExploitBench): Comprende 8 entornos de ciberseguridad de tipo empresarial que contienen 156 hosts internos. Estos entornos presentan topologías de red de múltiples capas, roles de host realistas (DMZ, aplicaciones internas) y presiones defensivas (honeypots, antivirus, monitoreo tipo EDR). Las tareas evalúan la capacidad de establecer acceso interno, escalar privilegios, recuperar credenciales y realizar movimiento lateral.

Niveles de Dificultad: Ambos tracks definen tres niveles de dificultad para controlar la disponibilidad de información:

• Nivel-0: Información mínima (solo la URL del objetivo o la IP del punto de entrada).
• Nivel-1: Información intermedia (URLs vulnerables o topología de red).
• Nivel-2: Información alta (tipos de vulnerabilidad o CVEs/credenciales concretas).

2. El Pipeline de Evaluación CAGE

Para garantizar una ejecución escalable y reproducible, los autores construyeron CAGE, una cadena de herramientas modular:

• Adaptadores de Agentes (Agent Adapters): Unifican agentes de CLI heterogéneos (por ejemplo, Codex, Claude Code) bajo una interfaz común.
• Gestor de Agentes (Agent Manager): Controla los ciclos de vida en tiempo de ejecución, aísla contenedores y registra trazas de ejecución.
• Gestor de Benchmarks (Benchmark Manager): Despliega aplicaciones web y entornos de ciberseguridad en entornos aislados, gestiona los estados de las tareas y reinicia los entornos entre ejecuciones.
• Verificador (Verifier): Comprueba automáticamente el éxito reportado frente a la evidencia en tiempo de ejecución (por ejemplo, verificando la inyección SQL mediante strings canario, o comprobando la escalada de privilegios mediante marcadores de archivo en /root).

Configuración Experimental

Los autores evaluaron seis sistemas de IA de frontera bajo prompts y presupuestos de pasos emparejados:

1. GPT-5.5 (con Codex)
2. Claude-Opus-4.7 (con Claude Code)
3. GLM-5.1 (con Claude Code)
4. DeepSeek-V4-Pro (con Claude Code)
5. Qwen-3.7-Max (con Qwen Code)
6. Kimi-2.6 (con Kimi Code)

Las tareas se limitaron a 150 pasos para la explotación web y 500 pasos para la post-explotación, con un tiempo de espera de dos horas por tarea.

Resultados Clave

Rendimiento en Explotación Web

• GPT-5.5 con Codex logró las tasas de éxito más altas, resolviendo el 16.1% de las tareas bajo Pass@3 (Promedio) y el 28.18% bajo Pass@3 (Máximo) en el entorno de Nivel-0 (caja negra).
• Bajo el Nivel-2 (con pistas concretas), la tasa de éxito para GPT-5.5 aumentó al 33.0%.
• Análisis de Comportamiento: GPT-5.5 fue el único agente que utilizó visiblemente herramientas de descubrimiento de endpoints específicas de seguridad (por ejemplo, ffuf). La mayoría de los otros agentes dependieron fuertemente de curl y python3.
• Limitaciones: Los agentes tuvieron dificultades con la "profundidad de la vulnerabilidad". Las tasas de detección cayeron del 35% en profundidad 2 al 11% en profundidad 6, lo que indica un fallo al navegar por flujos de trabajo de aplicaciones profundos. Se observó una alta varianza entre ejecuciones, con muchas vulnerabilidades encontradas en un solo intento.

Rendimiento en Post-Explotación

• GPT-5.5 con Codex lideró nuevamente, logrando un 31.7% de Pass@3 (Promedio) en Nivel-0 y un 46.3% en Nivel-2.
• Claude-Opus-4.7 enfrentó rechazos de seguridad significativos (12 ensayos detenidos), lo que resalta la tensión entre el alineamiento de seguridad y la evaluación de la capacidad ofensiva.
• Capacidades: Los agentes demostraron la capacidad de encadenar pasos (por ejemplo, explotar un servicio, recuperar credenciales, pivotar a hosts internos) y mutar payloads para evadir defensas de antivirus.
• Fallos: Los agentes a menudo desperdiciaron pasos en hosts no vulnerables y fallaron en buscar sistemáticamente credenciales descendentes (por ejemplo, fallando al encontrar credenciales de GitLab dentro de una wiki de Confluence comprometida). También activaron frecuentemente honeypots y dejaron registros de advertencia, careciendo del sigilo de los pentesters humanos.

Hallazgos Fuera del Benchmark

Durante la evaluación, los sistemas identificaron vulnerabilidades válidas no incluidas en el conjunto de referencia del benchmark. Notablemente, GPT-5.5 descubrió una vulnerabilidad de escritura de archivos arbitrarios de tipo zero-day en ComfyUI (un popular motor de flujo de trabajo de IA), demostrando que la IA de frontera puede identificar riesgos del mundo real más allá del alcance de la prueba prevista.

Significado y Reivindicaciones

El artículo afirma que es necesaria una evaluación de entornos de ciberseguridad abiertos y de extremo a extremo para observar las capacidades ofensivas emergentes bajo condiciones realistas.

• Estado Actual: Los sistemas de IA de frontera aún no son atacantes de extremo a extremo fiables. Exhiben una alta varianza, luchan con la planificación de largo alcance y carecen de sigilo.
• Riesgo Emergente: Sin embargo, ya pueden completar una fracción no trivial de tareas de ataque realistas, incluyendo la explotación de aplicaciones web reales, la navegación por redes empresariales y la adaptación a las defensas.
• Implicación: Los autores argumentan que las evaluaciones de lanzamiento de modelos deben evolucionar para incluir flujos de trabajo de ataque controlados que conecten la explotación web con la post-explotación. Depender únicamente de benchmarks aislados (como los CTF) es insuficiente para capturar los riesgos operativos planteados por los agentes de IA autónomos.

El trabajo proporciona una base para rastrear estas capacidades a lo largo del tiempo y fortalecer las defensas contra futuras amenazas cibernéticas impulsadas por IA autónoma. El benchmark y el pipeline son de código abierto para facilitar la investigación reproducible en este dominio.