Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

El estudio evalúa la capacidad de siete modelos de IA de vanguardia para ejecutar ciberataques autónomos en entornos corporativos e industriales, revelando que el rendimiento escala log-linealmente con la potencia de cómputo y mejora significativamente entre generaciones, logrando completar hasta 22 de 32 pasos en un escenario corporativo en un tiempo comparable al de un experto humano.

Lo esencial

Imagina que la inteligencia artificial (IA) es como un aprendiz de detective muy inteligente, pero que todavía está aprendiendo el oficio. Este artículo es como un informe de entrenamiento donde los autores ponen a prueba a varios de estos "detectives" (modelos de IA más nuevos y antiguos) en dos escenarios de entrenamiento muy específicos: uno es un ataque a una oficina corporativa y el otro es un ataque a una planta de energía industrial.

El objetivo no era ver si podían resolver un acertijo rápido, sino si podían llevar a cabo una misión larga y compleja paso a paso, sin que un humano les dijera qué hacer en cada momento.

Aquí tienes los puntos clave explicados con analogías sencillas:

1. La Prueba de Fuego: Dos Escenarios Diferentes

Los autores construyeron dos "pistas de entrenamiento" virtuales:

• Escenario A: "Los Últimos" (La Oficina Corporativa).

  • La misión: Robar datos sensibles de una base de datos protegida dentro de una red de oficina.
  • La dificultad: Es como un laberino de 32 pasos. Tienes que encontrar llaves, abrir puertas, saltar vallas y esquivar guardias (aunque en esta prueba, los guardias no atacan de verdad, solo observan).
  • El resultado: ¡Aquí es donde la IA sorprendió! Los modelos más nuevos lograron avanzar mucho más lejos que los antiguos. El mejor modelo logró completar 22 de los 32 pasos.
  • La analogía: Imagina que un humano experto tardaría unas 14 horas en completar este laberino. El mejor modelo de IA lo hizo en un tiempo equivalente a 6 horas de trabajo humano, aunque tardó más tiempo real en la computadora porque "pensó" mucho.

• Escenario B: "La Torre de Refrigeración" (La Planta Industrial).

  • La misión: Desactivar o dañar el sistema de control de una planta de energía.
  • La dificultad: Es un sistema muy especializado y delicado. Son solo 7 pasos, pero cada paso es como mover una pieza de un reloj gigante; si te equivocas, todo se detiene.
  • El resultado: Aquí la IA todavía se queda corta. La mayoría de los modelos apenas lograron dar 1 o 2 pasos. Es como intentar que un niño de primaria repare un motor de avión: tienen la inteligencia, pero les falta el conocimiento técnico específico y la experiencia de campo.

2. Dos Grandes Descubrimientos (Las Tendencias)

El estudio encontró dos reglas de oro sobre cómo están mejorando estas IAs:

• Regla 1: "Más dinero, más éxito" (Escalar el presupuesto).

  • Si le das a la IA más tiempo de "pensamiento" (medido en "tokens", que son como palabras o fragmentos de texto que la IA procesa), hace un trabajo mucho mejor.
  • La analogía: Es como si le dieras a un estudiante más tiempo para estudiar antes del examen. No importa si el estudiante es "tonto" o "inteligente"; si le das 100 veces más tiempo para pensar, resolverá más problemas.
  • Lo más preocupante es que no hay un límite visible. Cuanto más tiempo de computación gastan, mejor se vuelven, sin estancarse. Y lo peor: cualquiera puede hacer esto. No necesitas ser un genio de la informática; solo necesitas pagar por más tiempo de procesamiento.

• Regla 2: "Cada nueva generación es más lista" (Mejora con el tiempo).

  • Comparando modelos lanzados en 2024 con los de 2026, los nuevos son mucho mejores, incluso si les das el mismo tiempo de "pensamiento".
  • La analogía: Es como comparar un coche de 2024 con uno de 2026. El nuevo no solo va más rápido, sino que tiene mejor navegación y maneja mejor las curvas. En el escenario de la oficina, el modelo más nuevo (Opus 4.6) completó casi el doble de pasos que el modelo de hace un año y medio, usando la misma cantidad de recursos.

3. ¿Dónde fallan? (Los Cuellos de Botella)

Aunque la IA avanza rápido, todavía tiene problemas graves:

• El muro del conocimiento especializado: En el escenario de la oficina, la IA se estanca cuando necesita conocimientos muy técnicos, como "ingeniería inversa" (desarmar un programa para ver cómo funciona) o criptografía avanzada. Es como si el detective supiera abrir puertas, pero no supiera cómo forzar una caja fuerte compleja.
• El problema de la distracción: En el escenario industrial, la IA a veces se distrae o intenta atajos extraños. Por ejemplo, en lugar de seguir el camino lógico de hackear una web primero, a veces intenta "adivinar" códigos directamente en el sistema industrial, como si estuviera adivinando la contraseña de un cajero automático a la fuerza. A veces funciona por suerte (encontrando un error en el sistema), pero no porque entienda lo que hace.

4. ¿Por qué es importante esto?

El mensaje principal es que la barrera para cometer ciberataques está bajando.

• Antes: Para hackear una red compleja, necesitabas un equipo de hackers expertos trabajando durante días.
• Ahora: Con una IA moderna y un poco de presupuesto de computación, un actor con pocos conocimientos técnicos podría lanzar un ataque que antes requería expertos. La IA actúa como un "acelerador" o un "multiplicador de fuerza".

Conclusión en una frase

La inteligencia artificial está aprendiendo a ser un hacker autónomo muy rápido en entornos de oficina, y cada nueva versión es más peligrosa, pero todavía no es lo suficientemente experta para romper sistemas industriales complejos por sí sola. Sin embargo, la tendencia es clara: están mejorando tan rápido que pronto podrían ser capaces de hacer casi cualquier cosa si se les da suficiente tiempo y recursos.

Resumen técnico

Resumen Técnico: Medición del Progreso de los Agentes de IA en Escenarios de Ciberataques Multietapa

1. El Problema

A medida que los sistemas de IA avanzan, existe una preocupación crítica sobre su capacidad para ejecutar ciberataques autónomos. Si los agentes de IA pueden ejecutar cadenas de ataque complejas y multietapa con poca o ninguna supervisión humana, esto podría alterar significativamente el panorama de las amenazas cibernéticas al:

• Reducir la barrera de entrada para actores no sofisticados.
• Aumentar la escala de operaciones para actores expertos.
• Habilitar nuevas operaciones ofensivas.

Sin embargo, las evaluaciones existentes se basan principalmente en desafíos aislados de "Capture the Flag" (CTF) o benchmarks de preguntas y respuestas. Estos enfoques no capturan el razonamiento autónomo, el seguimiento de estado y la recuperación de errores necesarios para navegar entornos de red a gran escala, que se asemejan más a las operaciones ofensivas reales.

2. Metodología

Los autores evaluaron la capacidad de ciberataque autónomo de siete modelos de IA de vanguardia (lanzados entre agosto de 2024 y febrero de 2026) en dos rango cibernéticos (entornos de red simulados) diseñados a propósito:

• Entornos de Prueba:

  1. "The Last Ones" (Los Últimos): Un ataque a una red corporativa de 32 pasos. El objetivo es exfiltrar datos sensibles de una base de datos interna protegida. Se estima que un experto humano tardaría unas 14 horas en completarlo.
  2. "Cooling Tower" (Torre de Refrigeración): Un ataque a un sistema de control industrial (ICS) de 7 pasos en una planta de energía simulada. El objetivo es interrumpir procesos físicos. Se estima que un experto humano tardaría unas 15 horas.

• Diseño Experimental:

  • Agentes: Los modelos operaron bajo un diseño estándar de agente (paradigma ReAct: Razonar + Actuar) utilizando Kali Linux y herramientas de prueba de penetración (comandos Bash, Python y el framework Mythic C2).
  • Presupuestos de Inferencia: Se probaron los modelos con diferentes presupuestos de tokens (tokens de inferencia), específicamente 10 millones y 100 millones de tokens.
  • Compresión de Contexto: Para permitir trayectorias largas que exceden la ventana de contexto única, se utilizó una técnica de compresión de contexto donde el modelo resume la historia de la conversación para continuar la tarea.
  • Métricas: El rendimiento se midió por el número de pasos completados autónomamente hasta alcanzar el objetivo. No se penalizaron las alertas de seguridad (los entornos no tenían defensores activos).

3. Contribuciones Clave

• Evaluación de Cadena Completa: Proporciona una de las primeras evaluaciones longitudinales de modelos de IA ejecutando cadenas de ataque heterogéneas y extensas en lugar de tareas aisladas.
• Análisis de Escalabilidad: Establece una relación cuantitativa entre el costo de inferencia (tokens) y la capacidad ofensiva, demostrando que aumentar el presupuesto computacional mejora el rendimiento sin necesidad de sofisticación técnica adicional por parte del operador.
• Benchmarking Temporal: Compara modelos a lo largo de 18 meses, revelando la velocidad de mejora de las capacidades ofensivas entre generaciones de modelos.

4. Resultados Principales

A. Tendencias de Capacidad:

1. Escalabilidad Log-Linear con Tokens: El rendimiento escala log-linealmente con el aumento de tokens de inferencia. No se observó un "techo" (plateau) hasta los 100 millones de tokens. Aumentar el presupuesto de 10M a 100M tokens generó mejoras de hasta un 59% en los pasos completados.
2. Mejora Generacional: Cada nueva generación de modelo supera a su predecesora con el mismo presupuesto de tokens.
   • En la red corporativa ("The Last Ones"), el promedio de pasos completados a 10M tokens pasó de 1.7 (GPT-4o, ago 2024) a 9.8 (Opus 4.6, feb 2026).
   • La mejor ejecución individual (Opus 4.6 a 100M tokens) completó 22 de 32 pasos, lo que equivale a aproximadamente 6 horas de trabajo de un experto humano (de las 14 estimadas).

B. Diferencias entre Entornos:

• Red Corporativa: Los modelos mostraron progreso significativo, superando hitos de reconocimiento y movimiento lateral. Sin embargo, el rendimiento cae drásticamente después del hito 4, que requiere conocimientos especializados en ingeniería inversa, criptografía y desarrollo de malware.
• Sistemas de Control Industrial (ICS): El rendimiento sigue siendo muy limitado. En "Cooling Tower", el mejor modelo (Opus 4.6) promedió solo 1.4 pasos de 7 a 100M tokens.
  • Hallazgo interesante: Los modelos a veces encontraron rutas no previstas por los diseñadores, como eludir la ingeniería inversa de bibliotecas criptográficas mediante la exploración directa de protocolos propietarios y la fuerza bruta de identificadores de sesión (fuzzing), aunque sin comprender completamente el mecanismo explotado.

C. Cuellos de Botella:
Los principales obstáculos identificados fueron:

1. Ataques de retransmisión NTLM (requieren coordinación de procesos en tiempo real).
2. Cadenas complejas de ataques a pipelines CI/CD.
3. La necesidad de conocimientos de nicho (ingeniería inversa de binarios, recuperación de claves) para avanzar más allá de la fase de explotación web.

5. Significado e Implicaciones

• Accesibilidad del Ataque: La capacidad de mejorar el rendimiento simplemente aumentando el presupuesto de tokens (sin necesidad de ingeniería de prompts compleja o herramientas personalizadas) significa que actores con menos habilidades técnicas pueden ejecutar ataques más sofisticados.
• Velocidad de Evolución: La mejora entre modelos lanzados con solo dos meses de diferencia (Opus 4.5 a Opus 4.6) es notable, sugiriendo que la capacidad ofensiva autónoma está creciendo rápidamente.
• Riesgo Realista: Aunque los modelos aún no completan ataques de extremo a extremo de forma autónoma en entornos complejos, ya pueden acelerar significativamente las operaciones de ataque. El modelo de amenaza más probable a corto plazo no es un agente 100% autónomo, sino un operador humano asistido por IA que utiliza el agente para escalar operaciones y superar cuellos de botella técnicos.
• Limitaciones de la Evaluación: Los resultados representan un límite inferior de la capacidad real, ya que los entornos carecían de defensores activos, la densidad de vulnerabilidades era alta (diseñados para ser solubles) y no se optimizaron las herramientas específicas para cada modelo.

Conclusión:
El documento concluye que las capacidades ofensivas autónomas de la IA están mejorando rápidamente y escalan con el costo computacional. Si bien los modelos actuales aún luchan con tareas que requieren conocimientos de expertos profundos (como la ingeniería inversa avanzada), la tendencia indica que la brecha entre la capacidad humana y la de la IA se está cerrando, especialmente en entornos corporativos estándar. Se requiere una medición continua y rigurosa para desarrollar salvaguardas adecuadas.