Resumen Técnico: Agentes Autónomos de LLM y CTFs: Una Segunda Mirada

Declaración del Problema

A pesar de la proliferación de agentes de Modelos de Lenguaje Grande (LLM) que prometen automatizar tareas de seguridad ofensiva, las recientes afirmaciones sobre tasas de éxito cercanas a las humanas en desafíos de Capture-the-Flag (CTF) merecen escrutinio. La industria de la ciberseguridad enfrenta una escasez significativa de mano de obra, mientras que los atacantes explotan nuevas vulnerabilidades con rapidez. Aunque los LLM poseen conocimiento sobre clases de vulnerabilidades y herramientas, la seguridad ofensiva requiere planificación de múltiples pasos, uso adaptativo de herramientas y gestión coherente del contexto a lo largo de horizontes de interacción prolongados; capacidades que los agentes actuales luchan por demostrar de manera fiable. Además, muchos estudios anteriores se basan en sistemas de código cerrado o tareas proxy (por ejemplo, reconocimiento de vulnerabilidades) en lugar de la ejecución completa de exploits, dejando una brecha en la comprensión de las verdaderas capacidades y limitaciones de los agentes autónomos en las pruebas de penetración.

Metodología

Los autores realizan una evaluación rigurosa de agentes basados en LLM en un conjunto curado de 30 desafíos CTF basados en la web que abarcan 14 clases de vulnerabilidades (por ejemplo, inyección SQL, XSS, fallos de lógica de negocio, condiciones de carrera). Todos los desafíos fueron resueltos manualmente por los autores para proporcionar soluciones de referencia de verdad fundamental para un análisis detallado.

Arquitecturas de Agentes

El estudio compara tres arquitecturas modulares específicas del dominio frente a una línea base de propósito general:

1. Ejecutor (E): Un agente monolítico responsable del descubrimiento, la planificación y la ejecución.
2. Ejecutor + Evaluador (E+E): Un sistema multiagente donde un Evaluador califica las acciones propuestas por el Ejecutor antes de la ejecución, proporcionando retroalimentación para el refinamiento.
3. Planificador + Ejecutor + Evaluador (P+E+E): Una pipeline estructurada donde un Planificador (respaldado por un Nodo de Reconocimiento) formula un plan de ataque de alto nivel, que luego es ejecutado por el Ejecutor y monitoreado por el Evaluador. Este diseño desacopla la planificación de la ejecución.
4. Línea Base (claude-code): Un asistente agénico de propósito general y nivel de producción (Opus 4.5) que determina autónomamente su arquitectura interna, incluida la capacidad de generar subagentes.

Configuración Experimental

• Modelos: Las arquitecturas modulares se probaron con GPT-4.1 y GPT-5. La línea base utilizó claude-code (Opus 4.5).
• Ejecución: Cada arquitectura se ejecutó tres veces por desafío (90 ejecuciones totales por arquitectura) para medir la consistencia, mientras que la línea base se ejecutó una vez por desafío debido a las restricciones de tokens.
• Entorno: Los agentes interactuaron con aplicaciones web aisladas en contenedores Docker a través de terminales SSH, utilizando las herramientas run_command y run_python.
• Métricas: Tasa de éxito (máxima entre ejecuciones), pasos promedio de interacción, costo (USD) y duración en tiempo real.

Contribuciones y Resultados Clave

1. Techo de Rendimiento y Comparación con la Línea Base

El estudio revela que los agentes actuales están aún por debajo de la capacidad humana.

• Tasa de Éxito: Tanto la arquitectura mejor diseñada (P+E+E con GPT-5) como el agente de propósito general claude-code resolvieron exactamente 19 de 30 desafíos (63%).
• Dependencia del Modelo: El núcleo del LLM es decisivo; GPT-4.1 resolvió solo 9/30 tareas, mientras que GPT-5 alcanzó 19/30, lo que indica que el razonamiento complejo de múltiples pasos requiere los modelos de la última generación.
• Arquitectura vs. Propósito General: Aunque claude-code logró la misma tasa de éxito máxima que la solución de ingeniería más compleja sin ingeniería específica del dominio, las soluciones de ingeniería ofrecieron una eficiencia superior.

2. Eficiencia y Consistencia

Aunque la resolubilidad máxima fue idéntica entre sistemas fuertes, la complejidad arquitectónica impactó significativamente la eficiencia y la fiabilidad:

• Costo y Pasos: La arquitectura P+E+E fue la más eficiente en costos, reduciendo los pasos promedio de 31.56 (solo Ejecutor) a 24.09 y disminuyendo los costos en un 34% en comparación con el enfoque monolítico.
• Consistencia: Las arquitecturas multiagente demostraron mayor robustez. La configuración P+E+E resolvió el mismo desafío en las tres ejecuciones independientes para 16/30 tareas, en comparación con 12/30 para el Ejecutor monolítico.
• Sobrecarga de Tiempo de Ejecución: A pesar de la eficiencia en pasos, las arquitecturas estructuradas incurrieron en tiempos de ejecución en tiempo real más altos debido a la sobrecarga de instanciar múltiples agentes, mientras que claude-code permaneció rápido al generar subagentes raramente.

3. Análisis de Fallos y Cuellos de Botella

El estudio identifica que los fallos se agrupan consistentemente en torno a categorías específicas, independientemente de la arquitectura del agente o el modelo utilizado.

• Cuello de Botella Principal: El reconocimiento de vulnerabilidades es el principal punto de fallo. El Planificador identificó correctamente la vulnerabilidad objetivo en 23/30 casos; en los 7 restantes, ni los agentes ni claude-code pudieron formular un plan. Una vez que se reconoció una vulnerabilidad, la explotación tuvo éxito en la gran mayoría de los casos.
• Modos de Fallo Sistemáticos:
  • Cross-Site Scripting (XSS): Los fallos se debieron a limitaciones ambientales (falta de renderizado del navegador para la ejecución de JavaScript) en lugar de errores de razonamiento.
  • Inyección SQL/Comando a Ciegas: Los fallos surgieron de las restricciones de la ventana de contexto. El refinamiento largo e iterativo de la carga útil degradó la calidad y la consistencia del razonamiento.
  • Fallos de Lógica de Negocio: Los agentes fallaron consistentemente al razonar sobre los flujos de trabajo de la aplicación, recurriendo a buscar exploits técnicos estándar (por ejemplo, inyecciones) en lugar de comprender la lógica prevista.
  • Condiciones de Carrera: Ambos sistemas fallaron al ejecutar ataques que requerían acciones concurrentes o sincronizadas, ya que las arquitecturas operaban secuencialmente y no inferían la necesidad de paralelismo.

Significado y Afirmaciones

El artículo proporciona una "verificación de la realidad" sobre las afirmaciones de rendimiento cercano al humano en la seguridad ofensiva autónoma. Su significado principal radica en:

1. Establecimiento de Líneas Base Fuertes: Demostrar que agentes de propósito general como claude-code son líneas base sólidas que igualan el rendimiento máximo de sistemas multiagente específicos del dominio creados a mano.
2. Identificación del Valor Arquitectónico: Mostrar que, aunque la arquitectura no aumenta el techo de tareas resolubles, la orquestación estructurada (específicamente el modelo Planificador-Ejecutor-Evaluador) mejora significativamente la consistencia, la eficiencia de costos y la reducción de pasos dentro del subconjunto resoluble.
3. Definición de Limitaciones: Aclarar que las limitaciones actuales no son meramente arquitectónicas, sino que surgen de brechas fundamentales en las capacidades de los LLM:
   • Técnicas: Falta de capacidades ambientales (renderizado de navegador, concurrencia).
   • Cognitivas: Incapacidad para razonar sobre la lógica de negocio y mantener la coherencia a lo largo de cadenas de interacción largas y con estado.

Los autores concluyen que el progreso futuro requiere abordar estas barreras ambientales y cognitivas específicas, mejorando particularmente el reconocimiento de vulnerabilidades y la gestión de contexto a largo plazo, en lugar de simplemente aumentar la complejidad arquitectónica.