🤖 AI

Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

El artículo presenta DeepRed, un benchmark de código abierto que evalúa el rendimiento de agentes de LLM en desafíos de CTF mediante un entorno virtualizado y un sistema de puntuación parcial, revelando que los modelos actuales tienen capacidades limitadas, con un máximo del 35% de completitud de puntos de control.

Autores originales: Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

Publicado 2026-04-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¿Soñarán los Agentes con Caparazones Raíz? Una Explicación Sencilla

Imagina que has creado un robot muy inteligente (un "Agente" impulsado por Inteligencia Artificial) que sabe leer, escribir y razonar como un humano. Ahora, le das un desafío: "Entra en una casa cerrada, encuentra el tesoro escondido y abre la puerta principal".

Este es el corazón del artículo que acabamos de leer. Los autores, un equipo de la Universidad de Tecnología de Delft, querían ver si estos robots inteligentes pueden realmente hackear sistemas de seguridad por sí solos, o si solo son buenos hablando pero malos actuando.

Aquí tienes la historia de su experimento, explicada con analogías cotidianas:

1. El Problema: ¿Ganar o Perder? (La Trampa del "Blanco o Negro")

Antes de este estudio, evaluar a estos robots era como jugar al ajedrez y solo mirar quién gana la partida.

El problema: Si el robot logra entrar y robar el tesoro, es un "10". Si falla en el último paso, es un "0".
La realidad: La mayoría de los robots hoy en día no logran robar el tesoro completo. Pero, ¡no son tontos! A veces logran saltar la cerca, otras veces encuentran la llave en el buzón, y a veces logran abrir la puerta trasera.
La solución de los autores: Crearon un sistema de "Crédito Parcial". En lugar de decir "fallaste", el sistema dice: "¡Bien! Saltaste la cerca (1 punto), encontraste la llave (1 punto), pero no abriste la puerta (0 puntos)". Así, pueden ver exactamente dónde se atasca el robot.

2. El Laboratorio: DeepRed (La Casa de Muñecas Segura)

Para probar a los robots, no querían meterlos en internet real (eso sería peligroso y caótico). Crearon un entorno llamado DeepRed.

La Analogía: Imagina una casa de muñecas gigante y segura.
- Hay una habitación para el "Hacker" (el robot) con todas las herramientas de un taller (un ordenador Kali Linux).
- Hay otra habitación para la "Víctima" (el objetivo con el tesoro).
- Están conectadas por un pasillo privado.
- Lo más importante: Si el robot se vuelve loco y empieza a romper cosas, el sistema lo apaga y lo reinicia como nuevo. Nadie sale herido, y el experimento se puede repetir mil veces.

3. La Prueba: Los 10 Desafíos (Los Juegos de Escape)

El equipo preparó 10 juegos de escape digitales (llamados retos CTF) de diferentes tipos:

Algunos eran como encontrar un código en una página web (fácil).
Otros requerían descifrar mensajes ocultos en imágenes (esteganografía).
Otros necesitaban forzar cerraduras digitales (fuzzing).
El objetivo: Ver si el robot podía navegar por estos juegos usando solo una terminal de comandos (como si escribiera en una máquina de escribir antigua) y un buscador web.

4. El Sistema de Calificación: El Juez Automático

Aquí viene la magia. Como los robots no siempre ganan, los humanos no podían revisar cada intento (sería demasiado lento y caro).

El proceso:
1. El robot intenta el reto y deja un registro de todo lo que hizo (sus pensamientos y acciones).
2. Una IA "Resumidora" lee ese registro gigante y lo convierte en un resumen corto: "El robot intentó abrir la puerta, falló, luego buscó una llave y la encontró".
3. Una IA "Jueza" compara ese resumen con la solución ideal (el "mapa del tesoro" que ya tenían los humanos) y le da los puntos.
El resultado: Funcionó muy bien. La IA juez fue casi tan precisa como un humano experto, pero en segundos en lugar de horas.

5. ¿Qué Descubrieron? (El Veredicto)

Los resultados fueron honestos y un poco decepcionantes, pero muy útiles:

No son invencibles: El mejor robot (GPT-5.1) solo logró completar el 35% de los pasos necesarios para ganar. ¡La mayoría falló mucho!
Son buenos en lo básico: Si el reto era algo común (como un error típico en una página web), los robots lo resolvían bien.
Se pierden en lo difícil: Cuando el reto requería pensar varios pasos adelante, adaptarse a un error inesperado o usar herramientas de forma creativa, los robots se confundían.
- Analogía: Son como un estudiante que sabe de memoria la teoría de conducir, pero si el coche se atasca en un bache inesperado, se queda paralizado y no sabe cómo salir.
Falta de paciencia: Muchos robots se rindieron demasiado rápido o se quedaron repitiendo la misma acción fallida una y otra vez, como un perro persiguiendo su propia cola.

6. ¿Por qué es importante esto?

Este estudio es como un termómetro para la inteligencia artificial en ciberseguridad.

Nos dice que, aunque los robots son muy inteligentes hablando, aún no son buenos trabajando solos en situaciones reales y complejas.
Nos ayuda a entender que no basta con que la IA sea "lista"; necesita aprender a planificar a largo plazo, recordar lo que hizo antes y no rendirse cuando las cosas salen mal.

En resumen: Los agentes de IA actuales son como aprendices de hacker muy talentosos pero inmaduros. Pueden hacer cosas geniales, pero aún necesitan mucha supervisión humana para no perderse en el laberinto. El estudio "DeepRed" nos dio la herramienta perfecta para medir exactamente cuánto han aprendido y dónde necesitan más práctica.

1. El Problema

Aunque los Agentes de Modelos de Lenguaje Grande (LLM) se proponen cada vez más para tareas de ciberseguridad autónomas, su capacidad real en entornos ofensivos realistas sigue siendo poco comprendida.

Limitaciones actuales: Los LLMs estándar carecen de soporte nativo para la invocación de herramientas, la interacción con el entorno, la memoria persistente o la planificación a largo plazo.
Deficiencia en la evaluación: Las métricas de evaluación existentes suelen ser binarias (éxito/fracaso: ¿capturó la bandera o no?). Esta aproximación es demasiado gruesa para agentes actuales que rara vez resuelven desafíos completos de principio a fin, pero sí logran un progreso parcial medible (como reconocimiento, descubrimiento de credenciales o escalada de privilegios parcial).
Necesidad: Existe una brecha en la capacidad de evaluar de manera granular y reproducible el rendimiento de los agentes en entornos de CTF (Capture The Flag) aislados y realistas.

2. Metodología: DeepRed

Los autores presentan DeepRed, un marco de referencia (benchmark) de código abierto diseñado para evaluar agentes LLM en entornos de CTF virtualizados.

Arquitectura del Entorno

Aislamiento estricto: Se utilizan máquinas virtuales (VM) completas (Kali Linux como atacante y una VM objetivo) en lugar de contenedores, para garantizar un aislamiento fuerte y replicar el comportamiento del kernel y las primitivas de explotación de bajo nivel.
Interacción: El agente interactúa exclusivamente a través de una interfaz de terminal (vía socket Unix) y una búsqueda web filtrada (DuckDuckGo) para evitar fugas de información directa sobre la bandera.
Reproducibilidad: Cada episodio comienza con una instantánea limpia de las VMs, asegurando que no haya residuos de ejecuciones anteriores.

Evaluación por Crédito Parcial (Partial-Credit)

En lugar de una métrica binaria, el sistema utiliza un enfoque basado en hitos (checkpoints):

Descomposición: Cada desafío se divide en una secuencia de hitos binarios derivados de "writeups" (soluciones públicas) oficiales. Estos hitos representan logros técnicos observables (ej. identificar un servicio, recuperar credenciales, obtener un shell inicial, escalar privilegios).
Pipeline de Etiquetado Automatizado: Para escalar la evaluación sin depender exclusivamente de humanos, se implementa un proceso de dos etapas:
- Resumen: Un modelo de lenguaje (LM) resume los registros de ejecución (logs) largos en un resumen estructurado paso a paso.
- Juicio: Un segundo LM (el "Juez") evalúa el resumen contra la rúbrica de hitos específica del desafío para asignar una puntuación de completado.
Validación: Se validó la fiabilidad del pipeline automático comparándolo con anotaciones humanas, logrando un acuerdo alto (Kappa de Cohen $\kappa \approx 0.78$ ).

3. Contribuciones Clave

DeepRed: Una arquitectura de código abierto para la evaluación de agentes LLM en entornos CTF realistas, con aislamiento de red y reproducibilidad.
Método de Puntuación Parcial: Introducción de una metodología basada en logs que asigna crédito por progreso intermedio, permitiendo una evaluación más fina que el simple "éxito/fracaso".
Pipeline de Etiquetado Automatizado: Desarrollo y validación de un sistema de "resumir-luego-juzgar" que reduce el costo de evaluación manual de horas a minutos por traza, manteniendo una alta correlación con expertos humanos.
Benchmarking Empírico: Evaluación de 10 modelos LLM comercialmente accesibles en 10 desafíos de CTF basados en VM, cubriendo categorías como explotación web, escalada de privilegios, esteganografía y manipulación de claves SSH.
Recurso Abierto: Liberación de todos los componentes del marco, configuraciones de desafíos y scripts de evaluación para fomentar la investigación futura.

4. Resultados Principales

Se evaluaron 10 modelos (incluyendo GPT-5.1 Codex Max, Gemini 2.0, Claude, etc.) en 10 desafíos de dificultad baja a media.

Rendimiento General: Los agentes actuales tienen capacidades limitadas. El mejor modelo (GPT-5.1 Codex Max) logró un 35% de completado promedio de hitos. Solo unos pocos modelos superaron el 20%, y el peor (Nemotron-3 Nano) alcanzó solo el 5%.
Patrones de Éxito:
- Los agentes funcionan mejor en flujos de trabajo de explotación comunes (ej. inyección SQL estándar seguida de escalada de privilegios).
- Tienen dificultades significativas en tareas que requieren descubrimiento no estándar, enumeración extensiva (fuzzing), manejo de claves SSH o adaptación a resultados inesperados a largo plazo.
Uso de Tokens y Pasos: No hay una correlación directa entre el alto consumo de tokens/pasos y un mejor rendimiento. La eficiencia en la selección de acciones y la calidad del razonamiento son más determinantes que el volumen de interacción.
Fallas Comunes:
- Falta de perseverancia: Los agentes suelen abandonar o perderse después de los primeros 20 pasos.
- Mala gestión de la memoria: No almacenan resultados intermedios, repitiendo acciones fallidas.
- Dificultad en la planificación a largo horizonte: Les cuesta adaptar estrategias cuando los resultados no son inmediatos.

5. Significado e Impacto

Evaluación Realista: DeepRed demuestra que las métricas binarias ocultan diferencias sustanciales en la capacidad de los agentes. La evaluación por crédito parcial es esencial para rastrear el progreso en tareas complejas donde el éxito total es aún raro.
Seguridad y Riesgo: El estudio confirma que, aunque los agentes LLM pueden asistir en tareas ofensivas, aún carecen de la autonomía robusta para ejecutar ataques complejos de principio a fin sin supervisión humana. Sin embargo, su capacidad para realizar reconocimiento y descubrimiento parcial es una preocupación de seguridad que debe monitorizarse.
Dirección Futura: Los resultados sugieren que las futuras mejoras en agentes de ciberseguridad deben centrarse en sistemas de memoria explícita, planificación jerárquica y bucles de auto-reflexión, más que en simplemente aumentar el tamaño del modelo o el contexto.
Reproducibilidad: Al ofrecer un entorno aislado y estandarizado, el trabajo permite a la comunidad medir objetivamente la evolución de las capacidades de los agentes de seguridad a lo largo del tiempo.

En conclusión, el artículo establece un nuevo estándar para la evaluación de agentes LLM en ciberseguridad, revelando que, si bien los agentes actuales pueden navegar parcialmente por desafíos ofensivos, la autonomía completa en entornos reales sigue siendo un objetivo distante.