Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations

1. El Problema

Los modelos de lenguaje grandes (LLMs) agenticos están siendo cada vez más evaluados en tareas de ciberseguridad utilizando benchmarks de "Capture The Flag" (CTF), como Cybench y Intercode. Sin embargo, estos enfoques actuales presentan limitaciones críticas:

• Evaluación puntual: Los benchmarks existentes consisten en tareas independientes. Esto solo revela el rendimiento del modelo en un conjunto fijo de tareas heterogéneas, sin ofrecer información sobre su robustez ante perturbaciones de entrada o su capacidad de generalización.
• Contaminación de datos: Dado que muchos CTFs son públicos, existe el riesgo de que los modelos ya hayan visto estos problemas durante su entrenamiento, lo que infla artificialmente sus puntuaciones.
• Falta de discriminación: No se puede distinguir si un modelo resuelve un problema gracias a un razonamiento profundo o simplemente reconociendo patrones superficiales (nombres de variables familiares, estructura de código conocida).

2. Metodología

Los autores proponen un enfoque complementario basado en familias de desafíos CTF y presentan una herramienta llamada Evolve-CTF.

A. Concepto de Familias CTF

En lugar de evaluar un único desafío, se toma un CTF original y se genera una familia de variantes semánticamente equivalentes mediante transformaciones que preservan la semántica.

• Todas las instancias en una familia comparten la misma vulnerabilidad y estrategia de explotación subyacente.
• Sin embargo, varían drásticamente en su estructura sintáctica, flujo de control, nombres de identificadores y nivel de ofuscación.
• Esto permite aislar la capacidad de razonamiento del modelo frente a la memorización de patrones.

B. Herramienta Evolve-CTF

Desarrollada para desafíos en Python, esta herramienta aplica transformaciones automatizadas utilizando la biblioteca LibCST (Abstract Syntax Tree) para preservar el formato y comentarios. Las transformaciones soportadas son:

1. $R$ (Renombrado): Reemplaza todos los identificadores (variables, funciones, clases) con nombres aleatorios o vocabulario de programación.
2. $T1$ (Inserción de bucles): Añade bucles anidados redundantes (condiciones que siempre son falsas) para aumentar la complejidad visual sin cambiar la lógica.
3. $T2$ (Inserción de condicionales): Añade bloques if o try-except redundantes.
4. $T3$ (Inserción de funciones): Define funciones o lambdas redundantes.
5. $T4$ (Inserción de comentarios): Añade comentarios sintéticos (útiles o sin sentido).
6. $T5$ (Combinación): Aplica secuencialmente $T1$ a $T4$.
7. $O$ (Ofuscación): Aplica la herramienta externa PyObfuscator (renombrado agresivo, eliminación de docstrings, encriptación de strings y compresión gzip).

Estas transformaciones se combinan en una estructura de árbol para crear 24 instancias por CTF original (incluyendo el original), permitiendo un análisis composicional del impacto de cada transformación.

C. Configuración Experimental

• Datos: Se generaron familias a partir de 16 desafíos Python de Cybench y Intercode.
• Modelos: Se evaluaron 13 configuraciones de LLMs (9 modelos base) incluyendo versiones con razonamiento explícito (ej. GPT-R, Gem-R) y sin él, utilizando el framework Inspect para la ejecución de agentes.
• Protocolo: Cada instancia se ejecutó 5 veces con un límite de 200,000 tokens. Los agentes tienen acceso a herramientas (bash, python, submit) y 3 intentos para enviar la bandera.

3. Contribuciones Clave

1. Nueva Metodología de Evaluación: Introducción de las "familias de CTF" como estándar para medir la robustez y generalización de agentes LLMs más allá de benchmarks estáticos.
2. Herramienta Evolve-CTF: Un sistema automatizado para generar variantes de desafíos de ciberseguridad que preservan la semántica pero alteran la sintaxis.
3. Dataset Masivo: Creación de un conjunto de datos extenso que caracteriza las capacidades de los modelos de vanguardia actuales en tareas de razonamiento de código bajo perturbaciones controladas.
4. Análisis de Benchmarking: Capacidad para identificar qué desafíos existentes en benchmarks públicos carecen de poder discriminatorio (son demasiado fáciles o triviales incluso para modelos avanzados).

4. Resultados Principales

• Robustez ante cambios superficiales: Los modelos son extremadamente robustos al renombrado de identificadores ($R$) y a la inserción de código redundante aislado ($T1-T4$). El rendimiento apenas cambia, lo que sugiere que los modelos no dependen fuertemente de nombres de variables semánticamente significativos.
• Impacto de las transformaciones compuestas: La combinación de transformaciones ($T5$) degrada significativamente el rendimiento. Los modelos deben realizar un uso mucho más sofisticado de las herramientas (llamadas a grep, sed, head, tail) para navegar la complejidad del código.
• Efecto de la ofuscación agresiva: La aplicación de PyObfuscator ($O$) reduce drásticamente la tasa de éxito (por debajo del 0.5 en la mayoría de los casos). Los modelos a menudo intentan escribir scripts para descomprimir o revertir la ofuscación, pero a menudo fallan por agotar el presupuesto de tokens.
• Razonamiento explícito: Activar el modo de "razonamiento explícito" (high reasoning) tuvo poco impacto en las tasas de éxito, contradiciendo la hipótesis de que el razonamiento extra siempre ayuda o perjudica consistentemente en tareas con información distractora.
• Falta de discriminación en benchmarks actuales: Tres desafíos de Intercode (categoría "Exec") fueron resueltos por casi todos los modelos en todas sus variantes, indicando que son demasiado simples para evaluar modelos de vanguardia.
• Uso de herramientas: Ante desafíos complejos ($T5$ y $O$), el número de llamadas a herramientas se duplica o triplica. Los modelos intentan estrategias como buscar palabras clave de seguridad o inspeccionar regiones de código circundantes.

5. Significado e Impacto

Este trabajo cambia el paradigma de la evaluación de LLMs en ciberseguridad:

• Más allá de la memorización: Demuestra que un modelo puede resolver un CTF original pero fallar estrepitosamente ante una versión ligeramente ofuscada, revelando que su éxito inicial podría deberse a patrones superficiales y no a un entendimiento profundo del código.
• Validación de Robustez: Proporciona una forma controlada de probar si un agente de IA posee capacidades reales de razonamiento de código y uso de herramientas, esenciales para aplicaciones de seguridad reales donde el código suele estar ofuscado o mal documentado.
• Mejora de Benchmarks: Ofrece un método para auditar y mejorar los conjuntos de datos existentes, eliminando aquellos que no son lo suficientemente difíciles o discriminatorios.
• Dirección Futura: Establece una base para evaluar la robustez en otros lenguajes (C++, Rust) y en tareas más amplias de razonamiento de código, como la búsqueda de bugs y la reparación automática.

En resumen, el artículo argumenta que la verdadera prueba de un agente LLM en ciberseguridad no es resolver un desafío estático, sino su capacidad para adaptarse y resolver variantes semánticamente equivalentes pero sintácticamente complejas y ofuscadas.