💻 computer science

Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing

Este artículo sostiene que las evaluaciones futuras de los agentes autónomos de pruebas de penetración deben establecer líneas de base de agentes simples controlados y emparejados con el modelo para distinguir con precisión las mejoras de rendimiento derivadas de innovaciones arquitectónicas de aquellas atribuibles a las mejoras del modelo subyacente.

Autores originales: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Publicado 2026-07-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una ciudad gigante y en constante cambio de edificios digitales. Algunos de estos edificios tienen trampas ocultas y cerraduras rotas: agujeros de seguridad que los actores malintencionados podrían usar para colarse. Durante décadas, el trabajo de encontrar estos agujeros perteneció a expertos humanos, como cerrajeros digitales que recorren cada habitación, probando puertas y ventanas. Pero la ciudad está creciendo demasiado rápido; nuevos edificios aparecen cada segundo y los cerrajeros no pueden seguir el ritmo. Así que los científicos empezaron a construir "cerrajeros robóticos" utilizando Inteligencia Artificial. Estos robots están impulsados por Modelos de Lenguaje Extensos (LLM), que son como cerebros superinteligentes que han leído casi todo en internet y pueden escribir código, razonar a través de problemas y seguir instrucciones.

La gran pregunta en este campo no es solo "¿Puede el robot encontrar la cerradura?", sino "¿Qué parte del éxito del robot proviene de su cerebro y qué parte proviene de las herramientas sofisticadas que le dimos?". Imagina que tienes a un estudiante genio. Si le das un cuaderno sencillo y un bolígrafo, podría resolver un problema matemático. Si le das una calculadora de alta tecnología, un equipo de tutores y un mapa especial, podría resolverlo más rápido. Pero, ¿el calculador lo hizo más inteligente o solo le ayudó? En el mundo de la seguridad de la IA, los investigadores han estado construyendo "arneses" complejos —equipos de agentes de IA, sistemas de memoria especiales y herramientas de búsqueda— para ayudar a la IA a hackear sitios web. Pero debido a que siguen cambiando el cerebro de la IA y las herramientas al mismo la vez, nadie sabía si las herramientas sofisticadas estaban haciendo realmente el trabajo pesado, o si la IA simplemente estaba mejorando por su cuenta.

Este artículo, titulado "Baselines Before Architecture" (Líneas de base antes de la arquitectura), interviene para zanjar la disputa con un experimento muy cuidadoso. Los investigadores configuraron una prueba controlada utilizando un conjunto estándar de 104 desafíos digitales llamados la marca de referencia XBOW. En lugar de construir un robot nuevo y sofisticado, tomaron tres asistentes de codificación "planos" existentes —llamados Codex, OpenCode y Pi— y les pidieron resolver los desafíos usando un único y poderoso cerebro de IA (GPT-5) y sin herramientas de seguridad especiales. Querían ver qué tan bien podía desempeñarse una IA "desnuda" antes de añadir cualquier accesorio extra.

Los resultados fueron una mezcla de sorpresas y verdades prácticas. Primero, los agentes de codificación planos fueron sorprendentemente fuertes. El agente "Codex", ejecutándose en el modelo GPT-5, resolvió aproximadamente el 67% de los desafíos en su primer intento. Cuando los investigadores permitieron que lo intentara de nuevo (ejecutando la misma prueba dos veces y combinando los resultados), resolvió el 77.9% de los desafíos. Esto es algo importante porque significa que un robot de codificación simple y de propósito general ya puede manejar una gran parte del trabajo sin necesidad de un equipo de seguridad complejo.

El estudio también probó dos ideas específicas que muchos pensaban que eran esenciales. Una fue el "prompting de seguridad", donde le das a la IA una hoja de instrucciones especial diciéndole que piense como un hacker. La otra fue la idea de que las arquitecturas complejas de múltiples agentes (donde diferentes roles de IA hablan entre sí) son necesarias para un rendimiento óptimo. El artículo encontró que las "instrucciones de hacker" especiales en realidad hicieron que la IA funcionara peor, resolviendo menos desafíos y costando más dinero. En cuanto a las arquitecturas complejas, el artículo comparó los resultados de Codex con dos famosos sistemas de alta tecnología llamados MAPTA y PentestGPT V2.

Aquí está el matiz: los sistemas sofisticados todavía tenían una ligera ventaja. Al ser emparejados con el mismo cerebro de IA, el sistema especializado MAPTA resolvió aproximadamente 9.6 puntos porcentuales más desafíos que el Codex plano. Sin embargo, el artículo mostró que esta brecha no era tan grande como parecía. Cuando los investigadores actualizaron el agente Codex plano a un cerebro más nuevo y más inteligente (GPT-5.5), resolvió el 92.3% de los desafíos en su primer intento y el 95.2% al combinar dos ejecuciones. Este nuevo agente plano de hecho superó las puntuaciones principales de los sistemas complejos más antiguos, incluso sin ninguna de sus herramientas sofisticadas.

La principal conclusión es una advertencia para la comunidad científica: No asumas que una nueva arquitectura compleja es la heroína solo porque obtiene una puntuación alta. A menudo, la puntuación proviene de que el modelo de IA se vuelve más inteligente, no de que las herramientas se vuelven más sofisticadas. El artículo sugiere que antes de afirmar que un nuevo "arnés de seguridad" es un avance, los investigadores deben primero mostrar cuánto mejor es en comparación con un agente de codificación simple y plano utilizando exactamente el mismo cerebro de IA. Si bien las herramientas especializadas aún pueden ayudar a ahorrar dinero y tiempo, la IA "plana" ya está realizando la mayor parte del trabajo pesado, y simplemente esperar a la siguiente generación de modelos de IA podría ser tan efectivo como construir un robot más complicado.

Resumen Técnico: Baselines Antes de la Arquitectura

Planteamiento del Problema

Los sistemas recientes de pruebas de penetración autónomas (por ejemplo, MAPTA, PentestGPT V2) reportan puntuaciones altas en el benchmark XBOW al envolver modelos de lenguaje de gran tamaño (LLM) de frontera en complejos arneses de múltiples componentes. Estos arneses incluyen descomposición de roles, memoria persistente, recuperación y búsqueda de árboles de ataque. Sin embargo, existe un problema de atribución metodológica: estos sistemas a menudo cambian simultáneamente tanto el modelo base subyacente como el armazón arquitectónico. En consecuencia, es difícil determinar cuánto de la ganancia de rendimiento se deriva de la arquitectura específica de seguridad frente a las capacidades inherentes de un modelo más nuevo o del bucle general de un agente de codificación. Sin un baseline controlado y emparejado por modelo, el campo no puede distinguir si un armazón especializado realiza un trabajo significativo o simplemente proporciona a un LLM capaz el acceso suficiente para actuar.

Metodología

Este artículo presenta un estudio controlado utilizando el benchmark de 104 tareas de XBOW para aislar la contribución de la arquitectura específica de seguridad. El estudio emplea un diseño experimental de tres fases utilizando agentes de CLI de codificación por defecto, mínimamente modificados (Codex, OpenCode y Pi) como baselines de "agente simple".

Fases Experimentales:

Selección del Agente Simple (RQ1): Codex, OpenCode y Pi fueron evaluados bajo el mismo modelo base (GPT-5), presupuesto ($0.75/desafío), interfaz objetivo y reglas de puntuación. Cada agente ejecutó dos pasadas completas sobre los 104 desafíos para identificar el baseline más fuerte y estable.
Efecto del Prompt (RQ2): El baseline más fuerte (Codex) fue probado con dos variantes de prompts específicos de seguridad (prompt de tarea detallado y prompt de sistema completo) contra su prompt de defecto nativo para determinar si el texto específico de seguridad mejora el rendimiento.
Residual de la Arquitectura (RQ3): El baseline simple seleccionado fue comparado contra los resultados publicados de MAPTA (usando GPT-5) y PentestGPT V2 (usando GPT-5.2). El "residual de la arquitectura" se calculó como la diferencia entre la puntuación del sistema especializado publicado y la puntuación del agente simple más cercano y emparejado por modelo.
Escalado del Modelo (RQ4): El scaffold de Codex simple fue ejecutado con modelos más nuevos (GPT-5.2 y GPT-5.5) para medir las ganancias de rendimiento atribuibles únicamente a las mejoras del modelo sin añadir arquitectura específica de seguridad.

Controles y Métricas:

Entorno: Todos los agentes se ejecutaron en contenedores Docker aislados con una regla de puntuación de bandera de caja negra (black-box).
Métricas: El estudio distingue entre pass@1 (intento único), pass@k (unión de $k$ pasadas independientes) y soluciones "fiables" (resueltas en ambas pasadas).
Análisis de Costos: Se registraron desgloses detallados del uso de tokens, tiempo de ejecución y costo por tarea resuelta frente a fallida.

Contribuciones Clave

Metodología de Atribución: Un marco para separar la capacidad del modelo base, el andamiaje (scaffolding) del agente de codificación general y la arquitectura específica de pentesting.
Baseline con el Mismo Modelo: Identificación de Codex como el baseline de agente de codificación simple más fuerte bajo GPT-5, superando a OpenCode y Pi tanto en tasa de resolución como en estabilidad.
Cuantificación del Residual de la Arquitectura: Una comparación directa que muestra que, si bien los arneses especializados proporcionan una mejora mensurable, la brecha se reduce significativamente cuando se controlan las diferencias de los modelos.
Análisis de Prompt y Escalado: Evidencia de que los prompts específicos de seguridad no mejoraron el rendimiento sobre el nativo por defecto, mientras que los modelos más nuevos (GPT-5.5) mejoraron sustancialmente el scaffold simple, superando a menudo las puntuaciones principales de los sistemas especializados más antiguos.
Artefacto Reproducible: Un repositorio público de GitHub que contiene el entorno de evaluación, los archivos de prompts, las configuraciones de los agentes y los scripts de análisis.

Resultados

1. Rendimiento del Agente Simple (RQ1 y RQ2)

Codex fue el baseline superior, resolviendo 70/104 tareas en cada una de las dos pasadas (promedio de 67.3% de pass@1) y 81/104 en la unión (pass@2).
Prompts de Seguridad: Añadir texto específico de seguridad al prompt degradó el rendimiento. Las variantes de prompt detallado y de sistema completo resolvieron menos desafíos e incurrieron en mayores costos que el prompt nativo por defecto de Codex.

2. Residuales de la Arquitectura (RQ3)

MAPTA (GPT-5): Reportó 76.9% frente al promedio de Plain Codex GPT-5 de 67.3%. El residual de la arquitectura es de +9.6 puntos porcentuales. MAPTA también demostró mayor eficiencia de costos ($0.206/tarea frente a $0.266/tarea para Plain Codex).
PentestGPT V2 (GPT-5.2): Reportó 85.0% frente al promedio de Plain Codex GPT-5.2 de 79.8%. El residual es de +5.2 puntos porcentuales.
Cobertura: Las ejecuciones repetidas del agente simple (pass@2 unión) igualaron o excedieron las puntuaciones de ejecución única publicadas de ambos sistemas especializados (Plain Codex GPT-5 pass@2 = 77.9% > MAPTA 76.9%; Plain Codex GPT-5.2 pass@2 = 88.5% > PentestGPT V2 85.0%).

3. Escalado del Modelo (RQ4)

GPT-5.5: Ejecutar el scaffold de Codex simple con GPT-5.5 logró un 92.3% de pass@1 y un 95.2% de unión de pass@2.
Este resultado de agente simple excedió la puntuación principal del 91% reportada por PentestGPT V2 (usando Opus 4.5), demostrando que el escalado del modelo por sí solo puede cerrar o incluso superar la brecha atribuida a la arquitectura especializada.

4. Eficiencia de Recursos

Sistemas especializados como MAPTA mostraron mejor eficiencia de costos por desafío que el baseline de Plain GPT-5, lo que sugiere que una mejor planificación reduce la exploración desperdiciada.
Sin embargo, los fallos en los agentes simples fueron significativamente más costosos que los éxitos (por ejemplo, los escaneos fallidos de GPT-5 costaron $0.505 frente a $0.150 para los escaneos exitosos), lo que resalta el costo de la exploración no guiada.

Significancia y Reivindicaciones

El artículo aboga por una metodología de evaluación de "baseline primero" en las pruebas de penetración autónomas. Su significancia principal reside en las siguientes afirmaciones:

La Atribución es Crítica: Las puntuaciones altas en los benchmarks no pueden atribuirse al diseño de la arquitectura sin un baseline de agente simple emparejado por modelo. La confusión entre el progreso del modelo y el diseño arquitectónico ha oscurecido el verdadero valor de los arneses de seguridad.
El Valor del Arnés es Matizado: Las arquitecturas especializadas sí proporcionan un valor mensurable, particularmente en la eficiencia de costos y las tasas de resolución en un solo intento (el residual). Sin embargo, la magnitud de este valor es menor de lo que sugieren las comparaciones de puntuación principal frente a puntuación principal.
El Prompting no es un Arnés: Simplemente añadir texto específico de seguridad a un prompt no constituye una mejora arquitectónica y puede degradar el rendimiento.
El Progreso del Modelo Enmascara la Arquitectura: Los modelos más nuevos (por ejemplo, GPT-5.5) pueden superar a los sistemas especializados más antiguos usando el mismo scaffold mínimo. Por lo tanto, las afirmaciones de superioridad arquitectónica deben validarse contra los agentes simples de última generación, no solo contra baselines más antiguos.

Los autores concluyen que, si bien los arneses de seguridad pueden mejorar la eficiencia y las tasas de resolución, la investigación futura debe reportar baselines de agentes simples emparejados por modelo para atribuir con precisión las ganancias de rendimiento al diseño arquitectónico en lugar de a la capacidad del modelo.