Towards Optimal Agentic Architectures for Offensive Security Tasks

1. El Problema

El campo de la seguridad ofensiva asistida por IA ha avanzado rápidamente con el uso de Agentes de Grandes Modelos de Lenguaje (LLM) que utilizan herramientas para auditar objetivos en tiempo real. Sin embargo, existe una brecha crítica en la investigación actual:

• Falta de evidencia empírica: La mayoría de los sistemas anteriores (como PentestGPT o MAPTA) adoptan una topología de coordinación única (generalmente multi-agente) basada en heurísticas, sin demostrar cuándo un agente adicional realmente mejora el rendimiento y cuándo solo añade costos y modos de fallo.
• Complejidad de la elección de arquitectura: No está claro si la coordinación adicional (múltiples agentes) justifica su sobrecarga en términos de latencia, costo de tokens y dificultad de validación, especialmente bajo condiciones de observabilidad parcial (modo caja negra).
• Necesidad de comparación controlada: Se requiere un marco de evaluación que aísle la elección de la topología de otros factores como el modelo, las herramientas o el prompt, para determinar qué arquitectura es óptima para un contexto específico.

2. Metodología

Los autores presentan un estudio sistemático y controlado diseñado para responder a la pregunta: "¿Cuándo basta un solo agente y cuándo justifican las topologías multi-agente su sobrecarga?".

Benchmark y Configuración Experimental

• Objetivos: Se construyó un conjunto de 20 objetivos interactivos intencionalmente vulnerables:
  • 10 servicios Web/API (escritos en Python).
  • 10 servicios binarios (escritos en C).
  • Cada objetivo expone una única vulnerabilidad de verdad fundamental (ground-truth) accesible mediante un endpoint.
• Modos de Evaluación:
  • Caja Blanca (Whitebox): El agente tiene acceso al código fuente.
  • Caja Negra (Blackbox): El agente solo interactúa con la interfaz de red expuesta.
• Familias de Arquitecturas (Topologías): Se evaluaron 5 familias de coordinación:
  1. SAS (Single-Agent): Un solo agente que genera y valida hipótesis secuencialmente.
  2. MAS-Indep (Multi-Agent Independiente): Tres agentes trabajan en paralelo sin comunicación, validando sus propias listas y seleccionando el mejor resultado.
  3. MAS-Decent (Votación entre Pares): Tres agentes escanean independientemente y votan por su mejor hallazgo; el más votado se valida primero.
  4. MAS-Central (Enrutamiento Centralizado): Un planificador central emite una lista, pero solo un especialista valida la hipótesis principal.
  5. MAS-Hybrid (Híbrido Jerárquico): Dos ramas (orquestador y sandbox) generan candidatos; se valida la mejor opción de cada rama y se selecciona el ganador.
• Modelos y Ejecución:
  • Se ejecutaron 600 corridas (5 arquitecturas × 3 modelos × 20 objetivos × 2 modos de acceso).
  • Modelos utilizados: GPT-5.2, Claude Opus 4 y Kimi K2.
  • Entorno: Contenedores Docker aislados, sin aceleración GPU local, con un verificador no basado en LLM para validar la explotación.

Métricas

• Detección Validada (Validated Detection): Éxito cuando el CWE coincide con la verdad fundamental Y la explotación se confirma dinámicamente.
• Detección Parcial: Se identifica la clase de vulnerabilidad correcta pero falla la validación dinámica.
• Eficiencia: Costo por hallazgo validado, tiempo hasta la primera validación (TTFV) y uso de tokens.

3. Contribuciones Clave

1. Benchmark Controlado: Un conjunto de datos estandarizado de 20 objetivos (Web y Binarios) con vulnerabilidades de verdad fundamental, evaluables tanto en caja blanca como negra.
2. Estudio de Arquitectura a Gran Escala: La ejecución completa de 600 corridas que permite comparar directamente topologías bajo condiciones emparejadas (mismos prompts, herramientas y presupuestos).
3. Análisis de Frontera Costo-Calidad: Demostración de que la relación entre coordinación y rendimiento no es monótona; más agentes no siempre significan mejor rendimiento.
4. Artefactos Abiertos: Código, prompts, objetivos de referencia y resultados agregados disponibles públicamente para reproducibilidad y auditoría.

4. Resultados Principales

Rendimiento General

• Tasa de Detección Validada Global: 49.8%.
• Ventaja de la Caja Blanca: La observabilidad es el factor dominante. La detección validada en caja blanca fue del 67.0% frente al 32.7% en caja negra.
• Diferencia de Dominio: Los objetivos Web fueron significativamente más fáciles de auditar (74.3%) que los binarios (25.3%).

Comparación de Arquitecturas

• Mejor Precisión (MAS-Indep): La arquitectura de agentes independientes obtuvo la tasa de detección validada más alta (64.2%), superando a las demás topologías multi-agente.
• Mejor Eficiencia (SAS): El agente único fue el más eficiente, con un costo de $0.058 por hallazgo validado y un tiempo mediano de 53.0s.
• Topologías Centralizadas: Las arquitecturas con un planificador central (MAS-Central) no lograron recuperar su sobrecarga de coordinación, obteniendo los peores resultados en detección validada (36.7%) y un costo mayor que SAS.
• Frontera No Monótona: No existe un "ganador universal".
  • En Caja Negra, MAS-Indep supera a SAS en +20 puntos porcentuales, justificando el costo extra.
  • En Caja Blanca, la ventaja de MAS-Indep sobre SAS es menor (+6.7 puntos), y los intervalos de confianza se superponen, sugiriendo que SAS es una opción competitiva y más barata en entornos de alta observabilidad.

Análisis de Modelos

• Kimi K2: Ofreció el mejor equilibrio entre rendimiento (52.0% validado) y costo ($0.047/hallazgo).
• Claude Opus 4: Fue el líder en latencia (70.2s medianos).
• GPT-5.2: Fue significativamente más caro ($0.258/hallazgo) sin una ganancia proporcional en cobertura validada.

5. Significado y Conclusiones

El trabajo establece que la elección de la arquitectura en seguridad ofensiva no debe ser una decisión de diseño fija, sino un problema de enrutamiento adaptativo basado en las condiciones de la tarea:

1. El contexto dicta la arquitectura:
   • Para tareas de caja negra o dominios difíciles (binarios), la coordinación paralela (MAS-Indep) es esencial para superar la incertidumbre y mejorar la cobertura.
   • Para tareas de caja blanca o dominios más simples (Web), un agente único (SAS) es a menudo suficiente y mucho más eficiente en costos y tiempo.
2. La observabilidad es el factor crítico: La capacidad de ver el código fuente tiene un impacto mayor en el éxito que la complejidad de la arquitectura del agente.
3. Hacia el enrutamiento adaptativo: Los autores proponen que el futuro de los sistemas de seguridad agéntica no reside en diseñar un "super-agente" único, sino en desarrollar políticas de aprendizaje que seleccionen dinámicamente la topología óptima (SAS vs. MAS) basándose en características de la tarea (visibilidad del código, tipo de protocolo, complejidad) y restricciones de presupuesto.

En resumen, el papel demuestra que "más agentes" no es sinónimo de "mejor seguridad". La optimización requiere un equilibrio estratégico entre la exploración paralela y la eficiencia operativa, dependiendo estrictamente de la observabilidad del objetivo y la complejidad del dominio.