💻 computer science

Open Security Benchmark: Towards Autonomous Enterprise Cyber Defense

Este artículo presenta el Open Security Benchmark (OSB), un nuevo marco diseñado para evaluar y generar confianza en agentes de IA autónomos para la defensa cibernética empresarial al proporcionar un entorno de seguridad congelado, holístico y consultable con respuestas de verdad fundamental para cerrar la brecha crítica en los datos de evaluación públicos y de múltiples proveedores.

Autores originales: Gal Engelberg, Michael Arenzon, Leon Goldberg

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gal Engelberg, Michael Arenzon, Leon Goldberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo siguen órdenes, sino que actúan como detectives novatos, rastreando brechas de seguridad en enormes y desordenados edificios de oficinas antes de que los malos puedan entrar. Este es el sueño de la "defensa cibernética autónoma", donde agentes de IA escanean constantemente el estado digital de una organización: verificando quién tiene llaves para la sala de servidores, qué software está desactualizado y si alguien se está moviendo sigilosamente. Pero aquí está el truco: para que un detective sea digno de confianza, necesitas saber si realmente está resolviendo el caso o si solo está adivinando. En este momento, hay un gran problema: los datos reales de las empresas son secretos, por lo que los investigadores no pueden probar a estos detectives de IA en los mismos escenarios desordenados del mundo real. Es como intentar enseñarle a un piloto a volar un avión mostrándole solo fotos de nubes, sin dejarle tocar los controles en una tormenta real. Sin un campo de pruebas compartido y justo, no podemos saber si estos agentes de IA están listos para salvarnos o si solo se están inventando las cosas.

Este artículo presenta una solución llamada Open Security Benchmark (OSB), que es esencialmente una gigantesca y congelada "ciudad digital" falsa, construida específicamente para probar a estos detectives de IA. Piensa en ello como el nivel de un videojico masivo e inalterable que se ve y se siente exactamente como una corporación real, con empleados falsos, servidores en la nube falsos y contraseñas falsas. Los autores crearon esta "ciudad" para cerrar la brela entre la teoría y la realidad. Construyeron un marco de trabajo donde se les da a los agentes de IA un misterio por resolver —como "Encuentra a todos los empleados que fueron despedidos el mes pasado pero que aún tienen acceso a los archivos secretos de la empresa"— y los agentes deben encontrar la respuesta usando dos métodos diferentes: ya sea escribiendo una consulta en un lenguaje especial (SQL) para buscar en una base de datos gigante, o fingiendo ser un operador humano haciendo clic a través de herramientas reales de proveedores como AWS o Google Workspace.

El artículo no se limita a decir "mira, hicimos un juego". Expone un marco riguroso para probar a estos agentes, congelando el entorno para que cada vez que un agente se ejecute, la "verdad fundamental" (la respuesta correcta) permanezca exactamente igual. Esto permite a los investigadores calificar al IA no solo por si obtuvo la respuesta correcta, sino por cómo llegó a ella. ¿Hizo las preguntas adecuadas? ¿Conectó los puntos entre diferentes sistemas? El estudio instancia este marco con organizaciones sintéticas y falsas, permitiendo las pruebas en diferentes tamaños de empresas (desde pequeños equipos de 75 personas hasta grandes corporaciones de 2,000 empleados). El marco está diseñado para revelar si los agentes de IA pueden manejar la complejidad de las tareas del mundo real, como conectar un registro de recursos humanos con una cuenta en la nube a través de diferentes proveedores, una capacidad que es notoriamente difícil para las herramientas de un solo proveedor.

Crucialmente, el artículo argumenta que no podemos confiar en un agente de IA solo porque dé una respuesta que suene segura. Los autores descartan explícitamente la idea de que podamos evaluar a estos agentes de forma aislada o en conjuntos de datos pequeños y limpios; insisten en que el entorno debe estar "congelado" y ser de múltiples proveedores para ser justo. No están afirmando que la IA haya resuelto la ciberdefensa todavía. En cambio, sugieren que este benchmark es una herramienta necesaria para medir el progreso, convirtiendo la pregunta vaga de "¿Es segura esta IA?" en una tarjeta de puntuación concreta. Al proporcionar un objetivo compartido y reproducible, el OSB pretende mover el campo de la suposición a la medición, asegurando que cuando finalmente dejemos que los agentes de IA tomen el volante en nuestras ciudades digitales reales, sepamos exactamente cómo se desempeñarán.

Resumen Técnico: Open Security Benchmark (OSB)

Declaración del Problema: La Brecha de Datos del Entorno

El artículo identifica un cuello de botella crítico en el desarrollo de la defensa cibernética empresarial autónoma: la falta de un entorno compartido, consultable y reproducible para evaluar la IA agéntica. Mientras que las empresas avanzan hacia agentes capaces de percibir, razonar y actuar sobre estados de seguridad, el campo sufre de una "brecha de datos del entorno". Los entornos empresariales reales son privados, abarcan múltiples proveedores y contienen datos profundamente correlacionados que no están expuestos públicamente. En consecuencia, no existe un sustrato compartido para evaluar agentes de investigación de postura defensiva de extremo a extremo con respuestas "oro" (gold answers). Los benchmarks existentes abordan segmentos estrechos (por ejemplo, seguridad ofensiva, detección de vulnerabilidades específicas) o carecen de la visión holística y multiplroveedor necesaria para la Gestión de la Postura de Seguridad (SPM). Los profesionales no pueden comparar agentes en el trabajo real para el que deben desplegarlos, y los investigadores carecen de un objetivo estable para una evaluación sistemática.

Metodología

El marco Open Security Benchmark (OSB) aborda esta brecha presentando entornos empresariales sintéticos curados como una instantánea congelada e inmutable del estado de seguridad de una organización. La metodología se basa en cinco componentes principales:

1. La Capa de Datos y el Entorno

OSB utiliza conjuntos de datos de organizaciones sintéticas que son totalmente ficticios (sin individuos ni credenciales reales) pero sintetizados a partir de modelos de datos de productos reales y patrones de comportamiento de producción (por ejemplo, ciclos de vida de identidad, estructuras de privilegios, configuraciones erróneas comunes).

Alcance: El lanzamiento inicial cubre ocho fuentes de estilo proveedor (AWS, Azure AD, GCP, GitHub, Google Workspace, HRIS, MongoDB Atlas, Okta) que comprenden 44 tablas relacionales.
Escala: Los entornos se generan en tres escalas (Pequeña: ~75 empleados; Mediana: ~400; Grande: ~2,000) para probar la generalización y la robustez.
Límite de Confianza: Existe una separación estricta entre lo que el agente observa (esquema y datos) y lo que el evaluador observa (referencia oro, datos semilla).

2. Modalidades de Investigación

OSB evalúa agentes a través de dos modalidades distintas utilizando el mismo entorno subyacente y la misma verdad fundamental:

Text-to-SQL (Relacional): Los agentes interactúan con una instantánea relacional de solo lectura. La tarea se formula como un par $(D, q)$ , donde $D$ es la base de datos y $q$ es una pregunta de seguridad en lenguaje natural. El agente debe descubrir tablas relevantes, componer consultas SQL y sintetizar una respuesta. Esta modalidad estandariza la evaluación de la correlación entre múltiples proveedores (por ejemplo, unir datos de RR.HH. con el acceso a la nube) sin claves foráneas declaradas previamente, obligando al agente a inferir rutas de resolución de identidad.
APIs Nativas de Proveedores: La misma instantánea del entorno se compila en un mundo ejecutable servido a través de APIs reales de proveedores (por ejemplo, AWS CLI, llamadas HTTP a IdPs). Los agentes interactúan utilizando herramientas y documentación reales de proveedores. El rastro de la solicitud registrada sirve como evidencia para la puntuación, reemplazando el rastro de la consulta SQL.

3. Conjuntos de Tareas y Evaluación

Las tareas son preguntas de seguridad que requieren una respuesta estructurada (un veredicto, un conjunto de sujetos coincidentes o hechos de configuración).

Empaquetado: El marco incluye dos paquetes iniciales derivados de los benchmarks de Sola Security: Visibilidad ISPM (inventario de plataforma única e higiene) e ISPM Cross-Vendor (correlación federada a través de límites).
Verdad Fundamental (Ground Truth): Las respuestas son de "forma cerrada" y son independientes del plan. La puntuación se basa en la denotación (la respuesta) en lugar de la forma lógica (la consulta específica o la secuencia de API), lo que permite la equivalencia semántica.

4. Capa de Puntuación

La evaluación es multidimensional y evita colapsar los resultados en una única puntuación agregada. Emplea un flujo de cuatro etapas:

Ejecución: Ejecutar el agente contra la tarea.
Recolección de Evidencia: Recopilar el rastro de razonamiento y los rastros de consulta/API.
Jueces LLM Bloqueados por Rúbrica: Un panel de dos jueces de diferentes proveedores califica criterios como la Correctitud de la Respuesta, la Utilidad del Razonamiento y la Adecuación Semántica de SQL en una escala de 0 a 1.
Verificaciones Estructurales Deterministas: Métricas como la Recuperación de Tablas/Uniones (Tables/Joins Recall) y la Precisión verifican si el agente accedió a las estructuras de datos correctas.

Métricas: Las puntuaciones se reportan con intervalos de confianza de bootstrap del 95% y acuerdo entre jueces (Cohen's $\kappa$ ) para exponer el ruido del evaluador.

5. El Harness y la Ruta de Traiga su Propio (BYO)

Harness (Arnés): Un sustrato de ejecución mínimo y auditable que restringe a los agentes a get-schema y run-query (o equivalentes de API). Cada acción se registra en un archivo de evidencia, asegurando la reproducibilidad.
Ruta BYO (Bring Your Own): Los investigadores pueden ejecutar paquetes públicos para comparación, mientras que los profesionales pueden suministrar datos de inquilinos privados y definiciones de éxito. Las evaluaciones privadas se ejecutan en jueces alojados localmente o de pesos abiertos dentro del límite del inquilino, asegurando que los datos confidenciales nunca salgan de la organización.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

El Marco OSB: Un sustrato estandarizado para evaluar la IA agéntica en tareas de postura de seguridad, que cuenta con una capa de datos, una capa de tareas/conjunto de evaluación, puntuación multidimensional, un arnés auditable y una ruta BYO.
Catálogo de Datos Curados: Una colección de conjuntos de datos de organizaciones sintéticas que cierran la brecha de datos del entorno, proporcionando un objetivo compartido, multiplproveedor y consultable con respuestas de postura oro.
Paquetes de Casos de Uso Iniciales: Dos paquetes de seguridad de identidad (Visibilidad y Cross-Vendor) que instancian el marco de extremo a extremo, estableciendo un camino para la creación de paquetes por parte de la comunidad en otros subdominios de postura (por ejemplo, configuración de la nube, estado de vulnerabilidad).

Resultados y Afirmaciones

El artículo no presenta resultados experimentales comparando modelos de IA específicos (por ejemplo, "El Modelo X obtuvo un 85%"). En su lugar, afirma la significancia del marco en sí mismo:

Cerrar la Brecha: OSB proporciona el primer entorno relacional compartido, orientado a la defensa y multiplproveedor, emparejado con respuestas oro y una puntuación reproducible.
Confianza mediante la Medición: Al anclar las respuestas a una verdad fundamental de forma cerrada en un entorno congelado, OSB desplaza la cuestión de la confianza en el agente de un juicio subjetivo a una medición objetiva.
Escalabilidad y Extensibilidad: El marco está diseñado para extenderse más allá de la identidad hacia otros subdominios de postura y etapas de defensa (priorización de riesgos, remediación, verificación).
Potencial de Entrenamiento: Los archivos de evidencia generados durante la evaluación están estructurados para servir como entrada para el aprendizaje por refuerzo fuera de línea y el aprendizaje por imitación, permitiendo potencialmente que los agentes mejoren mediante "auto-mejora impulsada por arranque" (bootstrapped self-improvement) utilizando los propios rastros verificados del benchmark.

Significancia

Los autores posicionan a OSB no meramente como un marcador, sino como un motor para avanzar en la defensa cibernética autónoma. Al proporcionar un sustrato estable, reproducible y seguro para la privacidad, OSB permite a la comunidad crear paquetes, comparar agentes en el trabajo real para el que son desplegados y convertir cada evaluación en datos que impulsen la próxima generación de agentes. El objetivo final es extender la IA agéntica confiable al núcleo de la conciencia situacional de la defensa cibernética empresarial autónoma, haciendo que la evaluación de la postura de seguridad sea una cuestión de medición en lugar de juicio.