Resumen Técnico: Conjunto de Datos CAI

Enunciado del Problema

El artículo identifica un cuello de botella crítico en la aplicación de Modelos de Lenguaje Grandes (LLM) a la ciberseguridad: si bien las capacidades de los modelos base han avanzado, el rendimiento de los LLM en pruebas de penetración y operaciones de seguridad del mundo real está limitado por la ausencia de trayectorias de operadores expertos. Investigaciones anteriores (PentestGPT) establecieron que el "arnés" (el marco de agente que guía al modelo) y los flujos de trabajo específicos de múltiples turnos y aumentados con herramientas de los operadores humanos son determinantes más significativos del éxito que el modelo base subyacente por sí solo.

Los conjuntos de datos públicos existentes no abordan esta brecha porque, como máximo, satisfacen dos de las tres propiedades necesarias para un Ajuste Fino Supervisado (SFT) efectivo:

1. Escala: La mayoría de los corpus de ciberseguridad son órdenes de magnitud más pequeños que las mezclas de SFT de propósito general (por ejemplo, T¨ULU 3, OpenHermes).
2. Fidelidad Distribucional: Los conjuntos de datos sintéticos o basados en instrucciones (por ejemplo, CySecBench, SecKnowledge) a menudo exhiben una compensación entre seguridad y rendimiento y no logran capturar los comportamientos iterativos de recuperación de errores e interpretación de resultados de herramientas de los operadores reales.
3. Estructura de Múltiples Turnos Anclada en Herramientas: Los puntos de referencia como CyberMetric o SecQA prueban la recuperación factual pero carecen de los bucles de "actuar–observar–revisar" y los esquemas de llamadas a herramientas requeridos para flujos de trabajo de agentes.

Además, la tendencia de la industria hacia modelos de vanguardia optimizados con RL y de acceso restringido (por ejemplo, GPT-5.5-Cyber) crea una dependencia de APIs remotas opacas. Esto concentra el contexto sensible de operadores ofensivos y defensivos (credenciales en vivo, nombres de host de producción, tokens de portador) dentro de un puñado de proveedores de APIs, creando una única superficie de fallo que plantea riesgos sistémicos.

Metodología

Los autores presentan el Conjunto de Datos CAI, un corpus diseñado mediante el marco de agente de código abierto CAI (Cybersecurity AI). El marco fue diseñado principalmente como un recolector de datos, con la telemetría como un subsistema de primera clase.

• Recolección de Datos: Durante un período de 14 meses (marzo de 2025 – mayo de 2026), el marco CAI capturó 230.935 registros de sesiones y 26.027.742 solicitudes de usuario desde 16.768 direcciones IP de origen distintas en 123 países.
• Enfoque Conductual: La recolección es estrictamente conductual; no se inyectaron solicitudes y no se generaron datos sintéticos. El conjunto de datos registra a operadores reales utilizando sus propias solicitudes contra sus propios objetivos, incluyendo pasos fallidos, resultados de herramientas y re-planificación.
• Esquema y Ofuscación: Los datos se almacenan como registros de sesiones JSONL que preservan el array completo messages[], incluidas las llamadas a herramientas y las respuestas de los proveedores. Para abordar la privacidad y la seguridad, se aplica una receta de ofuscación del lado del consumidor para eliminar credenciales (claves de API, tokens) e identificadores de infraestructura (nombres de host, cubos S3) antes de la publicación.
• Modelo de Acceso: El conjunto de datos se publica como una serie de tamaño de audiencia (Conjunto de Datos CAI10, Conjunto de Datos CAI1k, Conjunto de Datos CAI200k) para organizaciones asociadas y clientes seleccionados, en lugar de como una descarga pública, para mitigar los riesgos de doble uso mientras se habilita la investigación.

Contribuciones Clave

1. Escala y Alcance: El Conjunto de Datos CAI es el corpus más grande descrito de trayectorias de ciberseguridad impulsadas por LLM, que contiene aproximadamente 26 millones de solicitudes de usuario y 18,07 TB de almacenamiento duradero. Es aproximadamente 65 veces más grande que el siguiente conjunto de datos de entrenamiento de ciberseguridad más grande (SecKnowledge) y de tres a cuatro órdenes de magnitud más grande que los corpus existentes de trayectorias de agentes.
2. Realismo Operativo: El corpus captura el espectro completo del comportamiento del operador, incluyendo:
   • Mezcla de Roles: 36,4% ofensivo, 20,1% con intención de atacante, 27,5% empresarial/de integración y 4,4% solicitudes defensivas.
   • Uso de Herramientas: Uso intensivo de herramientas de red (nc, nmap, curl) y escáneres web (nikto, burp).
   • Complejidad del Flujo de Trabajo: Evidencia de cadenas de muerte de múltiples etapas (reconocimiento a persistencia) ejecutadas dentro de sesiones individuales, a menudo involucrando comandos fallidos y reparación iterativa.
   • Diversidad de Objetivos: Referencias a 23.147 dominios únicos, incluidos objetivos de banca, telecomunicaciones, gobierno y IoT/robótica de producción, no solo entornos CTF sintéticos.
3. Diversidad de Modelos: El conjunto de datos pone a prueba 4.187 identificadores únicos de LLM, reflejando las pruebas rutinarias A/B de modelos de vanguardia por parte de los operadores (por ejemplo, GPT-5.x, Claude Opus 4, Gemini 3.1, Qwen3, DeepSeek) junto con variantes locales y cuantizadas.
4. Análisis de Superficie de Fuga: El artículo cuantifica empíricamente la "superficie de fuga", encontrando que el 0,46% de las sesiones contienen credenciales pegadas y el 0,76% contiene identificadores de infraestructura de producción. Esto destaca la compensación que hacen los operadores entre productividad y confidencialidad al usar APIs remotas.

Resultados y Observaciones

• Crecimiento y Cadencia: El corpus creció a una tasa promedio de aproximadamente 540 registros de sesiones y 60.000 solicitudes por día. Los datos sugieren que una cadencia de reentrenamiento semanal es óptima para las tuberías de SFT para capturar cambios distribucionales, ya que el incremento diario representa aproximadamente el 0,23% del corpus.
• Evolución de las Solicitudes: Las longitudes de las solicitudes han cambiado de directivas cortas de bucle de shell (~150 caracteres) a resúmenes de planificación complejos y de múltiples pasos (400–1.300+ caracteres), impulsados por la sofisticación de los andamiajes de agentes.
• Armaización de CVE: El análisis de las menciones de CVE revela una dominancia de "cola larga" de vulnerabilidades heredadas (por ejemplo, CVE-2019-11248, CVE-2017-10271) sobre los días cero, aunque las divulgaciones recientes (2025–2026) se armaizan rápidamente.
• Distribución Geográfica: El 85,7% de los contribuyentes distintos están en Europa, con grupos significativos en Asia y América del Norte. Un notable 11,4% del tráfico se origina en proveedores de alojamiento/nube pública, lo que indica reconocimiento automatizado.
• Capacidad de Doble Uso: El conjunto de datos contiene ejemplos verificables de cadenas de muerte completas de atacantes (reconocimiento, explotación, escalada de privilegios, exfiltración, persistencia) ejecutadas en menos de dos horas, demostrando la "mejora observable de capacidad criminal" proporcionada por agentes aumentados con LLM.

Significado y Afirmaciones

El artículo argumenta que el Conjunto de Datos CAI proporciona el "sustrato faltante" necesario para entrenar LLM especializados en ciberseguridad. Su importancia radica en tres áreas:

1. Habilitación de SFT Robusto: El conjunto de datos permite el entrenamiento de modelos que comprenden la naturaleza iterativa y anclada en herramientas del trabajo de seguridad, abordando las limitaciones de los enfoques actuales solo de RL o solo de instrucciones. Soporta recetas para preentrenamiento continuo, SFT, DPO y RLVR.
2. Inteligencia de Amenazas: El corpus sirve como un flujo de inteligencia de amenazas pasivo, habilitando estudios sobre la latencia de CVE a armaización, el uso de infraestructura de adversarios y la evolución de las tácticas de ataque en el mundo real.
3. Riesgo Sistémico y Arquitectura: El artículo postula que la dependencia actual de modelos de vanguardia remotos y de acceso restringido concentra el contexto ofensivo y defensivo del mundo en unos pocos proveedores de APIs, creando un único punto de fallo. Los autores afirman que la única configuración que preserva tanto la productividad como la confidencialidad es un LLM especializado en ciberseguridad alojado localmente y de forma privada. El Conjunto de Datos CAI está moldeado específicamente para hacer práctico el entrenamiento de tales modelos, ofreciendo un camino para resolver la tensión entre la eficiencia del operador y la soberanía de los datos.

Los autores concluyen que el conjunto de datos no es meramente un recurso de entrenamiento, sino un registro de la automatización de la ciberseguridad en progreso, destacando la necesidad urgente de modelos especializados y alojados localmente para mitigar los riesgos sistémicos del contexto de operador centralizado.