🤖 AI

Toward Cybersecurity-Expert Small Language Models

El artículo presenta CyberPal 2.0, una familia de modelos de lenguaje pequeños expertos en ciberseguridad (de 4B a 20B de parámetros) entrenados mediante un conjunto de datos enriquecido a través del pipeline SecKnowledge 2.0, el cual supera o iguala a modelos de vanguardia como GPT-4o y o1 en tareas clave de investigación de amenazas e inteligencia, manteniendo al mismo tiempo un tamaño significativamente menor.

Autores originales: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Publicado 2026-07-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca de robots gigantes y superinteligentes (Modelos de Lenguaje Extensos, o LLM) que pueden escribir poesía, resolver problemas matemáticos y charlar sobre casi cualquier cosa. Sin embargo, si les pides que actúen como un experto en ciberseguridad —rastreando amenazas digitales, comprendiendo técnicas de hackeo complejas o reparando vulnerabilidades de seguridad— a menudo tropiezan. Pueden adivinar, alucinar hechos o carecer del entrenamiento profundo y específico necesario para trabajos de seguridad de alto riesgo.

Este artículo presenta CyberPal 2.0, una nueva familia de robots "más pequeños" pero altamente especializados, diseñados específicamente para ser expertos en ciberseguridad. Así es como lo hicieron, explicado de forma sencilla:

1. El Problema: El "Generalista" frente al "Especialista"

Piensa en los modelos de IA grandes y famosos (como GPT-4 o o1) como médicos generales en un hospital. Son increíblemente inteligentes y pueden manejar casi cualquier pregunta médica. Sin embargo, para una enfermedad compleja y rara (como un tipo específico de ataque cibernético), realmente quieres a un cirujano especialista que haya pasado años estudiando solo eso.

El problema es que los modelos grandes son costosos de ejecutar, y enviar datos sensibles de una empresa a ellos suele ir en contra de las normas de privacidad. Por ello, los autores quisieron construir un "cirujano" que fuera lo suficientemente pequeño como para caber en el propio sótano de un hospital (on-premises), pero lo suficientemente inteligente como para manejar los casos de seguridad más difíciles.

2. La Fórmula Secreta: "SecKnowledge 2.0" (El Campo de Entrenamiento)

No puedes simplemente enseñar a un robot a ser un experto en seguridad dándole una pila de libros de texto. Los autores construyeros un campo de entrenamiento especial llamado SecKnowledge 2.0.

La Forma Antigua: Imagina a un profesor pidiéndole a un estudiante que explique un concepto de seguridad, y el estudiante da una respuesta corta y vaga.
La Nueva Forma (Experto en el Bucle): Los autores crearon un sistema donde expertos en seguridad humanos actúan como entrenadores. Ellos no solo escriben las preguntas; diseñan los pasos exactos que el robot debe seguir para responder.
- Analogía: En lugar de solo preguntar "¿Cómo reparo esta fuga?", el entrenador dice: "Primero, revisa el material de la tubería. Segundo, observa el manómetro. Tercero, consulta el manual para esa válvula específica. Solo entonces da la respuesta".
Los Verificadores de Hechos: Para evitar que el robot invente cosas (alucinaciones), el sistema obliga al robot a salir y buscar evidencia real (como buscar en una base de datos o leer un informe de seguridad específico) antes de responder. Es como un detective que debe mostrar su tablero de evidencias antes de resolver el caso.

3. El Resultado: La Familia CyberPal 2.0

El resultado es una familia de modelos que van desde los 4 mil millones a los 20 mil millones de "neuronas" (parámetros).

Pequeño pero Poderoso: Incluso el modelo más pequeño (4B) es diminuto comparado con los modelos gigantes (que pueden tener cientos de miles de millones de parámetros), pero rinde muy por encima de su categoría de peso.
El Rendimiento: Cuando se probó en exámenes de seguridad difíciles (como vincular un informe de error con una debilidad específica o identificar tácticas de hackers), estos modelos pequeños:
- Superaron a sus propias versiones "no entrenadas" por un margen enorme (7–14% mejor).
- Aplastaron a otros modelos de seguridad de código abierto.
- Igualaron o superaron a los modelos "frontera" más grandes y costosos (como Sec-Gemini v1 de Google y o1 de OpenAI) en tareas centrales, a pesar de ser una fracción de su tamaño.

4. Por qué esto es importante (Según el artículo)

El artículo afirma que este enfoque resuelve tres grandes dolores de cabeza para las empresas:

Privacidad: Puedes ejecutar estos modelos en tus propios servidores sin enviar datos sensibles a la nube.
Costo: Son mucho más baratos de ejecutar que los modelos gigantes.
Fiabilidad: Debido a que están entrenados con expertos humanos y se les obliga a encontrar evidencia real, es menos probable que cometan errores peligrosos o "inventen cosas".

Resumen de la Analogía

Si los grandes modelos de IA son como atletas olímpicos que pueden correr, nadar y saltar, CyberPal 2.0 es como un perro de rescate especializado. Puede que no sea capaz de hacer todo lo que un atleta olímpico puede hacer, pero si necesitas encontrar a una persona específica en un edificio colapsado (una amenaza cibernética específica), este perro es más rápido, más barato de alimentar y está mejor entrenado para ese trabajo exacto que el atleta.

Los autores han hecho de código abierto sus métodos de entrenamiento y su mejor modelo (la versión de 20B), para que otras empresas puedan construir sus propios "perros de rescate" sin tener que empezar desde cero.

Resumen Técnico: Hacia Modelos de Lenguaje Pequeños Expertos en Ciberseguridad

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) están transformando las aplicaciones generales, presentan un rezago en dominios especializados como la ciberseguridad debido a la escasez de modelos y conjuntos de datos de entrenamiento de alta calidad y específicos del dominio. La adopción de modelos comerciales de vanguardia para las operaciones de seguridad presenta desafíos significativos: las estrictas salvaguardas de seguridad suelen limitar su utilidad en flujos de trabajo reales, los requisitos de cumplimiento restringen la integración de datos organizacionales sensibles y el costo de procesar volúmenes masivos de telemetría de seguridad es prohibitivo. En consecuencia, existe una necesidad crítica de Modelos de Lenguaje Pequeños (SLMs) con especialización de dominio que puedan operar en las instalaciones (on-premises), garantizar la privacidad de los datos y ofrecer un razonamiento técnico profundo a través de la seguridad de redes, la nube y las aplicaciones sin la sobrecarga de los modelos de escala de vanguardia.

Metodología

Los autores proponen CyberPal 2.0, una familia de SLMs expertos en ciberseguridad que van desde los 4B hasta los 20B de parámetros. La innovación central reside en el flujo de procesamiento de datos, SecKnowledge 2.0, que mejora el conjunto de datos SecKnowledge original mediante un proceso de reformatación y enriquecimiento en múltiples etapas.

El Flujo de Trabajo SecKnowledge 2.0

El flujo de trabajo va más allá de la reformatación estándar de datos al integrar la dirección de un experto en el bucle (expert-in-the-loop) con la automatización impulsada por LLMs:

Definición de Formato con Experto en el Bucle: En lugar de utilizar plantillas genéricas, el sistema emplea un flujo de trabajo semiautomatizado donde los expertos definen estructuras de razonamiento específicas (formatos) para distintas tareas de ciberseguridad. Un LLM genera formatos candidatos basados en descripciones de tareas y ejemplos ilustrativos, que luego los expertos evalúan y refinan. Esto asegura que los rastros de razonamiento se alineen con la intención del experto y la lógica del dominio.
Anclaje y Recuperación Multietapa: Para mitigar las alucinaciones y asegurar la exactitud factual, el flujo de trabajo incorpora un componente de generación aumentada por recuperación (RAG). Para cada tarea, el sistema genera consultas de búsqueda, las filtra por relevancia, recupera resultados de bases de datos vectoriales o de la web, y los analiza para anclar los pasos de razonamiento en evidencia externa.
Profundidad de Razonamiento Adaptativa: El entrenamiento de los datos se cura para incluir tanto ejemplos de cadena de pensamiento (CoT) de formato largo y paso a paso para razonamientos complejos, como instrucciones concisas y de respuesta rápida para tareas más ligeras. Esta mezcla enseña a los modelos a adaptar su esfuerzo de razonamiento según la dificultad de la tarea.

Estrategia de Entrenamiento

Los modelos se ajustan utilizando los modelos base Qwen3 (4B, 8B, 14B) y gpt-oss-20b como puntos de partida. Notablemente, los autores descubrieron que iniciar desde modelos base (preentrenados pero no post-entrenados/alineados) producía un rendimiento significativamente mejor que partir de contrapartes post-entrenadas, particularmente en pruebas de referencia (benchmarks) con alto peso en el razonamiento. El entrenamiento utiliza una tasa de aprendizaje de $4 \times 10^{-5}$ , una longitud de contexto de 8192 y un tamaño de lote de 3072 durante dos épocas.

Contribuciones Clave

Flujo de Trabajo SecKnowledge 2.0: Un novedoso flujo de enriquecimiento de datos que combina esquemas de razonamiento dirigidos por expertos con el anclaje de documentos de múltiples fuentes. Este enfoque produce rastros de razonamiento de mayor fidelidad y fundamentados en tareas en comparación con los métodos de reformatación estándar.
Suite de Modelos CyberPal 2.0: Una familia de SLMs de código abierto (4B–20B de parámetros) especializados para operaciones de ciberseguridad, capaces de manejar detección, investigación, búsqueda de amenazas (threat hunting) y clasificación de datos.
Evaluación Integral: Los modelos fueron evaluados contra una suite rigurosa de benchmarks que cubren gobernanza, inteligencia de amenazas, respuesta a incidentes y generación de código seguro, incluyendo comparaciones con modelos de vanguardia de última generación (ej. GPT-4o, o1, o3-mini, Sec-Gemini v1).

Resultados

La evaluación demuestra que los modelos Cyber-Pal 2.0 superan consistentemente a sus líneas base y compiten con o superan a muchos modelos de vanguardia mucho más grandes:

Rendimiento de la Línea Base: A través de diversos benchmarks, los modelos CyberPal 2.0 lograron ganancias promedio de 7–14% sobre sus respectivos modelos base. En tareas específicas como CTIBench-RCM (Mapeo de Causa Raíz), las ganancias alcanzaron el 16–31%.
Comparación con Modelos de Vanguardia:
- Mapeo de Causa Raíz (RCM): El modelo de 20B de parámetros ocupó el primer lugar, superando a Sec-Gemini v1, o1, o3-mini y GPT-4o. El modelo de 4B ocupó el segundo lugar.
- Conocimiento de Inteligencia de Amenazas (CTI): Los modelos ocuparon el segundo lugar solo después de Sec-Gemini v1, superando a casi todos los demás modelos de vanguardia probados, incluido o1.
- Eficiencia: A pesar de ser una fracción del tamaño de los modelos de vanguardia, el modelo de 20B igualó o excedió su rendimiento, mientras que el de 4B superó significativamente a modelos mucho más grandes como Mistral Large y DeepSeek-v3.
Casos de Uso en el Mundo Real: En flujos de trabajo aplicados, tales como el mapeo de reportes de amenazas a técnicas MITRE ATT&CK y la reevaluación de puntuaciones de severidad de CVE bajo restricciones de despliegue específicas, los modelos mostraron mejoras consistentes sobre las líneas base (por ejemplo, +8.75% de precisión en el mapeo de amenaza-a-TTP para el modelo de 4B).
Generación de Código Seguro: Aunque están especializados en razonamiento de seguridad, los modelos mantuvieron capacidades robustas de generación de código seguro, con tasas de aprobación cercanas a sus líneas base ajustadas por instrucción, lo que indica que la especialización no comprometió la seguridad del código.

Significado y Reivindicaciones

El artículo sostiene que CyberPal 2.0 demuestra que los SLMs compactos y especializados en el dominio pueden ofrecer capacidades de nivel de vanguardia para las operaciones de seguridad sin los costos asociados a la vanguardia. Al aprovechar el flujo de trabajo SecKnowledge 2.0 —específicamente la combinación de estructuras de razonamiento definidas por expertos y el anclaje de evidencia— los autores demuestran que los datos de alta calidad y especializados son más impactantes que simplemente escalar el tamaño del modelo.

El trabajo aborda las limitaciones prácticas de la seguridad empresarial, ofreciendo modelos que son:

Desplegables en las Instalaciones (On-Premises): Cumpliendo con las obligaciones de privacidad y residencia de datos.
Rentables: Capaces de manejar eficientemente volúmenes masivos de datos de seguridad.
Accionables: Proporcionando conclusiones defendibles y fundamentadas en evidencia para la investigación y respuesta ante amenazas.

Los autores enfatizan que su enfoque prioriza la calidad de los datos y la alineación específica del dominio sobre el mero conteo de parámetros, proporcionando un camino viable para que las empresas adopten IA avanzada para operaciones de seguridad defensiva. Los modelos, el flujo de trabajo y los benchmarks se liberan como código abierto para fomentar la reproducibilidad y la adopción práctica.