RedSage: A Cybersecurity Generalist LLM

El artículo presenta RedSage, un modelo de lenguaje abierto y localmente desplegable especializado en ciberseguridad que, gracias a un preentrenamiento con 11.8 mil millones de tokens y un ajuste fino mediante una pipeline de aumento agéntica, supera a los modelos base en benchmarks de ciberseguridad y razonamiento general, ofreciendo además un nuevo conjunto de evaluación llamado RedSage-Bench.

Lo esencial

¡Claro que sí! Imagina que el ciberseguridad es como un gigantesco castillo medieval con miles de puertas, trampas, cerraduras secretas y guardias que nunca duermen. Para protegerlo, necesitas expertos que sepan de todo: desde cómo forzar una cerradura (para saber cómo defenderla) hasta cómo reparar una muralla rota.

El problema es que hay muy pocos expertos en el mundo y están muy ocupados. Además, si les pides ayuda a los "robots inteligentes" (Inteligencias Artificiales) actuales, suelen tener dos problemas: o son demasiado tontos para entender el castillo, o son tan "privados" que no puedes usarlos sin que alguien espíe tus secretos.

Aquí es donde entra RedSage.

¿Qué es RedSage?

Imagina que RedSage es un aprendiz de mago de la ciberseguridad que ha sido entrenado de una manera muy especial para ser tu asistente personal, y lo mejor: vive en tu propia computadora, no en la nube de una empresa gigante. Esto significa que tus secretos de castillo nunca salen de tu casa.

¿Cómo lo hicieron tan inteligente? (La receta secreta)

Los creadores de RedSage no solo le dieron un libro de texto aburrido. Usaron una "receta" de tres pasos:

1. La Biblioteca Infinita (Entrenamiento Continuo):
   Imagina que leen 11.8 mil millones de páginas de internet, pero solo las que hablan de seguridad. Es como si leyeran todos los manuales de cerrajeros, los diarios de hackers éticos y las leyes de seguridad del mundo entero. Pero, para que no se olvide de cómo hablar con la gente normal, mezclaron esos libros con cuentos y noticias generales. ¡Así aprendió a ser un experto sin perder la cordura!

2. El Simulador de Entrenamiento (Aumento Agéntico):
   Aquí viene la parte genial. No solo le dieron libros; crearon un simulador de realidad virtual.

   • Imagina un "Entrenador Maestro" (un agente de IA) que toma un manual técnico aburrido y dice: "¡Oye, RedSage! Vamos a practicar. Imagina que eres un hacker intentando entrar a un sistema y yo soy el guardia. Hazme preguntas y yo te responderé".
   • Con esto, generaron 266,000 conversaciones reales y divertidas. RedSage practicó miles de veces cómo responder a preguntas difíciles, cómo usar herramientas de hacking (como si fueran martillos y destornilladores) y cómo explicar cosas complejas de forma sencilla.

3. El Examen de Grado (RedSage-Bench):
   Antes de dejarlo trabajar, le hicieron un examen muy difícil. No solo preguntas de "verdadero o falso", sino situaciones reales: "Aquí tienes un código sospechoso, ¿qué hace?" o "¿Cómo usas esta herramienta para encontrar una puerta trasera?". RedSage aprobó con honores, superando a otros robots que son mucho más grandes y caros.

¿Por qué es tan especial?

• Es un "Todo Terreno": A diferencia de otros robots que solo saben de teoría, RedSage sabe usar las herramientas. Sabe cómo teclear comandos en la pantalla negra (la terminal) para escanear redes o encontrar vulnerabilidades. Es como tener a un experto que no solo sabe la teoría de la medicina, sino que también sabe operar el bisturí.
• Es Privado y Local: Puedes instalarlo en tu propia computadora (incluso en una tarjeta gráfica de gama media). Imagina tener a tu propio Sherlock Holmes en tu escritorio, sin que nadie en Google o Microsoft esté escuchando lo que investigas.
• Es Abierto: Los creadores regalaron todo: el robot, los libros de entrenamiento y el código. Es como si alguien construyera un coche de carreras increíble y le diera los planos gratis a todo el mundo para que todos puedan aprender a construirlos.

En resumen

RedSage es como un guardia de seguridad superinteligente que ha leído todos los manuales del mundo, ha practicado miles de horas en un simulador de realidad virtual y ahora está listo para trabajar en tu casa, protegiendo tus datos sin que tengas que pagar una fortuna ni preocuparte por tu privacidad.

Es la prueba de que, con los datos correctos y un buen entrenamiento, un robot pequeño puede ser más listo que los gigantes. ¡Y todo esto lo hicieron para que tú y yo tengamos más seguridad en internet!

Resumen técnico

Resumen Técnico: RedSage - Un LLM Generalista de Ciberseguridad

1. Problema y Motivación

Las operaciones de ciberseguridad requieren asistentes de IA capaces de manejar flujos de trabajo diversos sin exponer datos sensibles. Las soluciones actuales presentan dos limitaciones principales:

• Riesgos de privacidad: Muchas dependen de APIs propietarias que requieren enviar datos a la nube.
• Falta de adaptación de dominio: Los modelos de código abierto existentes carecen de un entrenamiento especializado profundo o se basan en conjuntos de datos limitados.
  Además, los benchmarks actuales de ciberseguridad suelen ser parciales, enfocándose solo en conocimientos teóricos y omitiendo la competencia en el uso de herramientas y la evaluación de respuestas abiertas de alta calidad.

2. Metodología

El equipo propone RedSage, un asistente de ciberseguridad de código abierto y desplegable localmente, desarrollado mediante una tubería de datos centrada en tres etapas principales:

A. Pre-entrenamiento Continuo (Continual Pre-training - CPT)

• CyberFineWeb: Se filtró un corpus masivo de la web (FineWeb) utilizando un clasificador binario basado en ModernBERT para extraer contenido relevante de ciberseguridad. Esto generó un pool de ~125M documentos.
• Prevención del Olvido Catastrófico: Para mantener el conocimiento general, se mezcló el corpus filtrado con datos educativos generales (FineWeb-Edu) en una proporción de replay del 30%.
• RedSage-Seed: Se curaron manualmente 28.6K documentos de alta calidad (frameworks como MITRE ATT&CK, técnicas ofensivas, manuales de herramientas CLI y Kali Linux) y se añadieron ~459K documentos adicionales de fuentes confiables.
• Resultado: Un corpus de pre-entrenamiento de 11.8 mil millones de tokens (11.8B) que combina datos web filtrados y recursos curados.

B. Aumento de Datos Agéntico (Agentic Data Augmentation)
Para la etapa de Supervised Fine-Tuning (SFT), se diseñó una tubería automatizada con agentes de IA para transformar los datos curados en diálogos realistas:

• Agente Planificador: Analiza cada fragmento de datos semilla y propone conjuntos de habilidades y estrategias de aumento (ej. análisis de vulnerabilidades, generación de comandos).
• Agente Aumentador: Genera diálogos multi-turno basados en roles (ej. analista vs. asistente) que simulan flujos de trabajo expertos.
• Resultado: Se generaron 266.000 muestras de conversaciones multi-turno (~353M tokens), cubriendo conocimientos, habilidades ofensivas y uso de herramientas.

C. Benchmarking (RedSage-Bench)
Se introdujo un nuevo benchmark exhaustivo para evaluar rigurosamente los modelos:

• 30.000 preguntas de opción múltiple (MCQ) generadas y verificadas automáticamente.
• 240 preguntas de respuesta abierta (Open-ended Q&A) evaluadas mediante un sistema "LLM-as-Judge" que califica la corrección factual y la calidad de la respuesta (utilidad, relevancia, profundidad).
• Cobertura: Evalúa conocimientos, habilidades prácticas y competencia en herramientas (CLI, Kali Linux).

D. Entrenamiento del Modelo

• Base: Se partió de Qwen3-8B-Base.
• Fases: Pre-entrenamiento continuo con CyberFineWeb y RedSage-Seed $\rightarrow$ SFT con datos aumentados y datos generales (SmolTalk2) $\rightarrow$ Alineación de preferencias mediante DPO (Direct Preference Optimization) usando el conjunto Tulu 3.

3. Contribuciones Clave

1. Corpus de Datos: Creación de un corpus de pre-entrenamiento de 11.8B tokens específicamente filtrado para ciberseguridad.
2. Tubería de Aumento Agéntico: Desarrollo de un pipeline escalable que genera 266K diálogos de alta calidad simulando flujos de trabajo de expertos.
3. RedSage-Bench: Un benchmark nuevo y completo que evalúa no solo conocimiento, sino también habilidades prácticas y uso de herramientas, con verificación de calidad estricta.
4. Modelo Abierto: Lanzamiento de RedSage-8B, un modelo totalmente abierto (datos, código y pesos) que supera a los modelos de referencia en tareas de ciberseguridad sin sacrificar el rendimiento general.

4. Resultados

El modelo RedSage-8B (específicamente la variante DPO) demostró un rendimiento superior en múltiples frentes:

• Benchmarks de Ciberseguridad: Superó a los modelos base (como Qwen3-8B y Llama-3.1-8B) y a modelos especializados previos en hasta +5.59 puntos en métricas de ciberseguridad.
• Benchmarks Generales: Logró mejoras de +5.05 puntos en tareas del Open LLM Leaderboard (como ARC-Challenge, GSM8K, MMLU), demostrando que la especialización en un dominio no degrada (y puede mejorar) el razonamiento general.
• Eficiencia: A pesar de tener solo 8 mil millones de parámetros, RedSage-8B compite de cerca con modelos mucho más grandes (como Qwen3-32B) y se acerca al rendimiento de modelos propietarios (GPT-5) en tareas específicas, permitiendo su despliegue local en GPUs de consumo para garantizar la privacidad.

5. Significado e Impacto

• Privacidad y Despliegue Local: Al ser un modelo de 8B parámetros, permite a las organizaciones ejecutar asistentes de ciberseguridad en sus propios servidores, eliminando el riesgo de fugas de datos sensibles a la nube.
• Reproducibilidad: A diferencia de trabajos anteriores que ocultan sus datos, RedSage libera todo el pipeline (datos, código, prompts), fomentando la investigación abierta.
• Enfoque Holístico: Es uno de los primeros esfuerzos que integra exitosamente pre-entrenamiento masivo, ajuste fino con datos aumentados por agentes y alineación de preferencias, demostrando que un enfoque integral es necesario para crear asistentes de IA verdaderamente competentes en ciberseguridad.

En conclusión, RedSage establece un nuevo estado del arte en modelos de lenguaje abiertos para ciberseguridad, equilibrando la especialización técnica con la capacidad de razonamiento general y la privacidad del usuario.