💬 NLP

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

El artículo presenta VectraYX-Nano, un modelo de lenguaje en español de 42 millones de parámetros entrenado desde cero sobre un corpus de ciberseguridad curado mediante aprendizaje curricular e integración nativa de herramientas del Protocolo de Contexto del Modelo (MCP), que demuestra un rendimiento eficaz en hardware convencional y ofrece nuevas perspectivas sobre la relación entre la densidad del corpus y las capacidades de uso de herramientas a escala nano.

Autores originales: Juan S. Santillana

Publicado 2026-05-15

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juan S. Santillana

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Un Asistente de Seguridad Español, Pequeño y Especializado

Imagina que tienes un guardia de seguridad para tu red informática. Por lo general, estos guardias son enormes, costosos y solo hablan inglés. Pero, ¿qué pasaría si necesitaras un guardia para un vecindario específico en América Latina que hable español, entienda la jerga local y pueda trabajar en un dispositivo pequeño y barato (como una Raspberry Pi) sin necesidad de internet?

Eso es VectraYX-Nano. Es un modelo de Inteligencia Artificial (IA) muy pequeño (con solo 42 millones de "células cerebrales", en comparación con los miles de millones de los modelos famosos) diseñado específicamente para ayudar a los analistas de ciberseguridad en regiones de habla hispana. Es único porque fue construido desde cero para hablar español, entender las amenazas cibernéticas y saber cómo usar herramientas para obtener respuestas en tiempo real.

1. La Comida Cerebral: Cómo lo Enseñaron (El Corpus)

Para enseñar a una IA, hay que alimentarla con datos. Los investigadores no simplemente le arrojaron texto aleatorio de internet. Prepararon una "comida de tres tiempos" específica utilizando un enfoque de Aprendizaje Curricular:

Primer Tiempo: El Rompehielos. Primero, alimentaron al modelo con 42 millones de tokens de subtítulos en español y registros de chat.
- Analogía: Piensa en esto como enseñarle a un niño a decir "Hola", "¿Cómo estás?" y "Adiós" antes de enseñarle matemáticas. Si te saltas esto, la IA podría saber todo sobre virus pero responder a "Hola" con un informe técnico sobre un virus en lugar de un saludo.
Segundo Tiempo: La Inmersión Técnica. Luego, le alimentaron 118 millones de tokens de datos de ciberseguridad (informes de vulnerabilidades, artículos de Wikipedia sobre hacking, blogs de seguridad).
- Analogía: Ahora que el niño sabe hablar, le enseñas la materia: "Esto es lo que es un virus", "Así es como entran los hackers".
Tercer Tiempo: El Kit de Herramientas. Finalmente, le dieron 10 millones de tokens sobre cómo usar herramientas de seguridad (como buscar amenazas en una base de datos).
- Analogía: El niño ahora aprende a usar un diccionario o un mapa. En lugar de memorizar cada hecho individual, aprende cómo preguntar la respuesta.

El Truco de la "Repetición": Un problema común al enseñar a la IA es el "olvido catastrófico": cuando les enseñas cosas nuevas, olvidan lo antiguo. Para solucionar esto, los investigadores utilizaron un Bucle de Repetición (Replay Buffer).

Analogía: Imagina que le enseñas historia a un estudiante. Cuando empiezas a enseñarle sobre el siglo XX, no dejas de hablar del siglo XIX. Sigues repasando un poco de las lecciones antiguas (el 25% del tiempo) mientras aprendes las nuevas. Esto evitó que la IA olvidara cómo hablar español mientras aprendía sobre ciberataques.

2. La Sorpresa del "Registro" (La Lección de Bootstrap)

Uno de los hallazgos más interesantes del artículo es sobre qué enseñas primero.

Los investigadores probaron dos opciones diferentes para el "Primer Tiempo":

Opción A: Subtítulos y registros de chat (OpenSubtitles).
Opción B: Artículos web enciclopédicos (mC4-ES).

Sorprendentemente, el modelo entrenado con la Opción B (artículos enciclopédicos) obtuvo mejores puntuaciones en matemáticas (números de "pérdida" más bajos) durante el entrenamiento. Sin embargo, cuando le pidieron chatear, sonaba como una enciclopedia aburrida. Respondía a "Hola" con un párrafo sobre la historia de los viajes.

El modelo entrenado con la Opción A (subtítulos) tuvo puntuaciones de matemáticas ligeramente peores pero sonaba como una persona real.

La Lección: Para una IA pequeña, lo primero que aprende define su personalidad. Si le enseñas a sonar como un libro de texto primero, se quedará como un libro de texto para siempre, incluso si intentas enseñarle a chatear después. Tienes que enseñarle a sonar como un humano primero.

3. La Herramienta Mágica: MCP (Protocolo de Contexto del Modelo)

La ciberseguridad cambia cada día. Aparecen virus nuevos diariamente. Una IA no puede memorizar cada virus nuevo.

El Problema: Si le preguntas a una IA estándar: "¿Es peligroso este virus nuevo?", podría adivinar o inventar cosas (alucinar) porque no sabe sobre las noticias de hoy.
La Solución: VectraYX-Nano está entrenado para usar herramientas. No intenta memorizar la respuesta. En su lugar, aprende a decir: "No lo sé, pero déjame revisar la base de datos".
Cómo funciona: La IA está conectada a un sistema llamado MCP. Cuando necesita información, envía una solicitud estructurada (como un comando JSON) a un servidor que tiene los datos más recientes, obtiene la respuesta y te la lee.
El Descubrimiento: Los investigadores descubrieron que, para que la IA aprenda este comportamiento de "pedir ayuda", los datos de entrenamiento necesitaban ser densos. Si los datos de entrenamiento eran un 99% de chat normal y solo un 1% de uso de herramientas, la IA era demasiado tímida para usar la herramienta. Pero si aumentaron los datos de uso de herramientas a aproximadamente 1 de cada 20 ejemplos, la IA de repente comenzó a usar las herramientas de manera confiable.

4. El Tamaño Importa (Pero No Como Piensas)

El modelo es diminuto (42 millones de parámetros).

La Buena Noticia: Funciona en una Raspberry Pi (una computadora de 35 dólares) en menos de un segundo. Cabe en tu bolsillo.
La Limitación: Debido a que es tan pequeño, no puede ser un "genio" en todo. No puede razonar a través de lógica compleja de varios pasos tan bien como un modelo gigante.
El Intercambio: Intercambia "memorizar hechos" por "saber cómo buscarlos". Es mejor tener un asistente pequeño que sabe cómo verificar los hechos que un asistente gigante que miente con confianza sobre ellos.

5. Seguridad y "Red Teaming"

Dado que este modelo está entrenado con datos de hacking (para entender cómo funcionan los ataques), los investigadores temían que pudiera convertirse en un "actor malicioso".

La Prueba: Intentaron engañar a la IA para que hiciera cosas peligrosas (como borrar archivos o robar datos).
El Resultado: La IA no hizo realmente las cosas peligrosas. Mayormente dio respuestas vagas o se negó. Sin embargo, no tenía una "brújula moral" incorporada para decir "No" explícitamente.
La Solución: El artículo sugiere que la seguridad no debería depender únicamente del cerebro de la IA. En su lugar, el sistema que ejecuta la IA (el tiempo de ejecución) debería actuar como el portero, bloqueando cualquier comando peligroso antes de que se ejecute.

Resumen de las Conclusiones Clave

Enseña la personalidad primero: Para modelos de IA pequeños, los primeros datos que les alimentas determinan cómo suenan. Si quieres un chatbot, empieza con datos de chat, no con enciclopedias.
No olvides el pasado: Al enseñar nuevos temas, sigue repasando los antiguos (Bucle de Repetición) para que la IA no olvide sus habilidades lingüísticas.
Herramientas sobre Memoria: Para modelos pequeños, es mejor enseñarles a usar una herramienta para encontrar respuestas que forzarlos a memorizarlo todo.
La densidad es clave: Para enseñar a una IA a usar herramientas, necesitas muchos ejemplos de uso de herramientas en los datos de entrenamiento. Si es demasiado raro, la IA no aprenderá a hacerlo.
Despliegue en el Borde: Esto demuestra que puedes construir una IA útil y especializada que funcione en hardware local y barato sin necesidad de la nube, lo cual es excelente para equipos de seguridad que no pueden enviar datos sensibles a internet.

Lo que publicaron: Los investigadores no solo escribieron un artículo; publicaron la "receta" (código), los "ingredientes" (guía de construcción de datos) y el "plato final" (los pesos del modelo de IA) para que cualquiera pueda construir su propia versión.

Resumen Técnico: VectraYX-Nano

Enunciado del Problema

El artículo aborda dos brechas interseccionales en el ecosistema de Modelos de Lenguaje Grande (LLM) relevantes para los Centros de Operaciones de Seguridad (SOC) en América Latina:

Brecha Lingüística: Los modelos de chat de peso abierto más capaces se entrenan predominantemente en corpus en inglés, dejando a los analistas de habla hispana con opciones limitadas. Los modelos existentes en español a menudo carecen de precisión técnica o requieren APIs de código cerrado y no auditables.
Brecha de Dominio: Existen modelos especializados en ciberseguridad, pero están entrenados casi exclusivamente con datos en inglés, lo que impide capturar la terminología regional de América Latina (por ejemplo, vocabularios específicos de CSIRT como CCN-CERT, INCIBE) y los contextos de amenazas.
Restricciones de Despliegue: Los equipos de seguridad suelen operar en entornos aislados de la red (air-gapped) o locales (on-premise) donde los datos no pueden salir de la red, lo que hace necesarios modelos pequeños y desplegables en el borde que puedan ser auditados y reentrenados localmente.
Integración de Herramientas: Aunque los LLM aumentados con herramientas están emergiendo, las soluciones existentes a menudo dependen de modelos de vanguardia detrás de bucles de agentes. Existe una falta de modelos pequeños y nativos para el uso de herramientas que puedan invocar sistemas externos de manera fiable (mediante el Protocolo de Contexto del Modelo, o MCP) para recuperar inteligencia de amenazas en tiempo real (CVE, IOC) en lugar de alucinar a partir de un corte de entrenamiento estático.

Metodología

1. Construcción del Corpus (VectraYX-Sec-ES)

Los autores ensamblaron un corpus de ciberseguridad en español de 170 millones de tokens utilizando una pipeline distribuida de ocho máquinas virtuales a un costo de aproximadamente 25 USD. El corpus se divide en tres fases alineadas con una estrategia de aprendizaje curricular:

Fase 1 (Conversacional): 42 millones de tokens derivados de OpenSubtitles-ES, OASST1 y diálogos curados personalizados para establecer un registro de chat.
Fase 2 (Ciberseguridad): 118 millones de tokens que incluyen entradas CVE de NVD, un subconjunto filtrado de Wikipedia en español (82 millones de tokens, el componente más grande) y blogs de seguridad traducidos.
Fase 3 (Herramientas): 10 millones de tokens de ExploitDB, HackTricks y OWASP.
Corpus SFT: Un conjunto de datos separado de 28 millones de tokens que contiene 13 mil conversaciones, 4.030 pares de preguntas y respuestas sobre CVE y 6.327 trazas de uso de herramientas basadas en una base de datos real de CVE/IOC local.

2. Arquitectura

VectraYX-Nano es un Transformer solo decodificador de 41,95 millones de parámetros entrenado desde cero. Las elecciones arquitectónicas clave incluyen:

Pila Moderna de LLM Pequeño: RMSNorm, SwiGLU, RoPE y embebidos atados en peso.
Mecanismos de Estabilidad: Atención de Consultas Agrupadas (GQA) con 8 cabezas de consulta y 2 cabezas KV (relación 4:1) para reducir la memoria caché KV y los parámetros; normalización QK para estabilizar el entrenamiento en lotes pequeños; y una pérdida auxiliar $z$ para evitar la deriva de los logits.
Tokenizador: Un tokenizador BPE con retroceso de bytes de 16.384 tokens equilibrado por dominio, entrenado sobre una mezcla 50/50 de texto conversacional y técnico. Incluye 27 tokens especiales reservados para roles de chat, llamadas a herramientas y conceptos específicos del dominio (por ejemplo, <|cve|>, <|tool_call|>).

3. Estrategia de Entrenamiento

Aprendizaje Curricular con Repetición: El modelo se somete a un preentrenamiento continuo de tres fases. Crucialmente, se utilizan búferes de repetición explícitos (25% en la Fase 2, 10% en la Fase 3) para mitigar el olvido catastrófico del registro conversacional establecido en la Fase 1.
Ajuste Fino Supervisado (SFT): Se utiliza un enfoque de mini-curriculum durante el SFT, priorizando los datos conversacionales antes de introducir trazas de uso de herramientas para evitar que el modelo se sobreajuste al formato JSON a expensas del lenguaje natural.
Uso de Herramientas: El modelo se entrena para emitir segmentos JSON sintácticamente válidos <|tool_call|> que son ejecutados por un entorno de ejecución MCP externo, no por el modelo en sí.

Contribuciones Clave

Modelo VectraYX-Nano: El primer LLM de ciberseguridad nativo en español, solo decodificador, publicado y entrenado desde cero con soporte nativo para el uso de herramientas MCP, optimizado para el despliegue en el borde (81 MB en F16, ~20 MB en 4 bits).
Corpus y Pipeline: Una pipeline distribuida de bajo costo (25 USD) para construir un corpus de ciberseguridad en español de 170 millones de tokens, que incluye un espejo interno único "Pikachu" de CVEs de NVD traducidos e inteligencia de amenazas regional.
Currículo con Repetición: Demostración de que un currículo de tres fases (Conversacional → Ciberseguridad → Herramientas) con búferes de repetición previene el olvido catastrófico y produce una disminución monótona de la pérdida.
Hallazgos Empíricos sobre Registro y Densidad:
- Inversión Pérdida-vs-Registro: El artículo reporta que el uso de un corpus de arranque (bootstrap) con menor perplejidad (mC4-ES) resulta en un comportamiento conversacional peor en comparación con un corpus de mayor perplejidad (OpenSubtitles-ES). A la escala de 42 millones, el "registro" (estilo) del corpus de arranque domina la calidad del chat posterior, un factor que el SFT por sí solo no puede sobrescribir completamente.
- Umbral de Densidad de Uso de Herramientas: Los autores identifican que el fallo de los modelos pequeños para emitir llamadas a herramientas (puntuación B4 de 0,000) no es un límite de capacidad rígido, sino un artefacto de la densidad del corpus. Aumentar la relación de ejemplos de uso de herramientas a prosa de 1:211 a 1:21 mejora significativamente la precisión de selección de herramientas (B4) tanto en modelos de 42 millones como de 260 millones de parámetros, desplazando la prioridad del primer token de la prosa a <|tool_call|>.

Resultados

Rendimiento: El modelo liberado alcanza una puntuación de puerta conversacional de 0,78 ± 0,05 (evaluada por humanos) en una métrica de retención.
Eficiencia: Funciona con un tiempo hasta el primer token inferior a un segundo en hardware comercial (Raspberry Pi 4) y alcanza 6–10 tokens/segundo en el Pi 4, en comparación con 1–2 tokens/segundo para una línea base de 0,5 mil millones de parámetros.
Estudios de Ablación:
- Los modelos entrenados con arranques de OpenSubtitles-ES superan a los entrenados con mC4-ES en métricas conversacionales, a pesar de que estos últimos tienen una pérdida de preentrenamiento menor.
- Un modelo "de nivel medio" de 260 millones de parámetros entrenado desde cero con el mismo currículo muestra una mejora en B1 (recuperación de palabras clave) y B3 (completado de comandos), pero aún alcanza un suelo de 0,000 en la selección de herramientas (B4) a menos que se aumente la densidad del corpus de uso de herramientas.
Seguridad: Las evaluaciones automatizadas de equipos rojos en 499 prompts adversarios muestran que el modelo no emite llamadas a herramientas peligrosas de forma autónoma. Sin embargo, carece de entrenamiento explícito de rechazo, dependiendo de la filtración a nivel de entorno de ejecución para la seguridad.

Significado y Afirmaciones

El artículo posiciona a VectraYX-Nano como una prueba de concepto para asistentes de IA desplegables en el borde y auditables para equipos de seguridad en América Latina. Su significado principal radica en demostrar que:

Los modelos a escala nano pueden ser efectivos para dominios específicos si los datos de entrenamiento están cuidadosamente curados y el currículo está diseñado para establecer el registro estilístico correcto antes de la especialización del dominio.
El uso de herramientas en modelos pequeños es viable, pero está condicionado por la densidad de ejemplos de uso de herramientas en los datos de entrenamiento, no solo por la cantidad de parámetros.
La perplejidad no es el único objetivo para los modelos de chat; a escalas pequeñas, igualar el registro de respuesta del corpus de arranque es más crítico para el comportamiento frente al usuario que minimizar la perplejidad.

Los autores liberan las recetas de construcción del corpus, los scripts de entrenamiento, las configuraciones, los pesos GGUF y una suite de métricas (VectraYX-Bench) para permitir la reproducibilidad y la investigación adicional en PLN de ciberseguridad en español. Señalan explícitamente que el modelo no pretende competir con los modelos de vanguardia de más de 70 mil millones de parámetros en el razonamiento de dominio abierto, sino que sirve a un nicho específico en el análisis de amenazas aumentado con herramientas y desplegado localmente.