💬 NLP

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

L'article présente VectraYX-Nano, un modèle linguistique espagnol de 42 millions de paramètres entraîné à partir de zéro sur un corpus de cybersécurité sélectionné avec un apprentissage par curriculum et une intégration native d'outils du protocole de contexte de modèle (MCP), démontrant des performances efficaces sur du matériel grand public et offrant de nouvelles perspectives sur la relation entre la densité du corpus et les capacités d'utilisation d'outils à l'échelle nano.

Auteurs originaux : Juan S. Santillana

Publié 2026-05-15

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan S. Santillana

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Tableau d'Ensemble : Un Assistant de Sécurité Espagnol, Petit et Spécialisé

Imaginez que vous avez un garde de sécurité pour votre réseau informatique. Habituellement, ces gardes sont énormes, coûteux, et ne parlent que l'anglais. Mais que se passerait-il si vous aviez besoin d'un garde pour un quartier spécifique en Amérique latine, qui parle espagnol, comprend l'argot local et peut fonctionner sur un appareil minuscule et peu coûteux (comme un Raspberry Pi) sans avoir besoin d'internet ?

C'est VectraYX-Nano. C'est un modèle d'Intelligence Artificielle (IA) très petit (seulement 42 millions de « cellules cérébrales », contre des milliards dans les modèles célèbres) conçu spécifiquement pour aider les analystes en cybersécurité des régions hispanophones. Il est unique car il a été construit de zéro pour parler espagnol, comprendre les menaces cybernétiques et savoir utiliser des outils pour obtenir des réponses en temps réel.

1. La Nourriture Cérébrale : Comment ils l'ont enseigné (Le Corpus)

Pour enseigner à une IA, il faut la nourrir avec des données. Les chercheurs n'ont pas simplement jeté du texte aléatoire d'internet dessus. Ils ont préparé un « repas à trois services » spécifique en utilisant une approche d'Apprentissage par Curriculum :

Service 1 : L'Amorce de Conversation. D'abord, ils ont nourri le modèle avec 42 millions de jetons de sous-titres et de journaux de chat en espagnol.
- Analogie : Imaginez enseigner à un enfant comment dire « Bonjour », « Comment ça va ? » et « Au revoir » avant de lui apprendre les mathématiques. Si vous sautez cette étape, l'IA pourrait tout savoir sur les virus mais répondre à « Bonjour » par un rapport technique sur un virus au lieu d'une salutation.
Service 2 : L'Approfondissement Technique. Ensuite, ils lui ont donné 118 millions de jetons de données sur la cybersécurité (rapports de vulnérabilité, articles Wikipédia sur le piratage, blogs de sécurité).
- Analogie : Maintenant que l'enfant sait parler, vous lui enseignez le sujet : « Voici ce qu'est un virus », « Voici comment les pirates s'infiltrent ».
Service 3 : La Boîte à Outils. Enfin, ils lui ont donné 10 millions de jetons sur la façon d'utiliser des outils de sécurité (comme la recherche de menaces dans une base de données).
- Analogie : L'enfant apprend maintenant comment utiliser un dictionnaire ou une carte. Au lieu de mémoriser chaque fait individuel, il apprend comment demander la réponse.

L'Astuce du « Replay » : Un problème courant dans l'enseignement aux IA est l'« oubli catastrophique » — lorsque vous leur apprenez de nouvelles choses, elles oublient les anciennes. Pour résoudre cela, les chercheurs ont utilisé un Tampon de Replay (Replay Buffer).

Analogie : Imaginez que vous enseignez l'histoire à un élève. Lorsque vous commencez à lui apprendre le XXe siècle, vous ne cessez pas de parler du XIXe siècle. Vous continuez à réviser un peu les anciennes leçons (25 % du temps) tout en apprenant les nouvelles. Cela a empêché l'IA d'oublier comment parler espagnol pendant qu'elle apprenait les cyberattaques.

2. La Surprise du « Registre » (La Leçon de Bootstrap)

L'une des découvertes les plus intéressantes du papier concerne ce que vous enseignez en premier.

Les chercheurs ont essayé deux options différentes pour le « Service 1 » :

Option A : Sous-titres et journaux de chat (OpenSubtitles).
Option B : Articles web encyclopédiques (mC4-ES).

De manière surprenante, le modèle entraîné sur l'Option B (articles encyclopédiques) a obtenu de meilleurs scores en mathématiques (chiffres de « perte » plus bas) pendant l'entraînement. Cependant, lorsqu'on lui a demandé de discuter, il avait l'air d'une encyclopédie ennuyeuse. Il répondait à « Bonjour » par un paragraphe sur l'histoire des voyages.

Le modèle entraîné sur l'Option A (sous-titres) avait des scores en mathématiques légèrement inférieurs mais semblait être une vraie personne.

La Leçon : Pour une petite IA, la première chose qu'elle apprend définit sa personnalité. Si vous lui apprenez à sonner comme un manuel scolaire en premier, elle restera comme un manuel scolaire pour toujours, même si vous essayez de lui apprendre à discuter plus tard. Vous devez lui apprendre à sonner comme un humain en premier.

3. L'Outil Magique : MCP (Protocole de Contexte de Modèle)

La cybersécurité change tous les jours. De nouveaux virus apparaissent quotidiennement. Une IA ne peut pas mémoriser chaque nouveau virus.

Le Problème : Si vous demandez à une IA standard : « Ce nouveau virus est-il dangereux ? », elle pourrait deviner ou inventer des choses (halluciner) car elle ne connaît pas les actualités d'aujourd'hui.
La Solution : VectraYX-Nano est entraîné à utiliser des outils. Il n'essaie pas de mémoriser la réponse. Au lieu de cela, il apprend à dire : « Je ne sais pas, mais laissez-moi vérifier la base de données. »
Comment ça marche : L'IA est connectée à un système appelé MCP. Lorsqu'elle a besoin d'informations, elle envoie une requête structurée (comme une commande JSON) à un serveur qui possède les données les plus récentes, récupère la réponse et vous la lit.
La Découverte : Les chercheurs ont constaté que pour que l'IA apprenne ce comportement de « demander de l'aide », les données d'entraînement devaient être denses. Si les données d'entraînement étaient à 99 % des conversations normales et seulement à 1 % d'utilisation d'outils, l'IA était trop timide pour utiliser l'outil. Mais s'ils augmentaient les données d'utilisation d'outils à environ 1 exemple sur 20, l'IA commençait soudainement à utiliser les outils de manière fiable.

4. La Taille Compte (Mais Pas Comme Vous le Pensez)

Le modèle est minuscule (42 millions de paramètres).

La Bonne Nouvelle : Il fonctionne sur un Raspberry Pi (un ordinateur à 35 $) en moins d'une seconde. Il tient dans votre poche.
La Limitation : Parce qu'il est si petit, il ne peut pas être un « génie » en tout. Il ne peut pas raisonner à travers une logique complexe et multi-étapes aussi bien qu'un modèle géant.
Le Compromis : Il échange la « mémorisation des faits » contre la « connaissance de la façon de les rechercher ». Il vaut mieux avoir un petit assistant qui sait comment vérifier les faits qu'un grand assistant qui ment avec assurance à leur sujet.

5. Sécurité et « Red Teaming »

Puisque ce modèle est entraîné sur des données de piratage (pour comprendre comment fonctionnent les attaques), les chercheurs craignaient qu'il ne devienne un « mauvais acteur ».

Le Test : Ils ont essayé de piéger l'IA pour qu'elle fasse des choses dangereuses (comme supprimer des fichiers ou voler des données).
Le Résultat : L'IA n'a pas réellement fait les choses dangereuses. Elle a surtout donné des réponses vagues ou a refusé. Cependant, elle n'avait pas de « boussole morale » intégrée pour dire « Non » explicitement.
La Solution : Le papier suggère que la sécurité ne devrait pas reposer uniquement sur le cerveau de l'IA. Au lieu de cela, le système exécutant l'IA (le runtime) devrait agir comme le videur, bloquant toute commande dangereuse avant qu'elle ne soit exécutée.

Résumé des Points Clés à Retenir

Enseignez la personnalité en premier : Pour les petits modèles d'IA, les premières données que vous leur donnez déterminent leur façon de parler. Si vous voulez un chatbot, commencez par des données de chat, pas par des encyclopédies.
N'oubliez pas le passé : Lorsque vous enseignez de nouveaux sujets, continuez à réviser les anciens (Tampon de Replay) afin que l'IA n'oublie pas ses compétences linguistiques.
Outils plutôt que Mémoire : Pour les petits modèles, il vaut mieux leur apprendre à utiliser un outil pour trouver des réponses que de les forcer à tout mémoriser.
La densité est la clé : Pour enseigner à une IA à utiliser des outils, vous avez besoin de nombreux exemples d'utilisation d'outils dans les données d'entraînement. Si c'est trop rare, l'IA n'apprendra pas à le faire.
Déploiement en périphérie (Edge) : Cela prouve que vous pouvez créer une IA utile et spécialisée qui fonctionne sur du matériel local peu coûteux sans avoir besoin du cloud, ce qui est excellent pour les équipes de sécurité qui ne peuvent pas envoyer de données sensibles sur internet.

Ce qu'ils ont publié : Les chercheurs n'ont pas seulement écrit un papier ; ils ont publié la « recette » (code), les « ingrédients » (guide de construction des données) et le « plat final » (les poids du modèle d'IA) afin que chacun puisse construire sa propre version.

Résumé Technique : VectraYX-Nano

Énoncé du Problème

L'article traite de deux lacunes interconnectées dans l'écosystème des Modèles de Langage (LLM) pertinentes pour les centres d'opérations de sécurité (SOC) en Amérique latine :

Lacune Linguistique : Les modèles de chat à poids ouverts les plus performants sont principalement entraînés sur des corpus anglais, laissant les analystes de langue espagnole avec des options limitées. Les modèles espagnols existants manquent souvent de précision technique ou nécessitent des API fermées et non auditable.
Lacune de Domaine : Des modèles spécialisés en cybersécurité existent mais sont presque exclusivement entraînés sur des données en anglais, échouant à capturer la terminologie régionale d'Amérique latine (par exemple, des vocabulaires spécifiques de CSIRT comme CCN-CERT, INCIBE) et les contextes de menaces.
Contraintes de Déploiement : Les équipes de sécurité opèrent souvent dans des environnements isolés (air-gapped) ou sur site où les données ne peuvent quitter le réseau, nécessitant des modèles petits et déployables en périphérie (edge) qui peuvent être audités et réentraînés localement.
Intégration d'Outils : Bien que les LLM augmentés par des outils émergent, les solutions existantes reposent souvent sur des modèles de pointe derrière des boucles d'agents. Il manque de petits modèles natifs utilisant des outils capables d'invoquer de manière fiable des systèmes externes (via le Protocole de Contexte de Modèle, ou MCP) pour récupérer des renseignements sur les menaces en temps réel (CVE, IOC) plutôt que d'halluciner à partir d'une coupure d'entraînement statique.

Méthodologie

1. Construction du Corpus (VectraYX-Sec-ES)

Les auteurs ont assemblé un corpus de cybersécurité en espagnol de 170 millions de tokens en utilisant un pipeline distribué de huit machines virtuelles pour un coût d'environ 25 USD. Le corpus est partitionné en trois phases alignées sur une stratégie d'apprentissage par curriculum :

Phase 1 (Conversationnelle) : 42 millions de tokens dérivés de OpenSubtitles-ES, OASST1 et de dialogues personnalisés pour établir un registre de chat.
Phase 2 (Cybersécurité) : 118 millions de tokens incluant les entrées NVD CVE, un sous-ensemble filtré de Wikipédia en espagnol (82 millions de tokens, le composant le plus important) et des blogs de sécurité traduits.
Phase 3 (Outils) : 10 millions de tokens provenant de ExploitDB, HackTricks et OWASP.
Corpus SFT : Un jeu de données séparé de 28 millions de tokens contenant 13 000 conversations, 4 030 paires de questions-réponses sur les CVE et 6 327 traces d'utilisation d'outils ancrées dans une base de données CVE/IOC réelle sur site.

2. Architecture

VectraYX-Nano est un Transformer uniquement décodeur de 41,95 millions de paramètres entraîné à partir de zéro. Les choix architecturaux clés incluent :

Stack Moderne de Petit LLM : RMSNorm, SwiGLU, RoPE et des embeddings liés par les poids.
Mécanismes de Stabilité : Attention à requêtes groupées (GQA) avec 8 têtes de requête et 2 têtes KV (ratio 4:1) pour réduire le cache KV et les paramètres ; QK-Norm pour stabiliser l'entraînement sur de petits lots ; et une perte auxiliaire $z$ -loss pour empêcher la dérive des logits.
Tokeniseur : Un tokeniseur BPE avec fallback byte de 16 384 tokens équilibré par domaine, entraîné sur un mélange 50/50 de texte conversationnel et technique. Il inclut 27 tokens spéciaux réservés pour les rôles de chat, les appels d'outils et les concepts spécifiques au domaine (par exemple, <|cve|>, <|tool_call|>).

3. Stratégie d'Entraînement

Apprentissage par Curriculum avec Replay : Le modèle subit un pré-entraînement continu en trois phases. Crucialement, des tampons de replay explicites (25 % dans la Phase 2, 10 % dans la Phase 3) sont utilisés pour atténuer l'oubli catastrophique du registre conversationnel établi dans la Phase 1.
Affinement Supervisé (SFT) : Une approche de mini-curriculum est utilisée lors du SFT, en priorisant les données conversationnelles avant d'introduire des traces d'utilisation d'outils pour empêcher le modèle de surajuster au formatage JSON au détriment du langage naturel.
Utilisation d'Outils : Le modèle est entraîné à émettre des segments JSON syntaxiquement valides <|tool_call|> qui sont exécutés par un runtime MCP externe, et non par le modèle lui-même.

Contributions Clés

Modèle VectraYX-Nano : Le premier LLM de cybersécurité natif en espagnol, uniquement décodeur, publié et entraîné à partir de zéro avec un support natif d'utilisation d'outils MCP, optimisé pour le déploiement en périphérie (81 Mo en F16, ~20 Mo en 4 bits).
Corpus et Pipeline : Un pipeline distribué à faible coût (25 USD) pour construire un corpus de cybersécurité en espagnol de 170 millions de tokens, incluant un miroir interne unique "Pikachu" des CVE NVD traduites et des renseignements sur les menaces régionaux.
Curriculum avec Replay : Démonstration qu'un curriculum en trois phases (Conversationnel → Cybersécurité → Outils) avec des tampons de replay empêche l'oubli catastrophique et produit une descente de perte monotone.
Résultats Empiriques sur le Registre et la Densité :
- Inversion Perte-vs-Registre : L'article rapporte que l'utilisation d'un corpus de bootstrap à perplexité plus faible (mC4-ES) entraîne un comportement conversationnel pire par rapport à un corpus à perplexité plus élevée (OpenSubtitles-ES). À l'échelle de 42 millions, le "registre" (style) du corpus de bootstrap domine la qualité du chat en aval, un facteur que le SFT seul ne peut pas entièrement écraser.
- Seuil de Densité d'Utilisation d'Outils : Les auteurs identifient que l'échec des petits modèles à émettre des appels d'outils (score B4 de 0,000) n'est pas une limite de capacité stricte mais un artefact de densité de corpus. Augmenter le ratio d'exemples d'utilisation d'outils par rapport à la prose de 1:211 à 1:21 améliore significativement la précision de sélection d'outils (B4) sur les modèles de 42M et 260M, déplaçant la priorité du premier token de la prose vers <|tool_call|>.

Résultats

Performance : Le modèle publié atteint un score de porte conversationnelle de 0,78 ± 0,05 (noté par des humains) sur un benchmark retenu.
Efficacité : Il s'exécute avec un temps jusqu'au premier token inférieur à une seconde sur du matériel standard (Raspberry Pi 4) et atteint 6–10 tokens/seconde sur le Pi 4, contre 1–2 tokens/seconde pour une base de référence de 0,5B.
Études d'Ablation :
- Les modèles entraînés avec des bootstraps OpenSubtitles-ES surpassent ceux entraînés avec mC4-ES sur les métriques conversationnelles, malgré une perte de pré-entraînement plus faible pour ces derniers.
- Un modèle "milieu de gamme" de 260 millions de paramètres entraîné à partir de zéro avec le même curriculum montre une amélioration de B1 (rappel des mots-clés) et B3 (complétion de commande) mais atteint toujours un plancher de 0,000 sur la sélection d'outils (B4) sauf si la densité du corpus d'utilisation d'outils est augmentée.
Sécurité : Les évaluations automatisées de red-team sur 499 invites adverses montrent que le modèle n'émet pas de manière autonome des appels d'outils dangereux. Cependant, il manque d'entraînement explicite au refus, comptant sur un filtrage au niveau du runtime pour la sécurité.

Signification et Revendications

L'article positionne VectraYX-Nano comme une preuve de concept pour des assistants IA déployables en périphérie et auditable pour les équipes de sécurité en Amérique latine. Sa signification principale réside dans la démonstration que :

Les modèles à l'échelle nano peuvent être efficaces pour des domaines spécifiques si les données d'entraînement sont soigneusement sélectionnées et que le curriculum est conçu pour établir le registre stylistique correct avant la spécialisation de domaine.
L'utilisation d'outils dans les petits modèles est réalisable mais est conditionnée par la densité d'exemples d'utilisation d'outils dans les données d'entraînement, et non seulement par le nombre de paramètres.
La perplexité n'est pas l'objectif unique pour les modèles de chat ; à petite échelle, l'ajustement du registre de réponse du corpus de bootstrap est plus critique pour le comportement face à l'utilisateur que la minimisation de la perplexité.

Les auteurs publient les recettes de construction du corpus, les scripts d'entraînement, les configurations, les poids GGUF et une suite de benchmarks (VectraYX-Bench) pour permettre la reproductibilité et de nouvelles recherches en NLP de cybersécurité en espagnol. Ils notent explicitement que le modèle n'est pas destiné à concurrencer les modèles de pointe de 70B+ en raisonnement sur des domaines ouverts, mais sert un créneau spécifique dans l'analyse de menaces augmentée par des outils et déployée sur site.