💬 NLP

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

Het artikel introduceert VectraYX-Nano, een Spaans taalmodel met 42 miljoen parameters dat vanaf nul is getraind op een gecureerd corpus voor cyberveiligheid met curriculum learning en native integratie van het Model Context Protocol (MCP)-hulpmiddel, waarbij effectieve prestaties op commodity-hardware worden aangetoond en nieuwe inzichten worden geboden in de relatie tussen corpusdichtheid en hulpmiddelgebruikscapaciteiten op nano-schaal.

Oorspronkelijke auteurs: Juan S. Santillana

Gepubliceerd 2026-05-15

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan S. Santillana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Klein, Gespecialiseerd Spaans Beveiligingsassistent

Stel je een beveiligingswacht voor je computernetwerk voor. Meestal zijn deze wachters enorm, duur en spreken alleen Engels. Maar wat als je een bewaker nodig hebt voor een specifieke wijk in Latijns-Amerika die Spaans spreekt, lokale straattaal begrijpt en kan werken op een klein, goedkoop apparaat (zoals een Raspberry Pi) zonder internetverbinding?

Dat is VectraYX-Nano. Het is een zeer klein Kunstmatige Intelligentie (KI)-model (slechts 42 miljoen "hersencellen", vergeleken met de miljarden in beroemde modellen) dat specifiek is ontworpen om cybersecurity-analisten in Spaanstalige regio's te helpen. Het is uniek omdat het vanaf de grond af aan is gebouwd om Spaans te spreken, cyberdreigingen te begrijpen en te weten hoe het hulpmiddelen moet gebruiken om antwoorden in real-time te krijgen.

1. Het Breinvoedsel: Hoe Ze Het Leren (Het Corpus)

Om een KI te leren, moet je het voeden met data. De onderzoekers gooiden niet zomaar willekeurige internetteksten erop. Ze bereidden een specifiek "drie-gangendiner" voor met behulp van een Curriculum Learning-aanpak:

Gang 1: De Conversatie-Opener. Eerst voerden ze het model 42 miljoen tokens aan Spaanse ondertitels en chatlogs.
- Analogie: Denk hierbij aan het leren van een kind om "Hallo", "Hoe gaat het?" en "Tot ziens" te zeggen voordat je hen wiskunde leert. Als je dit overslaat, kan de KI alles over virussen weten, maar "Hallo" beantwoorden met een technisch rapport over een virus in plaats van een begroeting.
Gang 2: De Technische Dieptedaling. Vervolgens voerden ze het 118 miljoen tokens aan cybersecurity-data toe (kwetsbaarheidsrapporten, Wikipedia-artikelen over hacken, beveiligingsblogs).
- Analogie: Nu het kind weet hoe het moet praten, leer je hen de stof: "Dit is wat een virus is," "Dit is hoe hackers binnenbreken."
Gang 3: De Gereedschapskist. Tot slot gaven ze hen 10 miljoen tokens over hoe beveiligingshulpmiddelen te gebruiken (zoals het opzoeken van dreigingen in een database).
- Analogie: Het kind leert nu hoe het een woordenboek of een kaart gebruikt. In plaats van elk feit uit het hoofd te leren, leren ze hoe ze om het antwoord moeten vragen.

De "Replay"-Truc: Een veelvoorkomend probleem bij het leren van KI is "catastrofaal vergeten" – wanneer je hen nieuwe dingen leert, vergeten ze het oude. Om dit op te lossen, gebruikten de onderzoekers een Replay Buffer.

Analogie: Stel je voor dat je een student geschiedenis leert. Als je begint met het leren van de 20e eeuw, stop je niet met het praten over de 19e eeuw. Je blijft een beetje de oude lessen herhalen (25% van de tijd) terwijl je de nieuwe leert. Dit zorgde ervoor dat de KI niet vergat hoe het Spaans moest spreken terwijl het leerde over cyberaanvallen.

2. De "Register"-Verrassing (De Bootstrap-Les)

Een van de meest interessante bevindingen van het paper gaat over wat je eerst leert.

De onderzoekers probeerden twee verschillende "Gang 1"-opties:

Optie A: Ondertitels en chatlogs (OpenSubtitles).
Optie B: Encyclopedische webartikelen (mC4-ES).

Verrassend genoeg kreeg het model dat was getraind op Optie B (encyclopedische artikelen) betere wiskundescores (lagere "loss"-cijfers) tijdens het trainen. Echter, toen ze het vroegen om te chatten, klonk het als een saaie encyclopedie. Het zou "Hallo" beantwoorden met een alinea over reisgeschiedenis.

Het model getraind op Optie A (ondertitels) had iets slechtere wiskundescores, maar klonk als een echt mens.

De Les: Voor een kleine KI bepaalt het eerste wat het leert zijn persoonlijkheid. Als je het eerst leert klinken als een schoolboek, zal het voor altijd als een schoolboek blijven, zelfs als je het later probeert te leren chatten. Je moet het eerst leren klinken als een mens.

3. Het Magische Hulpmiddel: MCP (Model Context Protocol)

Cybersecurity verandert elke dag. Nieuwe virussen verschijnen dagelijks. Een KI kan niet elk nieuw virus uit het hoofd leren.

Het Probleem: Als je een standaard KI vraagt: "Is deze nieuwe virus gevaarlijk?", kan het raden of dingen verzinnen (hallucineren) omdat het niets weet van het nieuws van vandaag.
De Oplossing: VectraYX-Nano is getraind om hulpmiddelen te gebruiken. Het probeert het antwoord niet uit het hoofd te leren. In plaats daarvan leert het te zeggen: "Ik weet het niet, maar laat me de database checken."
Hoe het werkt: De KI is verbonden met een systeem genaamd MCP. Wanneer het informatie nodig heeft, stuurt het een gestructureerd verzoek (zoals een JSON-opdracht) naar een server met de nieuwste data, krijgt het het antwoord en leest het dit aan jou voor.
De Ontdekking: De onderzoekers ontdekten dat voor de KI om dit "om hulp vragen"-gedrag te leren, de trainingsdata dicht moest zijn. Als de trainingsdata 99% normale chat was en slechts 1% hulpmiddelgebruik, was de KI te verlegen om het hulpmiddel te gebruiken. Maar als ze het hulpmiddelgebruik verhoogden tot ongeveer 1 op de 20 voorbeelden, begon de KI plotseling betrouwbaar hulpmiddelen te gebruiken.

4. Grootte Maakt Uit (Maar Niet Zoals Je Denkt)

Het model is klein (42 miljoen parameters).

Het Goede Nieuws: Het draait op een Raspberry Pi (een computer van 35 dollar) in minder dan een seconde. Het past in je broekzak.
De Beperking: Omdat het zo klein is, kan het niet een "genie" zijn in alles. Het kan niet zo goed redeneren door complexe, meerstapslogica als een enorm model.
De Ruil: Het ruilt "feiten uit het hoofd leren" in voor "weten hoe ze opgezocht moeten worden". Het is beter om een kleine assistent te hebben die weet hoe het feiten moet controleren, dan een enorme assistent die er zelfverzekerd over liegt.

5. Veiligheid en "Red Teaming"

Omdat dit model is getraind op hack-data (om te begrijpen hoe aanvallen werken), maakten de onderzoekers zich zorgen dat het een "slechte actor" zou kunnen worden.

De Test: Ze probeerden de KI te verleiden tot het doen van gevaarlijke dingen (zoals bestanden verwijderen of data stelen).
Het Resultaat: De KI deed de gevaarlijke dingen niet echt. Het gaf meestal vaag antwoord of weigerde. Echter, het had geen ingebouwd "moreel kompas" om expliciet "Nee" te zeggen.
De Oplossing: Het paper suggereert dat veiligheid niet alleen moet vertrouwen op het brein van de KI. In plaats daarvan moet het systeem dat de KI draait (de runtime) fungeren als de portier, die gevaarlijke commando's blokkeert voordat ze worden uitgevoerd.

Samenvatting van Belangrijkste Punten

Leer eerst de persoonlijkheid: Voor kleine KI-modellen bepaalt de eerste data die je hen voert hoe ze klinken. Als je een chatbot wilt, begin dan met chat-data, niet met encyclopedieën.
Vergeet het verleden niet: Bij het leren van nieuwe onderwerpen, blijf de oude lessen herhalen (Replay Buffer) zodat de KI zijn taalkennis niet vergeet.
Hulpmiddelen boven Geheugen: Voor kleine modellen is het beter om hen te leren hoe ze een hulpmiddel moeten gebruiken om antwoorden te vinden, dan ze te dwingen alles uit het hoofd te leren.
Dichtheid is cruciaal: Om een KI te leren hulpmiddelen te gebruiken, heb je veel voorbeelden van hulpmiddelgebruik in de trainingsdata nodig. Als het te zeldzaam is, leert de KI het niet.
Edge-deployering: Dit bewijst dat je een nuttige, gespecialiseerde KI kunt bouwen die draait op goedkope, lokale hardware zonder de cloud nodig te hebben, wat geweldig is voor beveiligingsteams die gevoelige data niet naar het internet kunnen sturen.

Wat ze vrijgaven: De onderzoekers schreven niet alleen een paper; ze vrijgaven het "recept" (code), de "ingrediënten" (gids voor dataconstructie) en het eindgerecht (de AI-modelgewichten) zodat iedereen zijn eigen versie kan bouwen.

Technische Samenvatting: VectraYX-Nano

Probleemstelling

Het artikel behandelt twee kruisende lacunes in het ecosysteem van Large Language Models (LLM) die relevant zijn voor Security Operations Centers (SOC's) in Latijns-Amerika:

Taallacune: De meest capabele open-weight chatmodellen worden overwegend getraind op Engelstalige corpora, waardoor Spaanstalige analisten met beperkte opties worden gelaten. Bestaande Spaanse modellen missen vaak technische nauwkeurigheid of vereigen gesloten bron, niet-auditabele API's.
Domeinlacune: Gespecialiseerde modellen voor cyberveiligheid bestaan, maar worden bijna uitsluitend getraind op Engelse data, waardoor ze regionale terminologie uit Latijns-Amerika (bijv. specifieke CSIRT-vocabulaires zoals CCN-CERT, INCIBE) en dreigingscontexten niet vastleggen.
Implementatiebeperkingen: Veiligheidsteams opereren vaak in lucht-gescheiden of on-premise omgevingen waar data het netwerk niet mag verlaten, wat noodzaakt tot kleine, op de rand inzetbare modellen die lokaal kunnen worden geaudit en hertraind.
Tool-integratie: Hoewel tool-verrijkte LLM's opkomen, vertrouwen bestaande oplossingen vaak op frontier-modellen achter agentische lussen. Er is een gebrek aan kleine, native tool-gebruikende modellen die betrouwbaar externe systemen kunnen aanroepen (via het Model Context Protocol, of MCP) om real-time dreigingsinlichtingen (CVE's, IOCs) op te halen in plaats van te hallucineren vanuit een statische trainingssnede.

Methodologie

1. Corpusconstructie (VectraYX-Sec-ES)

De auteurs hebben een Spaans cybersecurity-corpus van 170 miljoen tokens samengesteld met behulp van een gedistribueerde pijplijn van acht virtuele machines voor een kostenpost van ongeveer 25 USD. Het corpus is opgedeeld in drie fasen die zijn afgestemd op een curriculum-leerstrategie:

Fase 1 (Conversatieel): 42 miljoen tokens afgeleid van OpenSubtitles-ES, OASST1 en zelf samengestelde dialogen om een chatregister te vestigen.
Fase 2 (Cybersecurity): 118 miljoen tokens inclusief NVD CVE-entries, een gefilterd Spaans Wikipedia-subset (82 miljoen tokens, het grootste component) en vertaalde beveiligingsblogs.
Fase 3 (Tooling): 10 miljoen tokens van ExploitDB, HackTricks en OWASP.
SFT-corpus: Een apart dataset van 28 miljoen tokens met 13.000 conversaties, 4.030 CVE-vraag-antwoordparen en 6.327 tool-gebruikssporen die zijn verankerd in een echte on-premise CVE/IOC-database.

2. Architectuur

VectraYX-Nano is een decoder-only Transformer met 41,95 miljoen parameters die vanaf nul is getraind. Belangrijke architecturale keuzes omvatten:

Moderne Small-LLM-stack: RMSNorm, SwiGLU, RoPE en gewicht-gekoppelde embeddings.
Stabiliteitsmechanismen: Grouped-Query Attention (GQA) met 8 query-koppen en 2 KV-koppen (verhouding 4:1) om de KV-cache en parameters te verminderen; QK-Norm om training op kleine batches te stabiliseren; en een $z$ -loss hulpverlies om logit-drift te voorkomen.
Tokenizer: Een domein-gebalanceerde byte-fallback BPE-tokenizer met 16.384 tokens, getraind op een 50/50-mix van conversatiele en technische tekst. Deze bevat 27 gereserveerde speciale tokens voor chatrollen, tooloproepen en domeinspecifieke concepten (bijv. <|cve|>, <|tool_call|>).

3. Trainingsstrategie

Curriculum-leer met Replay: Het model ondergaat een drie-fase continue voortraining. Cruciaal is dat expliciete replay-buffers (25% in Fase 2, 10% in Fase 3) worden gebruikt om catastrofaal vergeten van het conversatiele register dat in Fase 1 is gevestigd, te mitigeren.
Supervised Fine-Tuning (SFT): Tijdens SFT wordt een mini-curriculum-aanpak gebruikt, waarbij conversatiele data voorop wordt gezet voordat tool-gebruikssporen worden geïntroduceerd om te voorkomen dat het model overfit op JSON-opmaak ten koste van natuurlijke taal.
Tool-gebruik: Het model is getraind om syntactisch geldige <|tool_call|> JSON-segmenten uit te zenden die worden uitgevoerd door een externe MCP-runtime, niet door het model zelf.

Belangrijkste Bijdragen

VectraYX-Nano-model: Het eerste gepubliceerde, Spaans-native, decoder-only cybersecurity-LLM dat vanaf nul is getraind met native MCP-tool-gebruiksondersteuning, geoptimaliseerd voor randimplementatie (81 MB in F16, ~20 MB in 4-bit).
Corpus en pijplijn: Een goedkope (25 USD) gedistribueerde pijplijn voor het construeren van een Spaans cybersecurity-corpus van 170 miljoen tokens, inclusief een unieke "Pikachu" interne mirror van vertaalde NVD CVE's en regionale dreigingsinlichtingen.
Curriculum met Replay: Demonstratie dat een drie-fase curriculum (Conversatieel → Cybersecurity → Tooling) met replay-buffers catastrofaal vergeten voorkomt en monotoon verliesafname oplevert.
Empirische bevindingen over register en dichtheid:
- Verlies-vs-register-inversie: Het artikel rapporteert dat het gebruik van een bootstrap-corpus met lagere perplexiteit (mC4-ES) leidt tot slechter conversatieel gedrag in vergelijking met een corpus met hogere perplexiteit (OpenSubtitles-ES). Op de schaal van 42 miljoen domineert het "register" (stijl) van het bootstrap-corpus de downstream-chatkwaliteit, een factor die alleen door SFT niet volledig kan worden overschreven.
- Drempel voor tool-gebruiksdichtheid: De auteurs identificeren dat het falen van kleine modellen om tooloproepen uit te zenden (B4-score van 0,000) geen harde capaciteitsgrens is, maar een artefact van corpusdichtheid. Het verhogen van de verhouding van tool-gebruiksvoorbeelden tot proza van 1:211 naar 1:21 verbetert significant de tool-selectienauwkeurigheid (B4) op zowel 42M- als 260M-modellen, waardoor de prior van het eerste token verschuift van proza naar <|tool_call|>.

Resultaten

Prestaties: Het vrijgegeven model bereikt een conversatiele poortscore van 0,78 ± 0,05 (menselijk beoordeeld) op een vastgehouden benchmark.
Efficiëntie: Het draait op sub-seconden tijd tot eerste token op handelsware-hardware (Raspberry Pi 4) en bereikt 6–10 tokens/seconde op de Pi 4, vergeleken met 1–2 tokens/seconde voor een 0,5B-baseline.
Ablatiestudies:
- Modellen getraind met OpenSubtitles-ES-bootstraps presteren beter op conversatiemetrics dan die getraind met mC4-ES, ondanks dat laatstgenoemde een lagere voortrainingsverlies heeft.
- Een "mid-tier"-model van 260 miljoen parameters dat vanaf nul is getraind met hetzelfde curriculum, toont verbeterde B1 (sleutelwoordrecall) en B3 (opdrachtvoltooiing), maar bereikt nog steeds een vloer van 0,000 bij tool-selectie (B4) tenzij de dichtheid van het tool-gebruikscorpus wordt verhoogd.
Veiligheid: Geautomatiseerde red-team-evaluaties op 499 adversariele prompts tonen aan dat het model niet autonoom gevaarlijke tooloproepen uitstuurt. Het mist echter expliciete weigertraining en vertrouwt op filtering op runtime-niveau voor veiligheid.

Betekenis en Claims

Het artikel positioneert VectraYX-Nano als een proof-of-concept voor op de rand inzetbare, auditbare AI-assistenten voor beveiligingsteams in Latijns-Amerika. De primaire betekenis ligt in het aantonen dat:

Nano-schaalmodellen effectief kunnen zijn voor specifieke domeinen als de trainingsdata zorgvuldig is samengesteld en het curriculum is ontworpen om het juiste stilistische register te vestigen voordat domeinspecialisatie plaatsvindt.
Tool-gebruik in kleine modellen haalbaar is, maar wordt geblokkeerd door de dichtheid van tool-gebruiksvoorbeelden in de trainingsdata, niet alleen door het aantal parameters.
Perplexiteit niet het enige doel is voor chatmodellen; op kleine schaal is het overeenstemmen van het responsregister van het bootstrap-corpus kritischer voor gebruikersgericht gedrag dan het minimaliseren van perplexiteit.

De auteurs geven de recepten voor corpusconstructie, trainingsscripts, configuraties, GGUF-gewichten en een benchmark-suite (VectraYX-Bench) vrij om reproduceerbaarheid en verder onderzoek in Spaanse cybersecurity-NLP mogelijk te maken. Zij merken expliciet op dat het model niet bedoeld is om te concurreren met frontier 70B+ modellen op open-domein redeneren, maar een specifieke niche dient in on-premise, tool-verrijkte dreigingsanalyse.