💬 NLP

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

Il documento introduce VectraYX-Nano, un modello linguistico spagnolo da 42 milioni di parametri addestrato da zero su un corpus di cybersecurity curato con apprendimento curricolare e integrazione nativa degli strumenti del Model Context Protocol (MCP), dimostrando prestazioni efficaci su hardware commerciale e fornendo nuove intuizioni sulla relazione tra densità del corpus e capacità di utilizzo degli strumenti a scala nano.

Autori originali: Juan S. Santillana

Pubblicato 2026-05-15

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Juan S. Santillana

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Un Assistente di Sicurezza Spagnolo, Piccolo e Specializzato

Immagina di avere una guardia di sicurezza per la tua rete informatica. Di solito, queste guardie sono enormi, costose e parlano solo inglese. Ma cosa succederebbe se avessi bisogno di una guardia per un quartiere specifico in America Latina che parla spagnolo, capisce lo slang locale e può lavorare su un dispositivo minuscolo ed economico (come un Raspberry Pi) senza bisogno di internet?

Quello è VectraYX-Nano. È un modello di Intelligenza Artificiale (AI) molto piccolo (solo 42 milioni di "cellule cerebrali", rispetto ai miliardi presenti nei modelli famosi) progettato specificamente per aiutare gli analisti di cybersecurity nelle regioni di lingua spagnola. È unico perché è stato costruito da zero per parlare spagnolo, comprendere le minacce informatiche e sapere come utilizzare strumenti per ottenere risposte in tempo reale.

1. Il Cibo per il Cervello: Come l'hanno Addestrato (Il Corpus)

Per insegnare a un'AI, devi nutrirlo con dati. I ricercatori non hanno semplicemente riversato testo casuale di internet su di esso. Hanno preparato un "pasto di tre portate" specifico utilizzando un approccio di Apprendimento Curricolare:

Portata 1: L'Iniziatore della Conversazione. Prima, hanno nutrito il modello con 42 milioni di token di sottotitoli in spagnolo e registri di chat.
- Analogia: Pensa a questo come insegnare a un bambino a dire "Ciao", "Come stai?" e "Arrivederci" prima di insegnargli la matematica. Se salti questo passaggio, l'AI potrebbe sapere tutto sui virus ma rispondere a "Ciao" con un rapporto tecnico su un virus invece che con un saluto.
Portata 2: L'Approfondimento Tecnico. Successivamente, gli hanno somministrato 118 milioni di token di dati sulla cybersecurity (rapporti sulle vulnerabilità, articoli di Wikipedia sull'hacking, blog sulla sicurezza).
- Analogia: Ora che il bambino sa parlare, gli insegni la materia: "Questo è cosa sia un virus", "Questo è come gli hacker entrano".
Portata 3: La Cassetta degli Attrezzi. Infine, gli hanno dato 10 milioni di token su come utilizzare strumenti di sicurezza (come cercare minacce in un database).
- Analogia: Il bambino impara ora come usare un dizionario o una mappa. Invece di memorizzare ogni singolo fatto, impara come chiedere la risposta.

Il Trucco del "Ripasso": Un problema comune nell'insegnare all'AI è la "dimenticanza catastrofica" – quando gli insegni cose nuove, dimentica quelle vecchie. Per risolvere questo, i ricercatori hanno utilizzato un Buffer di Riproduzione.

Analogia: Immagina di insegnare storia a uno studente. Quando inizi a insegnargli il XX secolo, non smetti di parlare del XIX secolo. Continui a ripassare un po' delle lezioni vecchie (il 25% del tempo) mentre impari quelle nuove. Questo ha impedito all'AI di dimenticare come parlare spagnolo mentre imparava degli attacchi informatici.

2. La Sorpresa del "Registro" (La Lezione di Bootstrap)

Una delle scoperte più interessanti del documento riguarda cosa si insegna per primo.

I ricercatori hanno provato due diverse opzioni per la "Portata 1":

Opzione A: Sottotitoli e registri di chat (OpenSubtitles).
Opzione B: Articoli enciclopedici dal web (mC4-ES).

Sorprendentemente, il modello addestrato sull'Opzione B (articoli enciclopedici) ha ottenuto punteggi matematici migliori (numeri di "perdita" più bassi) durante l'addestramento. Tuttavia, quando gli hanno chiesto di chattare, sembrava un'enciclopedia noiosa. Rispondeva a "Ciao" con un paragrafo sulla storia dei viaggi.

Il modello addestrato sull'Opzione A (sottotitoli) aveva punteggi matematici leggermente peggiori ma sembrava una persona reale.

La Lezione: Per un'AI piccola, la prima cosa che impara ne definisce la personalità. Se gli insegni a sembrare un libro di testo per primo, rimarrà un libro di testo per sempre, anche se provi a insegnargli a chattare dopo. Devi insegnargli a sembrare umano per primo.

3. Lo Strumento Magico: MCP (Protocollo di Contesto del Modello)

La cybersecurity cambia ogni giorno. Nuovi virus appaiono quotidianamente. Un'AI non può memorizzare ogni singolo nuovo virus.

Il Problema: Se chiedi a un'AI standard: "Questo nuovo virus è pericoloso?", potrebbe indovinare o inventare cose (allucinare) perché non conosce le notizie di oggi.
La Soluzione: VectraYX-Nano è addestrato per usare strumenti. Non cerca di memorizzare la risposta. Invece, impara a dire: "Non lo so, ma lasciami controllare il database."
Come funziona: L'AI è connessa a un sistema chiamato MCP. Quando ha bisogno di informazioni, invia una richiesta strutturata (come un comando JSON) a un server che ha i dati più recenti, ottiene la risposta e te la legge.
La Scoperta: I ricercatori hanno scoperto che affinché l'AI impari questo comportamento di "chiedere aiuto", i dati di addestramento dovevano essere densi. Se i dati di addestramento erano per il 99% chat normali e solo per l'1% uso di strumenti, l'AI era troppo timida per usare lo strumento. Ma se aumentavano i dati sull'uso degli strumenti a circa 1 su ogni 20 esempi, l'AI iniziava improvvisamente a usare gli strumenti in modo affidabile.

4. Le Dimensioni Contano (Ma Non Come Pensi)

Il modello è minuscolo (42 milioni di parametri).

La Buona Notizia: Funziona su un Raspberry Pi (un computer da 35 dollari) in meno di un secondo. Sta in tasca.
La Limitazione: Poiché è così piccolo, non può essere un "genio" in tutto. Non può ragionare attraverso logiche complesse e multi-step tanto bene quanto un modello gigante.
Il Compromesso: Scambia la "memorizzazione dei fatti" con la "conoscenza di come cercarli". È meglio avere un piccolo assistente che sa come verificare i fatti piuttosto che un assistente gigante che mente con sicurezza su di essi.

5. Sicurezza e "Red Teaming"

Poiché questo modello è addestrato su dati di hacking (per capire come funzionano gli attacchi), i ricercatori temevano che potesse diventare un "attore malvagio".

Il Test: Hanno provato a ingannare l'AI per farle fare cose pericolose (come cancellare file o rubare dati).
Il Risultato: L'AI non ha effettivamente fatto le cose pericolose. Ha dato principalmente risposte vaghe o si è rifiutata. Tuttavia, non aveva una "bussola morale" integrata per dire esplicitamente "No".
La Soluzione: Il documento suggerisce che la sicurezza non dovrebbe dipendere solo dal cervello dell'AI. Invece, il sistema che esegue l'AI (il runtime) dovrebbe agire come il buttafuori, bloccando qualsiasi comando pericoloso prima che venga eseguito.

Riepilogo dei Punti Chiave

Insegna prima la personalità: Per i piccoli modelli AI, i primi dati che gli fornisci determinano come suonano. Se vuoi un chatbot, inizia con dati di chat, non enciclopedie.
Non dimenticare il passato: Quando insegni nuovi argomenti, continua a ripassare quelli vecchi (Buffer di Riproduzione) in modo che l'AI non dimentichi le sue abilità linguistiche.
Strumenti sopra la Memoria: Per i modelli piccoli, è meglio insegnare loro come usare uno strumento per trovare risposte piuttosto che costringerli a memorizzare tutto.
La densità è fondamentale: Per insegnare a un'AI a usare strumenti, servono molti esempi di uso degli strumenti nei dati di addestramento. Se è troppo raro, l'AI non imparerà a farlo.
Deploy ai Margini (Edge): Questo dimostra che puoi costruire un'AI utile e specializzata che funziona su hardware locale economico senza bisogno del cloud, il che è ottimo per i team di sicurezza che non possono inviare dati sensibili su internet.

Cosa hanno rilasciato: I ricercatori non hanno scritto solo un documento; hanno rilasciato la "ricetta" (codice), gli "ingredienti" (guida alla costruzione dei dati) e il "piatto finale" (i pesi del modello AI) in modo che chiunque possa costruire la propria versione.

Riepilogo Tecnico: VectraYX-Nano

Enunciato del Problema

Il documento affronta due lacune intersecanti nell'ecosistema dei Modelli Linguistici su Grande Scala (LLM) rilevanti per i centri operativi di sicurezza (SOC) in America Latina:

Lacuna Linguistica: I modelli chat open-weight più capaci sono prevalentemente addestrati su corpora in inglese, lasciando gli analisti di lingua spagnola con opzioni limitate. I modelli spagnoli esistenti spesso mancano di accuratezza tecnica o richiedono API closed-source non verificabili.
Lacuna di Dominio: Esistono modelli specializzati in cybersecurity, ma sono quasi esclusivamente addestrati su dati in inglese, fallendo nel catturare la terminologia regionale dell'America Latina (ad esempio, vocabolari specifici dei CSIRT come CCN-CERT, INCIBE) e i contesti delle minacce.
Vincoli di Distribuzione: I team di sicurezza operano spesso in ambienti isolati (air-gapped) o on-premise dove i dati non possono lasciare la rete, rendendo necessari modelli piccoli e distribuibili al bordo (edge) che possano essere verificati e riaddestrati localmente.
Integrazione degli Strumenti: Sebbene gli LLM potenziati da strumenti stiano emergendo, le soluzioni esistenti si basano spesso su modelli all'avanguardia dietro loop agentic. Manca una disponibilità di modelli piccoli e nativi per l'uso di strumenti che possano invocare in modo affidabile sistemi esterni (tramite il Protocollo di Contesto del Modello, o MCP) per recuperare intelligence sulle minacce in tempo reale (CVE, IOC) piuttosto che allucinare partendo da un taglio statico dell'addestramento.

Metodologia

1. Costruzione del Corpus (VectraYX-Sec-ES)

Gli autori hanno assemblato un corpus di cybersecurity in spagnolo da 170 milioni di token utilizzando una pipeline distribuita su otto macchine virtuali a un costo di circa 25 USD. Il corpus è suddiviso in tre fasi allineate a una strategia di apprendimento curricolare:

Fase 1 (Conversazionale): 42 milioni di token derivati da OpenSubtitles-ES, OASST1 e dialoghi curati su misura per stabilire un registro conversazionale.
Fase 2 (Cybersecurity): 118 milioni di token inclusi voci NVD CVE, un sottoinsieme filtrato di Wikipedia in spagnolo (82 milioni di token, il componente più grande) e blog di sicurezza tradotti.
Fase 3 (Strumentazione): 10 milioni di token da ExploitDB, HackTricks e OWASP.
Corpus SFT: Un dataset separato da 28 milioni di token contenente 13.000 conversazioni, 4.030 coppie Q&A su CVE e 6.327 tracce di uso di strumenti basate su un vero database on-premise di CVE/IOC.

2. Architettura

VectraYX-Nano è un Transformer decoder-only da 41,95 milioni di parametri addestrato da zero. Le scelte architetturali chiave includono:

Stack Moderno per Small-LLM: RMSNorm, SwiGLU, RoPE e embedding legati ai pesi.
Meccanismi di Stabilità: Attention a Query Raggruppate (GQA) con 8 teste di query e 2 teste KV (rapporto 4:1) per ridurre la cache KV e i parametri; QK-Norm per stabilizzare l'addestramento su piccoli batch; e una perdita ausiliaria $z$ -loss per prevenire la deriva dei logit.
Tokenizer: Un tokenizer BPE con fallback byte da 16.384 token bilanciato per il dominio, addestrato su un mix 50/50 di testo conversazionale e tecnico. Include 27 token speciali riservati per ruoli di chat, chiamate a strumenti e concetti specifici del dominio (ad esempio, <|cve|>, <|tool_call|>).

3. Strategia di Addestramento

Apprendimento Curricolare con Replay: Il modello subisce un pre-addestramento continuo in tre fasi. Crucialmente, vengono utilizzati buffer di replay espliciti (25% nella Fase 2, 10% nella Fase 3) per mitigare la dimenticanza catastrofica del registro conversazionale stabilito nella Fase 1.
Fine-Tuning Supervisionato (SFT): Durante l'SFT viene utilizzato un approccio mini-curricolare, ponendo in primo piano i dati conversazionali prima di introdurre le tracce di uso di strumenti, per impedire al modello di adattarsi eccessivamente alla formattazione JSON a scapito del linguaggio naturale.
Uso degli Strumenti: Il modello è addestrato a emettere segmenti JSON sintatticamente validi <|tool_call|> che vengono eseguiti da un runtime MCP esterno, non dal modello stesso.

Contributi Chiave

Modello VectraYX-Nano: Il primo LLM di cybersecurity nativo in spagnolo, decoder-only, pubblicato e addestrato da zero con supporto nativo per l'uso di strumenti MCP, ottimizzato per la distribuzione al bordo (81 MB in F16, ~20 MB in 4-bit).
Corpus e Pipeline: Una pipeline distribuita a basso costo (25 USD) per la costruzione di un corpus di cybersecurity in spagnolo da 170 milioni di token, inclusa una unica "Pikachu" interna, specchio di CVE NVD tradotti e intelligence sulle minacce regionali.
Curricolo con Replay: Dimostrazione che un curricolo in tre fasi (Conversazionale → Cybersecurity → Strumentazione) con buffer di replay previene la dimenticanza catastrofica e produce una discesa monotona della perdita.
Risultati Empirici su Registro e Densità:
- Inversione Perdita-vs-Registro: Il documento riporta che l'uso di un corpus di bootstrap a bassa perplessità (mC4-ES) risulta in un comportamento conversazionale peggiore rispetto a un corpus ad alta perplessità (OpenSubtitles-ES). Alla scala di 42 milioni, il "registro" (stile) del corpus di bootstrap domina la qualità della chat a valle, un fattore che l'SFT da solo non può sovrascrivere completamente.
- Soglia di Densità per l'Uso degli Strumenti: Gli autori identificano che il fallimento dei modelli piccoli nell'emettere chiamate a strumenti (punteggio B4 di 0,000) non è un limite di capacità rigido ma un artefatto della densità del corpus. Aumentare il rapporto tra esempi di uso di strumenti e prosa da 1:211 a 1:21 migliora significativamente l'accuratezza nella selezione degli strumenti (B4) sia sui modelli da 42 milioni che su quelli da 260 milioni, spostando la priorità del primo token dalla prosa a <|tool_call|>.

Risultati

Prestazioni: Il modello rilasciato ottiene un punteggio di soglia conversazionale di 0,78 ± 0,05 (valutato da umani) su un benchmark tenuto da parte.
Efficienza: Esegue con un tempo fino al primo token inferiore al secondo su hardware commerciale (Raspberry Pi 4) e raggiunge 6–10 token/secondo sul Pi 4, rispetto a 1–2 token/secondo per una baseline da 0,5 miliardi.
Studi di Ablazione:
- I modelli addestrati con bootstrap OpenSubtitles-ES superano quelli addestrati con mC4-ES sulle metriche conversazionali, nonostante quest'ultimo abbia una perdita di pre-addestramento inferiore.
- Un modello "di fascia media" da 260 milioni di parametri addestrato da zero con lo stesso curricolo mostra un miglioramento in B1 (richiamo delle parole chiave) e B3 (completamento dei comandi), ma tocca ancora un pavimento di 0,000 sulla selezione degli strumenti (B4) a meno che la densità del corpus di uso degli strumenti non venga aumentata.
Sicurezza: Le valutazioni automatizzate di red-team su 499 prompt avversari mostrano che il modello non emette autonomamente chiamate a strumenti pericolose. Tuttavia, manca di un addestramento esplicito al rifiuto, affidandosi al filtraggio a livello di runtime per la sicurezza.

Significato e Affermazioni

Il documento posiziona VectraYX-Nano come una prova di concetto per assistenti AI distribuibili al bordo e verificabili per i team di sicurezza in America Latina. Il suo significato principale risiede nel dimostrare che:

I modelli su scala nano possono essere efficaci per domini specifici se i dati di addestramento sono attentamente curati e il curricolo è progettato per stabilire il registro stilistico corretto prima della specializzazione di dominio.
L'uso degli strumenti nei modelli piccoli è fattibile ma è vincolato dalla densità degli esempi di uso degli strumenti nei dati di addestramento, non solo dal numero di parametri.
La perplessità non è l'unico obiettivo per i modelli chat; a scale ridotte, corrispondere al registro di risposta del corpus di bootstrap è più critico per il comportamento rivolto all'utente rispetto alla minimizzazione della perplessità.

Gli autori rilasciano le ricette per la costruzione del corpus, gli script di addestramento, le configurazioni, i pesi GGUF e una suite di benchmark (VectraYX-Bench) per abilitare la riproducibilità e ulteriori ricerche nell'NLP di cybersecurity in spagnolo. Affermano esplicitamente che il modello non intende competere con i modelli all'avanguardia da 70 miliardi+ sul ragionamento a dominio aperto, ma serve una nicchia specifica nell'analisi delle minacce potenziata da strumenti e distribuita on-premise.