💬 NLP

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

O artigo apresenta o VectraYX-Nano, um modelo de linguagem em espanhol com 42 milhões de parâmetros treinado do zero em um corpus de cibersegurança curado, utilizando aprendizado curricular e integração nativa de ferramentas do Protocolo de Contexto de Modelo (MCP), demonstrando desempenho eficaz em hardware comum e fornecendo novos insights sobre a relação entre densidade do corpus e capacidades de uso de ferramentas na escala nano.

Autores originais: Juan S. Santillana

Publicado 2026-05-15

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juan S. Santillana

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Um Assistente de Segurança Espanhol Especializado e Minúsculo

Imagine que você tem um guarda de segurança para sua rede de computadores. Geralmente, esses guardas são enormes, caros e só falam inglês. Mas e se você precisasse de um guarda para um bairro específico na América Latina que fala espanhol, entende gírias locais e pode funcionar em um dispositivo minúsculo e barato (como um Raspberry Pi) sem precisar da internet?

Isso é o VectraYX-Nano. É um modelo de Inteligência Artificial (IA) muito pequeno (apenas 42 milhões de "células cerebrais", comparado aos bilhões em modelos famosos) projetado especificamente para ajudar analistas de cibersegurança em regiões de língua espanhola. É único porque foi construído do zero para falar espanhol, entender ameaças cibernéticas e saber como usar ferramentas para obter respostas em tempo real.

1. O Alimento Cerebral: Como Eles o Ensinaram (O Corpus)

Para ensinar uma IA, você precisa alimentá-la com dados. Os pesquisadores não apenas despejaram texto aleatório da internet nela. Eles prepararam uma "refeição de três pratos" específica usando uma abordagem de Aprendizado Curricular:

Prato 1: O Iniciador de Conversa. Primeiro, eles alimentaram o modelo com 42 milhões de tokens de legendas em espanhol e registros de chat.
- Analogia: Pense nisso como ensinar uma criança a dizer "Olá", "Como vai?" e "Tchau" antes de ensinar matemática. Se você pular isso, a IA pode saber tudo sobre vírus, mas responder a "Olá" com um relatório técnico sobre um vírus em vez de uma saudação.
Prato 2: A Imersão Técnica. Em seguida, eles alimentaram-na com 118 milhões de tokens de dados de cibersegurança (relatórios de vulnerabilidade, artigos da Wikipedia sobre hacking, blogs de segurança).
- Analogia: Agora que a criança sabe falar, você ensina o conteúdo: "Isso é o que é um vírus", "Isso é como hackers invadem".
Prato 3: O Kit de Ferramentas. Finalmente, eles deram a ela 10 milhões de tokens sobre como usar ferramentas de segurança (como consultar ameaças em um banco de dados).
- Analogia: A criança agora aprende a usar um dicionário ou um mapa. Em vez de memorizar cada fato individual, ela aprende como pedir a resposta.

O Truque da "Repetição": Um problema comum ao ensinar IA é o "esquecimento catastrófico"—quando você ensina coisas novas, eles esquecem o antigo. Para corrigir isso, os pesquisadores usaram um Buffer de Repetição.

Analogia: Imagine que você está ensinando história a um aluno. Quando você começa a ensinar sobre o século XX, você não para de falar sobre o século XIX. Você continua revisando um pouco das lições antigas (25% do tempo) enquanto aprende as novas. Isso impediu que a IA esquecesse como falar espanhol enquanto aprendia sobre ciberataques.

2. A Surpresa do "Registro" (A Lição de Bootstrap)

Uma das descobertas mais interessantes do artigo é sobre o que você ensina primeiro.

Os pesquisadores tentaram duas opções diferentes para o "Prato 1":

Opção A: Legendas e registros de chat (OpenSubtitles).
Opção B: Artigos enciclopédicos da web (mC4-ES).

Surpreendentemente, o modelo treinado na Opção B (artigos enciclopédicos) realmente obteve melhores pontuações em matemática (números de "perda" mais baixos) durante o treinamento. No entanto, quando pediram para ele conversar, soava como uma enciclopédia chata. Ele responderia a "Olá" com um parágrafo sobre história de viagens.

O modelo treinado na Opção A (legendas) teve pontuações de matemática ligeiramente piores, mas soava como uma pessoa real.

A Lição: Para uma IA pequena, a primeira coisa que ela aprende define sua personalidade. Se você a ensinar a soar como um livro didático primeiro, ela permanecerá como um livro didático para sempre, mesmo que você tente ensiná-la a conversar depois. Você tem que ensiná-la a soar como um humano primeiro.

3. A Ferramenta Mágica: MCP (Protocolo de Contexto do Modelo)

A cibersegurança muda todos os dias. Novos vírus aparecem diariamente. Uma IA não pode memorizar cada novo vírus.

O Problema: Se você perguntar a uma IA padrão, "Este novo vírus é perigoso?", ela pode chutar ou inventar coisas (alucinar) porque não sabe sobre as notícias de hoje.
A Solução: O VectraYX-Nano é treinado para usar ferramentas. Ele não tenta memorizar a resposta. Em vez disso, ele aprende a dizer: "Não sei, mas deixe-me verificar o banco de dados."
Como funciona: A IA está conectada a um sistema chamado MCP. Quando precisa de informações, envia uma solicitação estruturada (como um comando JSON) para um servidor que tem os dados mais recentes, obtém a resposta e a lê de volta para você.
A Descoberta: Os pesquisadores descobriram que, para a IA aprender esse comportamento de "pedir ajuda", os dados de treinamento precisavam ser densos. Se os dados de treinamento fossem 99% conversa normal e apenas 1% uso de ferramentas, a IA era muito tímida para usar a ferramenta. Mas se eles aumentassem os dados de uso de ferramentas para cerca de 1 em cada 20 exemplos, a IA de repente começava a usar as ferramentas de forma confiável.

4. O Tamanho Importa (Mas Não Como Você Pensa)

O modelo é minúsculo (42 milhões de parâmetros).

A Boa Notícia: Ele roda em um Raspberry Pi (um computador de 35 dólares) em menos de um segundo. Cabe no seu bolso.
A Limitação: Por ser tão pequeno, não pode ser um "gênio" em tudo. Não consegue raciocinar através de lógica complexa e multi-etapa tão bem quanto um modelo gigante.
O Trade-off: Ele troca "memorizar fatos" por "saber como consultá-los". É melhor ter um assistente pequeno que sabe como verificar os fatos do que um assistente gigante que mente com confiança sobre eles.

5. Segurança e "Red Teaming"

Como este modelo é treinado em dados de hacking (para entender como os ataques funcionam), os pesquisadores temiam que ele pudesse se tornar um "ator mal-intencionado".

O Teste: Eles tentaram enganar a IA para fazer coisas perigosas (como deletar arquivos ou roubar dados).
O Resultado: A IA não realmente fez as coisas perigosas. Ela principalmente deu respostas vagas ou recusou. No entanto, ela não tinha uma "bússola moral" embutida para dizer "Não" explicitamente.
A Correção: O artigo sugere que a segurança não deve depender apenas do cérebro da IA. Em vez disso, o sistema que executa a IA (o runtime) deve atuar como o porteiro, bloqueando qualquer comando perigoso antes que seja executado.

Resumo das Principais Conclusões

Ensine a personalidade primeiro: Para modelos de IA pequenos, os primeiros dados que você alimenta neles determinam como eles soam. Se você quer um chatbot, comece com dados de chat, não enciclopédias.
Não esqueça o passado: Ao ensinar novos tópicos, continue revisando os antigos (Buffer de Repetição) para que a IA não esqueça suas habilidades linguísticas.
Ferramentas em vez de Memória: Para modelos pequenos, é melhor ensiná-los a usar uma ferramenta para encontrar respostas do que forçá-los a memorizar tudo.
Densidade é a chave: Para ensinar uma IA a usar ferramentas, você precisa de muitos exemplos de uso de ferramentas nos dados de treinamento. Se for muito raro, a IA não aprenderá a fazer isso.
Implantação na Borda: Isso prova que é possível construir uma IA útil e especializada que roda em hardware local e barato sem precisar da nuvem, o que é ótimo para equipes de segurança que não podem enviar dados sensíveis para a internet.

O que eles lançaram: Os pesquisadores não apenas escreveram um artigo; eles lançaram a "receita" (código), os "ingredientes" (guia de construção de dados) e o "prato final" (os pesos do modelo de IA) para que qualquer pessoa possa construir sua própria versão.

Resumo Técnico: VectraYX-Nano

Declaração do Problema

O artigo aborda duas lacunas intersecionais no ecossistema de Modelos de Linguagem de Grande Escala (LLMs) relevantes para Centros de Operações de Segurança (SOCs) na América Latina:

Lacuna Linguística: Os modelos de chat de peso aberto mais capazes são predominantemente treinados em corpora em inglês, deixando analistas de língua espanhola com opções limitadas. Modelos espanhóis existentes frequentemente carecem de precisão técnica ou exigem APIs de código fechado e não auditáveis.
Lacuna de Domínio: Modelos especializados em cibersegurança existem, mas são quase exclusivamente treinados em dados em inglês, falhando em capturar terminologia regional da América Latina (por exemplo, vocabulários específicos de CSIRT como CCN-CERT, INCIBE) e contextos de ameaça.
Restrições de Implantação: Equipes de segurança frequentemente operam em ambientes isolados de rede (air-gapped) ou on-premise, onde os dados não podem sair da rede, necessitando de modelos pequenos e implantáveis na borda que possam ser auditados e re-treinados localmente.
Integração de Ferramentas: Embora LLMs aumentados por ferramentas estejam emergindo, soluções existentes frequentemente dependem de modelos de fronteira atrás de loops agenticos. Há uma falta de modelos pequenos e nativos para uso de ferramentas que possam invocar sistemas externos de forma confiável (via o Protocolo de Contexto do Modelo, ou MCP) para recuperar inteligência de ameaças em tempo real (CVEs, IOCs) em vez de alucinar a partir de um corte estático de treinamento.

Metodologia

1. Construção do Corpus (VectraYX-Sec-ES)

Os autores reuniram um corpus de cibersegurança em espanhol de 170 milhões de tokens usando um pipeline distribuído de oito máquinas virtuais a um custo de aproximadamente 25 USD. O corpus é partitionado em três fases alinhadas a uma estratégia de aprendizado curricular:

Fase 1 (Conversacional): 42 milhões de tokens derivados de OpenSubtitles-ES, OASST1 e diálogos curados personalizados para estabelecer um registro de chat.
Fase 2 (Cibersegurança): 118 milhões de tokens incluindo entradas NVD CVE, um subconjunto filtrado da Wikipedia em espanhol (82 milhões de tokens, o maior componente) e blogs de segurança traduzidos.
Fase 3 (Ferramentas): 10 milhões de tokens de ExploitDB, HackTricks e OWASP.
Corpus SFT: Um conjunto de dados separado de 28 milhões de tokens contendo 13 mil conversas, 4.030 pares de perguntas e respostas sobre CVEs e 6.327 traços de uso de ferramentas fundamentados em um banco de dados real on-premise de CVE/IOC.

2. Arquitetura

O VectraYX-Nano é um Transformer apenas decodificador com 41,95 milhões de parâmetros treinado do zero. Escolhas arquiteturais-chave incluem:

Pilha Moderna de Pequenos LLMs: RMSNorm, SwiGLU, RoPE e embeddings acoplados por peso.
Mecanismos de Estabilidade: Atenção de Consulta Agrupada (GQA) com 8 cabeças de consulta e 2 cabeças KV (razão 4:1) para reduzir o cache KV e parâmetros; QK-Norm para estabilizar o treinamento em pequenos lotes; e uma perda auxiliar $z$ -loss para evitar desvio de logits.
Tokenizador: Um tokenizador BPE de fallback de bytes com 16.384 tokens equilibrado por domínio, treinado em uma mistura 50/50 de texto conversacional e técnico. Inclui 27 tokens especiais reservados para funções de chat, chamadas de ferramentas e conceitos específicos de domínio (por exemplo, <|cve|>, <|tool_call|>).

3. Estratégia de Treinamento

Aprendizado Curricular com Replay: O modelo passa por pré-treinamento contínuo em três fases. Crucialmente, buffers de replay explícitos (25% na Fase 2, 10% na Fase 3) são usados para mitigar o esquecimento catastrófico do registro conversacional estabelecido na Fase 1.
Ajuste Fino Supervisionado (SFT): Uma abordagem de mini-curriculo é usada durante o SFT, priorizando dados conversacionais antes de introduzir traços de uso de ferramentas para evitar que o modelo se sobreajuste à formatação JSON em detrimento da linguagem natural.
Uso de Ferramentas: O modelo é treinado para emitir segmentos JSON sintaticamente válidos <|tool_call|> que são executados por um runtime MCP externo, não pelo próprio modelo.

Contribuições Principais

Modelo VectraYX-Nano: O primeiro LLM de cibersegurança nativo em espanhol, apenas decodificador, publicado e treinado do zero com suporte nativo a uso de ferramentas MCP, otimizado para implantação na borda (81 MB em F16, ~20 MB em 4 bits).
Corpus e Pipeline: Um pipeline distribuído de baixo custo (25 USD) para construir um corpus de cibersegurança em espanhol de 170 milhões de tokens, incluindo um espelho interno único "Pikachu" de CVEs NVD traduzidos e inteligência de ameaças regional.
Currículo com Replay: Demonstração de que um currículo de três fases (Conversacional → Cibersegurança → Ferramentas) com buffers de replay previne o esquecimento catastrófico e produz uma descida monótona da perda.
Descobertas Empíricas sobre Registro e Densidade:
- Inversão Perda-vs-Registro: O artigo relata que o uso de um corpus de bootstrap de menor perplexidade (mC4-ES) resulta em comportamento conversacional pior em comparação com um corpus de maior perplexidade (OpenSubtitles-ES). Na escala de 42 milhões, o "registro" (estilo) do corpus de bootstrap domina a qualidade do chat a jusante, um fator que o SFT sozinho não pode totalmente sobrescrever.
- Limiar de Densidade de Uso de Ferramentas: Os autores identificam que a falha de modelos pequenos em emitir chamadas de ferramentas (pontuação B4 de 0,000) não é um limite rígido de capacidade, mas um artefato de densidade do corpus. Aumentar a razão de exemplos de uso de ferramentas para prosa de 1:211 para 1:21 melhora significativamente a precisão de seleção de ferramentas (B4) em modelos de 42 milhões e 260 milhões, deslocando o prior do primeiro token de prosa para <|tool_call|>.

Resultados

Desempenho: O modelo lançado alcança uma pontuação de porta conversacional de 0,78 ± 0,05 (avaliada por humanos) em um benchmark mantido de lado.
Eficiência: Opera com tempo até o primeiro token subsegundo em hardware comercial (Raspberry Pi 4) e alcança 6–10 tokens/segundo no Pi 4, comparado a 1–2 tokens/segundo para uma linha de base de 0,5B.
Estudos de Ablação:
- Modelos treinados com bootstraps OpenSubtitles-ES superam aqueles treinados com mC4-ES em métricas conversacionais, apesar deste último ter perda de pré-treinamento menor.
- Um modelo "intermediário" de 260 milhões de parâmetros treinado do zero com o mesmo currículo mostra melhoria em B1 (recuperação de palavras-chave) e B3 (conclusão de comando), mas ainda atinge um piso de 0,000 na seleção de ferramentas (B4) a menos que a densidade do corpus de uso de ferramentas seja aumentada.
Segurança: Avaliações automatizadas de time vermelho em 499 prompts adversariais mostram que o modelo não emite autonomamente chamadas de ferramentas perigosas. No entanto, carece de treinamento explícito de recusa, dependendo de filtragem no nível do runtime para segurança.

Significado e Alegações

O artigo posiciona o VectraYX-Nano como uma prova de conceito para assistentes de IA implantáveis na borda e auditáveis para equipes de segurança da América Latina. Seu significado principal reside em demonstrar que:

Modelos de escala nano podem ser eficazes para domínios específicos se os dados de treinamento forem cuidadosamente curados e o currículo for projetado para estabelecer o registro estilístico correto antes da especialização de domínio.
O uso de ferramentas em modelos pequenos é viável, mas é limitado pela densidade de exemplos de uso de ferramentas nos dados de treinamento, e não apenas pela contagem de parâmetros.
A perplexidade não é o único objetivo para modelos de chat; em escalas pequenas, corresponder ao registro de resposta do corpus de bootstrap é mais crítico para o comportamento voltado ao usuário do que minimizar a perplexidade.

Os autores liberam as receitas de construção do corpus, scripts de treinamento, configurações, pesos GGUF e uma suíte de benchmarks (VectraYX-Bench) para permitir a reprodutibilidade e pesquisas futuras em NLP de cibersegurança em espanhol. Eles observam explicitamente que o modelo não tem a intenção de competir com modelos de fronteira de 70B+ em raciocínio de domínio aberto, mas serve a um nicho específico na análise de ameaças aumentada por ferramentas e implantada on-premise.