🤖 AI

Toward Cybersecurity-Expert Small Language Models

O artigo apresenta o CyberPal 2.0, uma família de modelos de linguagem pequenos (4B–20B parâmetros) especialistas em cibersegurança, treinados em um conjunto de dados enriquecido por meio do pipeline SecKnowledge 2.0, que supera ou iguala modelos de fronteira como GPT-4o e o1 em tarefas fundamentais de investigação de ameaças e inteligência, mantendo um tamanho significativamente menor.

Autores originais: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Publicado 2026-07-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca de robôs gigantes e superinteligentes (Large Language Models, ou LLMs) que podem escrever poesia, resolver problemas matemáticos e conversar sobre quase tudo. Mas, se você pedir para eles agirem como um especialista em cibersegurança — caçando ameaças digitais, compreendendo técnicas de hacking complexas ou corrigindo brechas de segurança — eles frequentemente tropeçam. Eles podem dar palpites, alucinar fatos ou carecer do treinamento profundo e específico necessário para trabalhos de segurança de alto risco.

Este artigo apresenta o CyberPal 2.0, uma nova família de robôs "menores", porém altamente especializados, projetados especificamente para serem especialistas em cibersegurança. Veja como eles fizeram isso, explicado de forma simples:

1. O Problema: O "Generalista" vs. O "Especialista"

Pense nos grandes modelos famosos de IA (como o GPT-4 ou o o1) como clínicos gerais em um hospital. Eles são incrivelmente inteligentes e podem lidar com quase qualquer questão médica. No entanto, para uma doença complexa e rara (como um tipo específico de ataque cibernético), você realmente quer um cirurgião especialista que tenha passado anos estudando apenas aquela coisa específica.

O problema é que os modelos grandes são caros para operar, e enviar dados confidenciais de uma empresa para eles costuma violar regras de privacidade. Por isso, os autores quiseram construir um "cirurgião" que fosse pequeno o suficiente para caber no próprio porão de um hospital (on-premises), mas inteligente o suficiente para lidar com os casos de segurança mais difíceis.

2. O Ingrediente Secreto: "SecKnowledge 2.0" (O Campo de Treinamento)

Você não pode simplesmente ensinar um robô a ser um especialista em segurança dando a ele uma pilha de livros didáticos. Os autores construíram um campo de treinamento especial chamado SecKnowledge 2.0.

O Jeito Antigo: Imagine um professor pedindo a um aluno para explicar um conceito de segurança, e o aluno dá uma resposta curta e vaga.
O Jeito Novo (Especialista no Ciclo/Expert-in-the-Loop): Os autores criaram um sistema onde especialistas em segurança humanos atuam como treinadores. Eles não apenas escrevem as perguntas; eles projetam os passos exatos que o robô deve seguir para responder.
- Analogia: Em vez de apenas perguntar "Como eu conserto este vazamento?", o treinador diz: "Primeiro, verifique o material do cano. Segundo, olhe o manômetro de pressão. Terceiro, consulte o manual para essa válvula específica. Só então dê a resposta."
Os Verificadores de Fatos: Para impedir que o robô invente coisas (alucinações), o sistema força o robô a buscar evidências reais (como pesquisar em um banco de dados ou ler um relatório de segurança específico) antes de responder. É como um detetive que deve mostrar seu quadro de evidências antes de resolver o caso.

3. O Resultado: A Família CyberPal 2.0

O resultado é uma família de modelos variando de 4 bilhões a 20 bilhões de "neurônios" (parâmetros).

Pequeno, mas Poderoso: Mesmo o modelo menor (4B) é minúsculo comparado aos modelos gigantes (que podem ter centenas de bilhões de parâmetros), mas ele entrega muito acima do seu peso de classe.
O Desempenho: Quando testados em exames de segurança difíceis (como associar um relatório de erro a uma fraqueza específica ou identificar táticas de hackers), esses modelos pequenos:
- Superaram suas próprias versões "não treinadas" por uma margem enorme (7 a 14% melhor).
- Esmagaram outros modelos de segurança de código aberto.
- Igualaram ou superaram os maiores e mais caros modelos de "fronteira" (como o Sec-Gemini v1 do Google e o o1 da OpenAI) em tarefas essenciais, apesar de serem uma fração do tamanho deles.

4. Por Que Isso Importa (Segundo o Artigo)

O artigo afirma que esta abordagem resolve três grandes dores de cabeça para as empresas:

Privacidade: Você pode rodar esses modelos em seus próprios servidores sem enviar dados sensíveis para a nuvem.
Custo: Eles são muito mais baratos de operar do que os modelos gigantes.
Confiabilidade: Como são treinados com especialistas humanos e forçados a encontrar evidências reais, são menos propensos a cometer erros perigosos ou "inventar coisas".

Analogia de Resumo

Se os grandes modelos de IA são como atletas olímpicos que podem correr, nadar e saltar, o CyberPal 2.0 é como um cão de resgate especializado. Ele pode não ser capaz de fazer tudo o que um atleta olímpico consegue, mas se você precisar encontrar uma pessoa específica em um prédio desmoronado (uma ameaça cibernética específica), este cão é mais rápido, mais barato de alimentar e melhor treinado para esse trabalho exato do que o atleta.

Os autores disponibilizaram seus métodos de treinamento e o melhor modelo (a versão 20B) como código aberto, para que outras empresas possam construir seus próprios "cães de resgate" sem precisar começar do zero.

Resumo Técnico: Rumo a Modelos de Linguagem Pequenos Especialistas em Cibersegurança

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam transformando aplicações gerais, eles apresentam um atraso em domínios especializados como a cibersegurança devido à escassez de modelos de alta qualidade e conjuntos de dados específicos do domínio. A adoção de modelos comerciais de fronteira para operações de segurança apresenta desafios significativos: as rigorosas salvaguardas de segurança frequentemente limitam sua utilidade em fluxos de trabalho reais, os requisitos de conformidade restringem a integração de dados organizacionais sensíveis e o custo de processamento de volumes massivos de telemetria de segurança é proibitivo. Consequentemente, há uma necessidade crítica de Modelos de Linguagem Pequenos (SLMs) específicos de domínio que possam operar localmente (on-premises), garantir a privacidade dos dados e entregar raciocínio técnico profundo em segurança de rede, nuvem e aplicação sem o overhead dos modelos de escala de fronteira.

Metodologia

Os autores propõem o CyberPal 2.0, uma família de SLMs especialistas em cibersegurança variando de 4B a 20B de parâmetros. A inovação central reside no pipeline de dados de treinamento, SecKnowledge 2.0, que aprimora o conjunto de dados SecKnowledge original através de um processo de reformatação e enriquecimento em múltiplas etapas.

O Pipeline SecKnowledge 2.0

O pipeline vai além da reformatação padrão de dados ao integrar o direcionamento com especialista no ciclo (expert-in-the-loop) com automação impulsionada por LLM:

Definição de Formato com Especialista no Ciclo: Em vez de usar templates genéricos, o sistema emprega um fluxo de trabalho semiautomático onde especialistas definem estruturas de raciocínio (formatos) específicas para distintas tarefas de cibersegurança. Um LLM gera formatos candidatos baseados em descrições de tarefas e exemplos ilustrativos, que os especialistas então avaliam e refinam. Isso garante que os rastros de raciocínio estejam alinhados com a intenção do especialista e a lógica do domínio.
Fundamentação e Recuperação de Múltiplas Etapas: Para mitigar alucinações e garantir a precisão factual, o pipeline incorpora um componente de geração aumentada por recuperação (RAG). Para cada tarefa, o sistema gera consultas de busca, filtra-as por relevância, recupera resultados de bancos de dados vetoriais ou da web e os analisa para ancorar os passos de raciocínio em evidências externas.
Profundidade de Raciocínio Adaptativa: Os dados de treinamento são curados para incluir tanto exemplos de cadeia de pensamento (CoT) de longo formato e passo a passo para raciocínio complexo, quanto instruções concisas de resposta rápida para tarefas mais leves. Essa mistura ensina os modelos a adaptar seu esforço de raciocínio com base na dificuldade da tarefa.

Estratégia de Treinamento

Os modelos são ajustados finamente (fine-tuned) utilizando os modelos base Qwen3 (4B, 8B, 14B) e gpt-oss-20b como pontos de partida. Notavelmente, os autores descobriram que iniciar a partir de modelos base (pré-treinados, mas não pós-treinados/alinhados) rendeu um desempenho significativamente melhor do que começar de contrapartes pós-treinadas, particularmente em benchmarks de alto foco em raciocínio. O treinamento utiliza uma taxa de aprendizado de $4 \times 10^{-5}$ , um comprimento de contexto de 8192 e um tamanho de lote (batch size) de 3072 por duas épocas.

Principais Contribuições

Pipeline SecKnowledge 2.0: Um pipeline de enriquecimento de dados inovador que combina formatos de raciocínio orientados por esquema e definidos por especialistas com fundamentação de documentos de múltiplas fontes. Esta abordagem produz rastros de raciocínio de maior fidelidade e ancorados em tarefas em comparação com métodos de reformatação padrão.
Suíte de Modelos CyberPal 2.0: Uma família de SLMs de código aberto (4B–20B de parâmetros) especializados para operações de cibersegurança, capazes de lidar com detecção, investigação, caça de ameaças (threat hunting) e classificação de dados.
Avaliação Abrangente: Os modelos foram avaliados contra um conjunto rigoroso de benchmarks cobrindo governança, inteligência de ameaças, resposta a incidentes e geração de código seguro, incluindo comparações com modelos de fronteira de última geração (ex: GPT-4o, o1, o3-mini, Sec-Gemini v1).

Resultados

A avaliação demonstra que os modelos CyberPal 2.0 superam consistentemente seus modelos base e competem ou superam modelos de fronteira muito maiores:

Desempenho de Baseline: Em diversos benchmarks, os modelos CyberPal 2.0 alcançaram ganhos médios de 7–14% sobre seus respectivos modelos base. Em tarefas específicas como CTIBench-RCM (Mapeamento de Causa Raiz), os ganhos atingiram 16–31%.
Comparação com Modelos de Fronteira:
- Mapeamento de Causa Raiz (RCM): O modelo de 20 bilhões de parâmetros ficou em primeiro lugar, superando o Sec-Gemini v1, o1, o3-mini e o GPT-4o. O modelo de 4B ficou em segundo lugar.
- Conhecimento de Inteligência de Ameaças Cibernéticas (CTI): Os modelos ficaram em segundo lugar apenas para o Sec-Gemini v1, superando quase todos os outros modelos de fronteira testados, incluindo o o1.
- Eficiência: Apesar de serem uma fração do tamanho dos modelos de fronteira, o modelo de 20B igualou ou excedeu seu desempenho, enquanto o de 4B superou modelos significativamente maiores como Mistral Large e DeepSeek-v3.
Casos de Uso do Mundo Real: Em fluxos de trabalho aplicados, como o mapeamento de relatórios de ameaças para técnicas MITRE ATT&CK e a reavaliação de pontuações de severidade de CVE sob restrições de implantação específicas, os modelos mostraram melhorias consistentes sobre as bases (ex: +8,75% de precisão no mapeamento de ameaça-para-TTP para o modelo de 4B).
Geração de Código Seguro: Embora especializado em raciocínio de segurança, os modelos mantiveram capacidades robustas de geração de código seguro, com taxas de aprovação permanecendo próximas às suas bases de instrução, indicando que a especialização não comprometeu a segurança do código.

Significância e Alegações

O artigo afirma que o CyberPal 2.0 demonstra que SLMs compactos e específicos de domínio podem entregar capacidades de nível de fronteira para operações de segurança sem os custos associados de modelos de fronteira. Ao alavancar o pipeline SecKnowledge 2.0 — especificamente a combinação de estruturas de raciocínio definidas por especialistas e fundamentação de evidências — os autores mostram que dados de alta qualidade e especializados são mais impactantes do que simplesmente escalar o tamanho do modelo.

O trabalho aborda as restrições práticas das empresas, oferecendo modelos que são:

Implantáveis On-Premises: Atendendo às obrigações de privacidade e residência de dados.
Custo-efetivos: Processando volumes massivos de dados de segurança de forma eficiente.
Acionáveis: Fornecendo conclusões defensáveis e fundamentadas em evidências para investigação e resposta a ameaças.

Os autores enfatizam que sua abordagem prioriza a qualidade dos dados e o alinhamento específico do domínio sobre a contagem bruta de parâmetros, fornecendo um caminho viável para que empresas adotem IA avançada para operações de segurança defensiva. Os modelos, o pipeline e os benchmarks são lançados como código aberto para fomentar a reprodutibilidade e a adoção prática.