Towards Small Language Models for Security Query Generation in SOC Workflows

Resumo Técnico: Modelos de Linguagem Pequenos (SLMs) para Geração de Consultas de Segurança em Fluxos de Trabalho SOC

1. O Problema

Nos Centros de Operações de Segurança (SOCs), os analistas enfrentam volumes massivos de logs e alertas (médias de 5.000 a 100.000 por dia). Para investigar esses dados, eles utilizam a Kusto Query Language (KQL), a linguagem padrão em sistemas como Microsoft Sentinel e Defender.

• Desafio: Escrever consultas KQL corretas exige especialização técnica. Traduzir a intenção em linguagem natural (NLQ) para KQL sintaticamente e semanticamente correto é um gargalo crítico.
• Limitação das Soluções Atuais: Embora os Grandes Modelos de Linguagem (LLMs) possam automatizar essa tarefa, eles apresentam custos operacionais elevados, alta latência e desafios de governança de dados em ambientes empresariais.
• Oportunidade: Os Modelos de Linguagem Pequenos (SLMs), definidos como modelos com até 10 bilhões de parâmetros, oferecem menor latência e custo, mas sua eficácia na geração de código complexo (como KQL) em cenários ricos em esquema ainda não foi sistematicamente estudada.

2. Metodologia

Os autores propõem um framework de três "alavancas" (knobs) ortogonais para adaptar SLMs à tarefa de tradução NLQ-to-KQL:

A. Engenharia de Prompting (Prompting)

• Adaptação do NL2KQL: Reimplementaram o estado da arte (NL2KQL) substituindo componentes pesados por alternativas leves, mantendo a estrutura de recuperação e refinamento.
• Prompting Consciente de Erros (Error-Aware Prompting): Introduziram dicas específicas no prompt baseadas em falhas comuns do parser KQL (ex: delimitadores ausentes, parênteses malformados). Isso melhora a correção sintática sem aumentar o número de tokens.
• Recuperação de Esquema: Uso de um catálogo de dados semântico para recuperar tabelas e colunas relevantes antes da geração.

B. Ajuste Fino com LoRA e Distilação de Racional (LoRA Fine-Tuning)

• Técnica: Aplicaram Low-Rank Adaptation (LoRA) para ajustar um SLM (DeepSeek Coder 6.7B) congelando os pesos originais e treinando apenas adaptadores de baixo rank.
• Distilação de Racional: Para transferir o raciocínio de um modelo "professor" (LLM) para o SLM, cada par de dados (NLQ-KQL) foi enriquecido com uma breve explicação Chain-of-Thought (CoT). O modelo aprende não apenas a resposta final, mas o processo de raciocínio intermediário.

C. Arquitetura em Duas Etapas (Two-Stage SLM-Oracle)

• Geração (SLM): Um SLM (DeepSeek Coder 6.7B) gera candidatas de consultas KQL de forma rápida e barata.
• Refinamento e Seleção (Oracle): Um LLM leve e barato (Google Gemini 2.0 Flash) atua como um "Juiz" (Oracle). Ele recebe as candidatas do SLM, valida a sintaxe e a semântica usando o contexto do esquema, e refina ou seleciona a melhor consulta.
• Vantagem: Divide o trabalho: o SLM foca na velocidade de geração, enquanto o LLM foca na precisão, criando um equilíbrio entre eficiência e acurácia.

3. Contribuições Principais

1. Avaliação Sistemática: Primeiro estudo abrangente avaliando SLMs para tradução NLQ-to-KQL, estabelecendo baselines contra LLMs.
2. Framework de Otimização: Adaptação do NL2KQL para SLMs com componentes leves, introdução de error-aware prompting e aplicação de LoRA com distilação de raciocínio.
3. Arquitetura Híbrida Proposta: Desenvolvimento da arquitetura de duas etapas (SLM + Oracle) que combina a eficiência de custo dos SLMs com a precisão dos LLMs.
4. Resultados de Desempenho: Demonstração de que SLMs, quando combinados com refinamento leve, podem atingir desempenho próximo ao de LLMs com custos drasticamente reduzidos.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Microsoft NL2KQL Defender Evaluation (230 pares) e em dados de Microsoft Sentinel (83 consultas) para teste de generalização.

• Desempenho Zero-Shot: SLMs sozinhos performaram mal em tarefas semânticas (pontuação próxima de 0), frequentemente alucinando nomes de tabelas ou colunas.
• Impacto do Prompting e LoRA: O error-aware prompting melhorou a sintaxe, mas o ajuste fino com LoRA (mesmo com CoT) não superou significativamente as estratégias de prompting avançado neste cenário específico, possivelmente devido ao tamanho limitado do conjunto de dados de treinamento.
• Arquitetura em Duas Etapas (O Melhor Resultado):
  • No conjunto de dados Defender: 0.987 de precisão sintática e 0.906 de precisão semântica.
  • No conjunto de dados Sentinel (generalização): 0.964 de precisão sintática e 0.831 de precisão semântica.
• Custo e Latência: A abordagem proposta atingiu um custo de tokens até 10 vezes menor do que o uso direto do GPT-5, mantendo latência baixa e generalizando bem para esquemas não vistos.

5. Significância e Implicações

• Viabilidade para SOC: O estudo prova que SLMs são uma base prática e escalável para a geração de consultas de segurança em tempo real, superando as barreiras de custo e latência dos LLMs tradicionais.
• Padrão Operacional: Sugere um novo padrão para SOCs: usar SLMs locais ou privados para a geração inicial de consultas (drafts) e um LLM de baixo custo apenas para validação e refinamento final.
• Generalização: O framework é extensível para outras linguagens de consulta de segurança (como EQL e SPL) com ajustes mínimos, tornando a solução aplicável a diversos ecossistemas de segurança.

Em suma, o artigo demonstra que, com a arquitetura correta (Geração SLM + Refinamento LLM), é possível democratizar o acesso a consultas de segurança complexas, reduzindo drasticamente os custos operacionais sem sacrificar a precisão.