Resumo Técnico: Classificação de Documentos de Segurança com um Modelo de Linguagem Grande Local Ajustado Fino

Declaração do Problema

Organizações enfrentam um dilema crítico na Prevenção de Perda de Dados (DLP): ferramentas baseadas em regras existentes (por exemplo, regex, listas de palavras-chave) falham em classificar conteúdo sensível que depende de contexto, enquanto Modelos de Linguagem Grandes (LLMs) baseados em nuvem introduzem riscos de exposição de dados ao exigir que documentos sejam carregados em infraestrutura externa. As soluções atuais frequentemente sofrem de altas taxas de falsos positivos ao distinguir entre conteúdo instrucional/inofensivo e ameaças reais, ou carecem da capacidade de operar dentro de ambientes estritos de residência de dados e isolados de rede (air-gapped). Existe uma lacuna prática para um sistema que combine a compreensão contextual dos LLMs com as garantias de privacidade do processamento local.

Metodologia

1. Construção da Taxonomia e do Conjunto de Dados

O estudo define uma taxonomia de segurança hierárquica compreendendo 7 categorias de nível superior e 51 subcategorias, baseadas em NIST, MITRE ATT&CK, OWASP e frameworks de conformidade (GDPR, HIPAA, etc.). As categorias incluem Malicioso, Confidencial, Credenciais, PII (Informação Pessoalmente Identificável), Seguro, Financeiro e Médico.

Para treinar o modelo, um conjunto de dados de 78.358 amostras foi curado a partir de 13 fontes com licença permissiva ou de domínio público (por exemplo, NVD, SEC EDGAR, Corpus Enron) e aumentado com dados sintéticos.

• Aumento Sintético: O GPT-4 foi utilizado para gerar 33.100 amostras sintéticas e 6.400 amostras "falsas negativas difíceis" (por exemplo, documentos seguros com aparência perigosa) para testar casos de limite.
• Rebalanceamento: O conjunto de dados foi rebalanceado para limitar as subcategorias a 5.000 amostras, garantindo cobertura em toda a taxonomia.
• Formato: Os dados foram formatados no estilo de instrução Alpaca com um prompt de sistema fixo exigindo saída em JSON.

2. Arquitetura do Modelo e Treinamento

O sistema, denominado TorchSight, utiliza o Qwen 3.5 27B como modelo base.

• Ajuste Fino: O modelo foi ajustado fino usando LoRA (Adaptação de Baixa Classificação) com classificação $r=128$ e $\alpha=256$.
• Hardware: O treinamento utilizou 8× GPUs NVIDIA A100. A inferência foi projetada para hardware de consumo, especificamente executando em um Mac Apple Silicon de 32 GB com quantização q4_K_M (aproximadamente 17 GB de memória).
• Implementação do Sistema: O scanner foi escrito em Rust, suportando ~50 formatos de arquivo. Ele consulta uma instância local do Ollama via HTTP, garantindo que nenhum dado saia do ambiente local. As saídas são geradas em JSON, SARIF 2.1.0, HTML e PDF.

3. Protocolo de Avaliação

O estudo empregou um desenho comparativo controlado usando dois benchmarks:

1. TorchSight-Eval-1000: Um benchmark sintético estratificado cobrindo todas as 7 categorias, incluindo casos de limite de falsas negativas difíceis.
2. TorchSight-Eval-500-External: Um conjunto retido de 500 documentos do mundo real de conjuntos de dados públicos (NVD, NIST, MTSamples, etc.) explicitamente excluídos do treinamento.

Os modelos foram avaliados sob protocolos de prompt idênticos (temperatura = 0 para inferência determinística, exceto para GPT-5) contra:

• O modelo local ajustado fino (Beam).
• O modelo base Qwen 3.5 27B (não ajustado).
• APIs comerciais (GPT-5, Claude Sonnet/Opus 4, Gemini 2.5 Pro).
• Uma linha de base baseada em regras (48 padrões regex compilados).

Principais Resultados

Desempenho no Benchmark Primário (Eval-1000)

• Precisão: O Beam q4_K_M ajustado fino alcançou 95,0% de precisão no nível de categoria (IC 95%: 93,5–96,2).
• Comparação: Isso superou todos os modelos comerciais testados em 15–20 pontos percentuais (Faixa comercial: 75,4%–79,9%) e o modelo base Qwen 3.5 27B em 8,7 pontos percentuais.
• Falsos Positivos: Em documentos "Seguros", o Beam manteve uma taxa de falsos positivos de 2,0%. Em contraste, os modelos comerciais variaram de 22,4% a 63,2%, tornando-os operacionalmente difíceis para triagem rotineira.
• Adesão a Subcategorias: O Beam alcançou 48,2% de precisão em subcategorias, superando significativamente o modelo base (19,0%) e os modelos comerciais (11,6%–23,0%), indicando que o ajuste fino foi crucial para impor o esquema estrito de 51 subcategorias.

Desempenho na Validação Externa (Eval-500)

• O Beam alcançou 93,8% de precisão no conjunto retido externo, superando a linha de base comercial mais forte (Claude Sonnet 4 com 86,4%) em 7,4 pontos percentuais.
• O Beam demonstrou maior estabilidade entre os benchmarks (queda de apenas 1,2% do primário para o externo), enquanto o GPT-5 mostrou uma queda significativa de desempenho (11,1%).

Comparações de Ablação e Linha de Base

• Impacto do Ajuste Fino: O salto de 86,3% (base) para 95,0% (ajustado fino) destaca a necessidade de adaptação específica de domínio para adesão ao esquema.
• Regex vs. LLM: Uma linha de base apenas com regex alcançou apenas 52,7% de precisão geral, falhando completamente nas categorias "Confidencial" e "Médico" (0%), enquanto o Beam alcançou 100% e 68%, respectivamente. Isso demonstra que a classificação dependente de contexto não pode ser resolvida apenas por correspondência de padrões.

Significado e Alegações

O artigo afirma que o TorchSight conecta com sucesso a lacuna entre a alta precisão dos LLMs e os requisitos de privacidade de ambientes sensíveis.

• Controle Local: O sistema prova que um modelo local ajustado fino pode alcançar precisão superior às APIs comerciais de ponta, mantendo o processamento de documentos inteiramente dentro da infraestrutura local, eliminando riscos de saída de dados.
• Viabilidade Operacional: A baixa taxa de falsos positivos em documentos seguros (2,0%) sugere que o modelo é praticamente viável para triagem DLP, um domínio onde os LLMs comerciais atualmente lutam devido à super-sensibilidade.
• Contribuição de Código Aberto: O estudo fornece um pipeline completo e reproduzível, incluindo um conjunto de dados de 78 mil amostras, pesos do modelo e uma aplicação CLI/desktop baseada em Rust, abordando a falta de ferramentas DLP baseadas em LLM de código aberto ativamente mantidas.

Os autores notam modestamente limitações, incluindo o uso de dados sintéticos para categorias que carecem de benchmarks públicos (credenciais, financeiras, confidenciais), o uso de um único prompt para linhas de base comerciais e o foco em classificação de idioma inglês e rótulo único. Os resultados são apresentados como evidência de que o ajuste fino específico de domínio é um caminho viável para classificação segura de documentos de segurança local.