Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

Resumo Técnico: Decomposição da Redução de Memorização na Fine-Tuning Preservadora de Privacidade para SLMs em CSIRTs

Definição do Problema
As Equipes de Resposta a Incidentes de Segurança Computacional (CSIRTs) utilizam cada vez mais Modelos de Linguagem Pequenos (SLMs) para a triagem de varreduras de vulnerabilidades. No entanto, os registros operacionais contêm dados de topologia interna sensíveis (IPs, nomes de host, nomes de ativos) que, se memorizados pelos modelos durante a fine-tuning, criam riscos de privacidade sob regulamentações como o GDPR e a LGPD. Embora existam defesas como DP-SGD (Privacidade Diferencial) e pseudonimização criptográfica, a interação empírica delas no contexto específico de fine-tuning de SLMs de 1 a 3 bilhões de parâmetros em dados estruturados de CSIRT permanece inexplorada. Trabalhos anteriores focaram majoritariamente em modelos maiores, benchmarks de uso geral ou na avaliação de defesas isoladamente, em vez de sua composição.

Metodologia
Os autores conduziram um estudo empírico envolvendo quatro SLMs de pesos abertos (Gemma 3 1B, Qwen3 1.7B, Llama 3.2 3B e VaultGemma 1B) submetidos a fine-tuning em um conjunto de dados sintético de 70.951 registros de vulnerabilidade (Mock CAIS) derivados de dados do scanner Tenable. O estudo utilizou 96 adaptadores LoRA através de quatro regimes de treinamento distintos para isolar as contribuições marginais de vários mecanismos:

1. V0 (Raw/Bruto): Baseline desprotegido utilizando pesos em bf16.
2. V1 (Stack): Adiciona QLoRA (quantização de 4 bits) e grandes lotes de processamento (lote efetivo de 32 via acumulação de gradiente).
3. V2 (ε=8): Adiciona DP-SGD com Ghost Clipping ao V1.
4. V3 (ε=2): Um orçamento de DP-SGD mais rigoroso.

O estudo empregou um protocolo de "ataque duplo" para avaliar a memorização:

• Ataque 1: Consulta o modelo para recuperar identificadores originais (canários) plantados nos dados de treinamento.
• Ataque 2: Consulta o modelo para recuperar o "slug" pseudonimizado via HMAC (ex: [IP_ADDRESS_6975bab4]) gerado pela ferramenta de pré-processamento AnonShield.

A memorização foi medida usando métricas de exposição (baseadas em log-rank) e Ataques de Inferência de Membros (MIA) baseados em perda (loss) através de 20 canários plantados, replicados 10 vezes cada. A utilidade foi avaliada via classificação de severidade baseada em logits (buckets de CVSS) em dados não vistos (held-out).

Principais Contribuições

1. Decomposição da Redução de Memorização: O estudo demonstra que a redução na memorização observada ao transitar do fine-tuning bruto para um "stack" de QLoRA e grandes lotes é impulsionada primariamente pela redução no número de atualizações do otimizador (menos passos), e não pelos mecanismos de privacidade em si. Controles de atualizações correspondentes reproduziram 66–132% (média de 100%) da redução de memorização vista na transição V0→V1 apenas reduzindo a contagem de atualizações.
2. Composição de Defesas: O artigo avalia a composição de DP-SGD e pseudonimização HMAC. Conclui-se que o DP-SGD adiciona garantias formais de $(\epsilon, \delta)$, mas não proporciona uma redução adicional significativa na memorização além do que já é alcançado pela redução de atualizações do otimizador no regime V1.
3. Eficácia da Pseudonimização: A pseudonimização HMAC remove com sucesso o identificador original da superfície de exposição (reduzindo a exposição em 40–61% no regime bruto) sem criar um alvo secundário de memorização. A exposição do próprio slug HMAC permanece dentro de ±0,65 bits do nível de chance em todos os modelos e variantes.
4. Identificação do Gap de Utilidade: Sob o orçamento de treinamento avaliado (3 épocas, 3.200 registros), os SLMs de 1–3B falham em atingir utilidade operacional para classificação de severidade, com pontuações F1 variando entre 0,19 e 0,28. Isso indica um "gap condicional ao orçamento", onde esses modelos não convergem para níveis de desempenho úteis para esta tarefa específica, independentemente do regime de privacidade.

Resultados

• Memorização: A transição de V0 para V1 reduziu a exposição média em 36–66%. No entanto, adicionar DP-SGD (V2, V3) não gerou reduções estatisticamente significativas adicionais após a correção das taxas de falsa descoberta.
• Pseudonimização: No regime bruto (V0), a pseudonimização HMAC reduziu a exposição dos canários originais em 40–61%. Crucialmente, o modelo não memorizou os slugs HMAC; a exposição do slug permaneceu próxima à linha de base aleatória (aprox. 1 bit) em todas as 16 células de modelo-variante.
• Utilidade: As pontuações F1-macro para classificação de severidade permaneceram baixas (0,19–0,28) em todos os 96 adaptadores, mal excedendo a linha de base "sempre-Médio" (0,125) e muito abaixo dos limiares operacionais (≥0,5). A engenharia de prompt nos modelos base mostrou utilidade baixa semelhante, confirmando que o gap não é apenas um artefato de fine-tuning, mas uma limitação do tamanho do modelo e da formulação da tarefa sob o orçamento dado.
• Perigo de Implantação: O estudo identificou um problema de compatibilidade onde o DP-SGD falha em arquiteturas de SLM multimodais (ex: Gemma 4, Qwen3-VL) porque os módulos de atenção para torres de não-texto não recebem gradientes, causando o aborto do otimizador. Isso exige o uso de regex de exclusão específicos para a arquitetura.

Significância e Alegações
O artigo afirma ser o primeiro estudo empírico a decompor a redução de memorização em SLMs de 1–3B submetidos a fine-tuning em dados estruturados de CSIRT sob defesas compostas. Sua principal significância reside em esclarecer que:

• As atualizações do otimizador são o fator dominante: O benefício percebido dos "stacks" preservadores de privacidade (QLoRA + batching) é amplamente um subproduto da redução de passos de treinamento, não do mecanismo de privacidade em si.
• A pseudonimização é segura: A pseudonimização criptográfica esconde efetivamente os identificadores originais sem transferir o risco de memorização para os pseudônimos.
• Limitações Operacionais: Os atuais SLMs de 1–3B, mesmo com fine-tuning, podem não ser operacionalmente viáveis para tarefas de classificação de vulnerabilidade estruturada sob restrições de hardware on-premise padrão, sugerindo a necessidade de modelos maiores ou diferentes formulações de tarefas.

Os autores declaram explicitamente que suas descobertas são específicas para o regime de 1–3B e dados estruturados, e não alegam que esses resultados se generalizam para modelos maiores (≥7B) ou dados narrativos não estruturados, onde trabalhos anteriores sugerem maior utilidade.