CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

Título: CTIGuardian: Um Framework de Few-Shot para Mitigar Vazamento de Privacidade em LLMs Ajustados (Fine-Tuned)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são frequentemente ajustados (fine-tuned) em dados específicos de domínio, como Inteligência de Ameaças Cibernéticas (CTI), para melhorar o desempenho em tarefas especializadas. No entanto, esses conjuntos de dados proprietários frequentemente contêm informações sensíveis (ex: endereços IP internos, e-mails de funcionários, portas de rede, versões de software vulneráveis).

O risco principal é que os LLMs tendem a memorizar dados raros ou repetitivos do conjunto de treinamento. Adversários com acesso de "caixa-preta" podem explorar essa memorização através de ataques de extração de dados (usando prefixes cuidadosamente construídos) para fazer o modelo "regurgitar" informações confidenciais durante a inferência. As defesas existentes apresentam limitações:

• Sanitização pré-treinamento (NER): Ferramentas de Reconhecimento de Entidades Nomeadas (NER) falham em formatos específicos de CTI e em ofuscações.
• Privacidade Diferencial (DP): Adiciona ruído que degrada a utilidade do modelo.
• Esquecimento de Conhecimento (Unlearning): Exige re-treinamento custoso e acesso aos parâmetros internos do modelo, sendo impraticável em cenários colaborativos ou de caixa-preta.

2. Metodologia: CTIGuardian

Os autores propõem o CTIGuardian, uma abordagem de Alinhamento de Privacidade inspirada no alinhamento de segurança (safety alignment), mas focada em privacidade. Em vez de re-treinar o modelo base, o sistema atua como uma camada de supervisão pós-treinamento, utilizando aprendizado few-shot (poucos exemplos) para guiar o comportamento do modelo sem modificá-lo.

O framework consiste em dois componentes principais, ambos operando sobre o mesmo LLM subjacente (usado como classificador e redator):

1. Classificador de Privacidade (Privacy Classifier):

   • Atua como a primeira linha de defesa.
   • Analisa o prompt de entrada para determinar se é intrusivo (busca direta, indireta ou disfarçada de dados sensíveis) ou inofensivo.
   • Se classificado como "prejudicial", o sistema recusa a resposta; caso contrário, passa para o LLM ajustado.
   • Utiliza exemplos few-shot para categorizar solicitações (ex: "Solicitação direta de IP", "Solicitação disfarçada como acadêmica").

2. Redator de Privacidade (Privacy Redactor):

   • Atua como a segunda linha de defesa, processando a saída do modelo.
   • Detecta e remove informações sensíveis (IPs, e-mails, portas, domínios, versões de software) da resposta gerada.
   • Diferente de regras rígidas (regex), o redator usa few-shot learning para reescrita contextual. Ele não apenas substitui por marcadores (ex: <IP_Address>), mas reescreve a frase para manter a fluidez e coerência sem revelar o tipo de dado removido, dificultando ataques de reconstrução.

3. Contribuições Principais

• Construção do Dataset APTQA: Criação de um novo conjunto de dados de perguntas e respostas (QA) baseado em relatórios de Ameaças Persistentes Avançadas (APT), contendo informações sensíveis reais (mapeadas para CVEs e CWEs), preenchendo a lacuna de dados públicos para testes de vazamento em CTI.
• Demonstração de Vulnerabilidade: Prova empírica de que modelos ajustados em CTI memorizam e vazam dados sensíveis sob ataques de extração baseados em prefixos.
• Framework CTIGuardian: Proposta de uma solução de defesa em profundidade (defense-in-depth) que combina filtragem de entrada e sanitização de saída via few-shot prompting, eliminando a necessidade de re-treinamento custoso.
• Métricas de Utilidade Específicas: Definição de métricas para avaliar o equilíbrio entre privacidade e utilidade no domínio de CTI.

4. Resultados Experimentais

Os autores avaliaram o sistema usando modelos GPT-4o mini e Mistral-7B Instruct, comparando-os com uma linha de base baseada em NER (Microsoft Presidio).

• Eficácia na Redução de Vazamento:
  • O CTIGuardian reduziu drasticamente o vazamento de dados em todas as categorias (IPs, e-mails, portas, etc.).
  • O GPT-4o mini alcançou a melhor performance, removendo quase 100% de IPs, e-mails e domínios, com vazamento residual muito baixo para portas e versões de software.
  • O Mistral-7B também foi eficaz, mas com taxas de vazamento ligeiramente superiores às do GPT.
• Comparação com Presidio (Baseline):
  • O Presidio falhou em detectar entidades ofuscadas (ex: IPs com pontos substituídos por colchetes) e deixou vazamentos significativos.
  • O CTIGuardian generalizou bem para formatos ofuscados e não padronizados, graças à capacidade de inferência dos modelos few-shot.
• Preservação de Utilidade:
  • Enquanto o Presidio mantém a estrutura da frase mas revela o tipo de dado removido (ex: <Email_Address>), o CTIGuardian reescreve o texto de forma natural.
  • Métricas de similaridade semântica (Cosine Similarity, BLEU, ROUGE-L) mostraram que o GPT-4o mini preservou a coerência e o significado do texto original com alta fidelidade (ex: 97.6% de similaridade de cosseno no dataset APTQA), superando o Presidio na proteção real da privacidade sem sacrificar a legibilidade.
• Custo e Latência: A abordagem adicionou uma latência média baixa (aprox. 2.28s para GPT-4o mini) e um custo operacional mínimo, tornando-a viável para implantação.

5. Significado e Conclusão

O trabalho demonstra que é possível mitigar riscos de privacidade em LLMs ajustados sem o custo proibitivo de re-treinamento ou a perda de utilidade associada a métodos de ruído (DP). O CTIGuardian oferece um paradigma prático de "alinhamento de privacidade" que pode ser aplicado a qualquer LLM ajustado, independentemente do acesso aos seus parâmetros internos.

A solução é particularmente relevante para o domínio de Inteligência de Ameaças Cibernéticas, onde a troca de informações sensíveis entre organizações é vital para a defesa coletiva, mas o vazamento acidental de dados internos pode ser catastrófico. O framework é genérico o suficiente para ser adaptado a outros domínios sensíveis, como saúde e finanças.

Limitações e Trabalhos Futuros:

• A dependência de exemplos few-shot manuais pode não ser ótima para todas as arquiteturas de modelos.
• A abordagem atual é conservadora (remove tudo detectado), o que pode reduzir a utilidade em alguns casos; trabalhos futuros visam redação seletiva.
• A avaliação foi feita principalmente no modelo Llama-2-7B; futuras extensões devem validar a robustez em modelos maiores e mais diversos.