Resumo Técnico: Mitigação de Vazamento de Informações Sensíveis em LLMs4Code através de Desaprendizado de Máquina

Declaração do Problema

Modelos de Linguagem de Grande Escala para Código (LLMs4Code), como o CodeLlama e o AIXCoder, demonstraram uma proficiência significativa em tarefas de geração de código. No entanto, esses modelos herdam uma vulnerabilidade crítica de privacidade conhecida como o "problema da memorização", onde eles inadvertidamente retêm e reproduzem informações sensíveis (ex: Informações de Identificação Pessoal, chaves de API, senhas) de seus dados de treinamento. Embora estudos recentes tenham destacado esse risco, há uma falta de soluções abrangentes que possam remover efetivamente esses dados sensíveis sem retreinar o modelo do zero ou degradar suas capacidades de geração de código. A limpeza de dados tradicional durante o pré-processamento é frequentemente inflexível e não escalável. Consequentemente, há uma necessidade de um mecanismo leve de pós-treinamento para "esquecer" pontos de dados sensíveis específicos enquanto preserva a utilidade do modelo.

Metodologia

Este estudo apresenta a primeira investigação empírica abrangente aplicando o Desaprendizado de Máquina (Machine Unlearning - MU) para mitigar o vazamento de informações sensíveis em LLMs4Code. Os autores construíram um benchmark dedicado e avaliaram três algoritmos de desaprendizado representativos em múltiplas arquiteturas de modelos.

1. Construção do Benchmark

O estudo utilizou um conjunto de dados de dois componentes:

• Conjunto para Esquecer (Forget Set): Um conjunto de dados sintético contendo 5.000 currículos de personagens fictícios com diversos atributos sensíveis (ex: nomes, endereços, saldos bancários, senhas, visões políticas). Estes foram transformados em prompts de completamento de código usando o GPT-4 para alinhar com as funcionalidades de LLM4Code. O conjunto foi dividido em 9:1 para treinamento (desaprendizado) e teste.
• Conjunto para Manter (Retain Set): 5.000 amostras extraídas de conjuntos de dados estabelecidos de geração de código (HumanEval, MBXP, LiveBench) para avaliar a preservação das capacidades gerais de geração de código.

2. Técnicas de Desaprendizado Avaliadas

Três algoritmos de desaprendizado de última geração foram aplicados ao conjunto para esquecer enquanto monitoravam o conjunto para manter:

• Ascensão de Gradiente (Gradient Ascent - GA): Maximiza a perda no conjunto para esquecer para encorajar o modelo a "esquecer" padrões específicos associados a consultas de privacidade.
• GA + Descida de Gradiente (GA + Gradient Descent - GA+GD): Realiza simultaneamente a ascensão de gradiente no conjunto para esquecer e a descida de gradiente no conjunto para manter, a fim de manter o desempenho geral.
• GA + Divergência KL (GA + KL Divergence - GA+KL): Combina a ascensão de gradiente no conjunto para esquecer com a minimização da divergência de Kullback-Leibler contra um modelo de referência (ajustado apenas no conjunto para manter). Isso atua como um termo de regularização para preservar a distribuição generativa do modelo em entradas não sensíveis.

3. Modelos e Métricas

O estudo avaliou essas técnicas em três famílias de LLMs4Code amplamente utilizadas: AIXCoder, CodeLlama e CodeQwen, cobrindo tamanhos de parâmetros de 1.5B a 34B.

• Métrica de Privacidade: Taxa de Vazamento (Leak Rate), definida como a proporção de amostras de teste onde informações sensíveis estão presentes na saída (avaliada via revisão por especialistas humanos).
• Métrica de Utilidade: Pass@1, medindo a correção funcional do código gerado no conjunto para manter.

Principais Resultados

1. Eficácia do Desaprendizado

O desaprendizado de máquina reduz significativamente o vazamento direto de privacidade enquanto mantém o desempenho da geração de código.

• Redução da Taxa de Vazamento: Em todos os modelos, as técnicas de desaprendizado reduziram a taxa de vazamento em mais de 50% em média. Por exemplo, no AIXCoder-7B, a taxa de vazamento caiu de 23,2% (Zero-Shot) para 10,4% (GA+KL). O método GA+GD alcançou consistentemente as menores taxas de vazamento, reduzindo a taxa do CodeLlama-34B de 32,7% para 5,0%.
• Preservação de Desempenho: A utilidade dos modelos permaneceu amplamente intacta. As pontuações Pass@1 mostraram uma degradação negligenciável (frequentemente dentro de 1-2%), indicando que os modelos retiveram sua capacidade de gerar código funcional. Por exemplo, o CodeQwen-14B manteve um Pass@1 de 73,3% pós-desaprendizado comparado aos 74,5% originais.

2. Mudança nos Formas de Vazamento

Uma descoberta crítica é a transformação do comportamento de vazamento pós-desaprendizado:

• Estratégias de Proteção: Os modelos adotaram diversas estratégias para evitar o vazamento de valores sensíveis, sendo mais comuns a substituição de campos sensíveis por nomes de variáveis ou abreviações (17,23%), o retorno de variáveis sem valores (15,02%) ou o uso de marcadores simbólicos (11,48%).
• Vazamento Indireto: Enquanto o Vazamento de Privacidade Direta (dados sensíveis explicitamente solicitados) diminuiu significamente, o Vazamento de Privacidade Indireto (divulgação não pretendida de dados sensíveis relacionados, mas não solicitados) aumentou. Por exemplo, no AIXCoder-7B, a proporção de vazamento indireto subiu de 51% (Zero-Shot) para 62% (GA+KL). Isso sugere que, embora os modelos parem de produzir strings memorizadas exatas, eles ainda podem vazar informações contextualmente relacionadas (ex: vazar o e-mail de um usuário ao ser solicitado sua senha).

3. Análise Granular

A eficácia do desaprendizado variou por tipo de dado:

• Dados Estruturados (E-mails, Senhas): Métodos baseados em gradiente (GA, GA+GD) foram altamente eficazes, reduzindo o vazamento para níveis próximos de zero (ex: o vazamento de e-mail no CodeLlama caiu de 6,01% para 0,77%).
• Dados Dependentes de Contexto (Endereços): Estes mostraram reduções menos consistentes, particularmente com a regularização KL, destacando a dificuldade de desaprender padrões de dados diversos e com muito contexto.
• Superioridade do GA+GD: A abordagem combinada de Ascensão de Gradiente e Descida de Gradiente superou consistentemente as outras tanto para tipos de dados estruturados quanto semiestruturados.

Significância e Contribuições

O artigo reivindica as seguintes contribuições para o campo:

1. Viabilidade de MU para LLMs4Code: Demonstra que o desaprendizado de máquina é uma solução viável e eficaz para aumentar a privacidade em modelos de geração de código, capaz de reduzir as taxas de vazamento direto em mais de 50% com efeitos colaterais negligenciáveis na qualidade da geração de código.
2. Identificação do Vazamento Indireto: O estudo revela uma vulnerabilidade anteriormente pouco explorada onde o desaprendizado desloca o vazamento de formas diretas para formas indiretas. Isso implica que processos futuros de desaprendizado devem abordar não apenas a memorização explícita, mas também as associações contextuais para garantir uma privacidade robusta.
3. Benchmark Abrangente: Os autores fornecem o primeiro benchmark dedicado para avaliar o desaprendizado em LLMs4Code, incluindo um conjunto de esquecimento sintético e um conjunto de manutenção, juntamente com acesso público a todo o código e dados.
4. Orientação Prática: Os resultados sugerem que o GA+GD é a estratégia mais robusta para equilibrar privacidade e utilidade, oferecendo uma alternativa prática ao retreinamento total para organizações que implantam LLMs4Code.

Os autores concluem que, embora o desaprendizado de máquina seja um passo promissor em direção à governança de privacidade em LLMs4Code, o surgimento do vazamento indireto indica que o campo requer mais pesquisas em estratégias de desaprendizado holísticas que possam mitigar simultaneamente os riscos de privacidade diretos e indiretos.