PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees

Resumo Técnico: PrivCode++

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) ajustados com pares de instrução–código correm o risco de memorizar e vazar dados de treinamento sensíveis, incluindo Informações de Identificação Pessoal (PII) e lógica proprietária. Embora a Privacidade Diferencial (DP) ofereça um framework principiológico para mitigar isso, os métodos existentes de geração de código com DP sofrem de uma limitação crítica: eles assumem que os prompts (instruções) são públicos e tratam apenas os trechos de código como sensíveis. Em cenários realistas, os prompts frequentemente contêm contexto sensível, dados específicos do usuário ou descrições de tarefas internas.

Tratar tanto os prompts quanto o código como sensíveis (um cenário de "sensibilidade conjunta") introduz dois grandes desafios:

1. Inviabilidade de Condicionamento Explícito: Sem acesso a prompts explícitos durante a geração, o processo torna-se incondicional, levando a uma severa degradação na utilidade e relevância do código.
2. Degradação de Utilidade e Diversidade: Métodos de geração sem prompt (ex: abordagens de variável latente ou autocondicionamento) frequentemente dependem da maximização da verossimilhança do próximo token autorregressivo. Isso concentra a massa de probabilidade em regiões de alta verossimilhança, resultando em saídas homogêneas e redução da diversidade, um problema exacerbado pelas restrições sintáticas e semânticas rígidas das linguagens de programação.

Metodologia: PrivCode++

Os autores propõem o PrivCode++, o primeiro framework para explorar a geração de código com DP onde tanto os prompts quanto os trechos de código são tratados como sensíveis. Ele emprega um pipeline de dois estágios projetado para proteger a privacidade enquanto mantém alta utilidade e diversidade.

Estágio 1: Sanitização de Privacidade de Sensibilidade Conjunta

Neste estágio, um LLM "júnior" ($M_J$) é ajustado sob DP-SGD junto com um módulo de Condicionamento Latente Livre de Privacidade (PrivLC). O objetivo é aprender uma representação latente contínua que encapsule semânticas de nível de tarefa e estruturas sintáticas sem armazenar ou acessar explicitamente os prompts sensíveis.

• Arquitetura PrivLC: O módulo consiste em um codificador de código ($E_c$), um codificador de prompt ($E_p$) e um decodificador de prefixo ($D$).
• Codificação Latente: O codificador de código agrega representações contextualizadas do modelo júnior para parametrizar uma distribuição latente estocástica ($z_c$) seguindo uma formulação de Autoencoder Variacional (VAE).
• Alinhamento: Um codificador de prompt processa instruções sensíveis para produzir uma representação latente ($z_p$). Um objetivo contrastivo alinha $z_c$ e $z_p$, garantindo que o espaço latente induzido pelo código preserve a informação de nível de tarefa (intenção, restrições) sem depender do prompt explícito durante a inferência.
• Treinamento: Todos os componentes são otimizados conjuntamente sob DP-SGD. O decodificador de prefixo mapeia a variável latente amostrada $z_c$ em embeddings de prefixo ($e_{prefix}$), que servem como prompts suaves para condicionar a geração autorregressiva de código.

Estágio 2: Aumento de Utilidade via Pós-processamento DP

Este estágio sintetiza pares de instrução–código de alta qualidade, livres de privacidade, usando apenas os outputs conformes à DP do Estágio 1, incorrendo em nenhum custo de privacidade adicional devido à propriedade de pós-processamento da DP.

1. Síntese Condicionada por Latente: Variáveis latentes são amostradas de uma priori normal padrão e decodificadas em embeddings de prefixo. O modelo júnior gera trechos de código condicionados a esses embeddings.
2. Extração de Instrução: Um LLM público ($M_{ext}$) resume os trechos de código gerados em instruções de linguagem natural, formando pares de instrução–código sintéticos.
3. Filtragem: Os dados sintéticos passam por execução e filtragem de ida e volta (round-trip) para garantir correção sintática e consistência semântica.
4. Ajuste de Modelo Premium: Um modelo "premium" maior ($M_P$) é ajustado no dataset sintético filtrado sem restrições de DP, aproveitando os dados de alta qualidade e preservadores de privacidade para alcançar um desempenho robusto.

Principais Contribuições

1. Geração de Código com DP de Sensibilidade Conjunta: O PrivCode++ é o primeiro trabalho a abordar a geração de código com DP onde tanto prompts quanto código são considerados sensíveis, indo além da suposição de que os prompts são públicos.
2. Condicionamento Latente Livre de Privacidade (PrivLC): Os autores introduzem um módulo que aprende representações latentes contínuas para substituir o condicionamento de prompt explícito. Isso mitiga a degradação de utilidade tipicamente associada à geração sem prompt, mantendo garantias formais de privacidade.
3. Avaliação Abrangente: O framework é avaliado em quatro benchmarks (HumanEval, MBPP, BigCodeBench, EvalPlus) e múltiplos LLMs, demonstrando utilidade superior comparado a baselines de proteção de sensibilidade conjunta e performance competitiva com métodos de privacidade relaxada.

Resultados Experimentais

• Utilidade: O PrivCode++ supera consistentemente os baselines no cenário de sensibilidade conjunta. Em tarefas de seguimento de instrução, ele melhora o Pass@1 em até 8.2 pontos e em tarefas de completamento de código em até 19.3 pontos em comparação com outros métodos de proteção de sensibilidade conjunta. Ele permanece competitivo com métodos que relaxam suposições de privacidade (ex: PrivCode).
• Proteção de Privacidade: Em experimentos de vazamento de canário cobrindo prompt, código e canário conjunto, o PrivCode++ alcança 0% de vazamento em todos os cenários e modelos. Em contraste, métodos anteriores exibiram até 40% de vazamento de nível de categoria sob condições de canário conjunto.
• Diversidade e Fidelidade: Visualizações t-SNE e métricas quantitativas (BLEU, AST-Sim, Distância de Frechet) mostram que o PrivCode++ produz códigos diversos e semanticamente consistentes que evitam o colapso de modo visto na geração incondicional, mantendo alta fidelidade à distribuição original dos dados.
• Estudos de Ablação: Remover o alinhamento latente ou o módulo de condicionamento latente resulta em quedas significativas de desempenho, validando a necessidade de ambos os componentes para uma geração eficaz de sensibilidade conjunta.

Significância e Alegações

O artigo afirma que o PrivCode++ estabelece um novo paradigma para aprender conhecimento de domínio específico de datasets de código sensíveis sob garantias rigorosas de privacidade diferencial. Ao desacoplar prompts sensíveis do processo de geração via condicionamento latente, o método permite a síntese de código de alta utilidade sem comprometer a privacidade.

Os autores posicionam este trabalho como um passo em direção à adoção mais responsável de sistemas de geração de código em ecossistemas empresariais e de código aberto, abordando especificamente o vazamento de PII e lógica proprietária residindo tanto em instruções de linguagem natural quanto em implementações de código. Eles enfatizam que, embora as garantias de DP complementem práticas de segurança mais amplas, o PrivCode++ fornece uma base formal e mais forte para a privacidade na implantação de LLMs de código. Os autores não alegam resolver todos os riscos de privacidade no desenvolvimento de software, mas destacam que seu método mitiga efetivamente o vazamento baseado em memorização no contexto específico de geração de código com seguimento de instrução.