PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees

Riepilogo Tecnico: PrivCode++

Definizione del Problema

I Large Language Models (LLM) sottoposti a fine-tuning su coppie istruzione-codice rischiano di memorizzare e far trapelare dati sensibili di addestramento, inclusi Informazioni PII (Personally Identifiable Information) e logiche proprietarie. Sebbene la Differential Privacy (DP) offra un quadro rigoroso per mitigare questo rischio, i metodi esistenti di generazione di codice con DP soffrono di un limite critico: assumono che i prompt (istruzioni) siano pubblici e trattano solo gli snippet di codice come sensibili. In scenari realistici, i prompt contengono spesso contesti sensibili, dati specifici dell'utente o descrizioni di task interni.

Trattare sia i prompt che il codice come sensibili (un setting "joint-sensitive") introduce due sfide principali:

1. Infeasibilità del Condizionamento Esplicito: Senza l'accesso ai prompt espliciti durante la generazione, il processo diventa incondizionato, portando a un grave degrado dell'utilità e della rilevanza del codice.
2. Degrado di Utilità e Diversità: I metodi di generazione privi di prompt (ad esempio, approcci basati su variabili latenti o self-conditioning) spesso si affidano alla massimizzazione della verosimiglianza del next-token autoregressivo. Questo concentra la massa di probabilità nelle regioni ad alta verosimiglianza, risultando in output omogenei e con ridotta diversità, un problema esacerbato dai rigidi vincoli sintattici e semantici dei linguaggi di programmazione.

Metodologia: PrivCode++

Gli autori propongono PrivCode++, il primo framework che esplora la generazione di codice con DP dove sia i prompt che gli snippet di codice sono trattati come sensibili. Utilizza una pipeline a due stadi progettata per proteggere la privacy mantenendo un'alta utilità e diversità.

Stadio 1: Sanitizzazione della Privacy Joint-Sensitive

In questa fase, un LLM "junior" ($M_J$) viene sottoposto a fine-tuning sotto DP-SGD insieme a un modulo di Privacy-Free Latent Conditioning (PrivLC). L'obiettivo è apprendere una rappresentazione latente continua che incapsuli le semantiche a livello di task e le strutture sintattiche senza accedere esplicitamente ai prompt sensibili.

• Architettura PrivLC: Il modulo consiste in un encoder del codice ($E_c$), un encoder del prompt ($E_p$) e un decoder di prefisso ($D$).
• Codifica Latente: L'encoder del codice aggrega le rappresentazioni contestualizzate dal modello junior per parametrizzare una distribuzione latente stocastica ($z_c$) seguendo una formulazione VAE (Variational Autoencoder).
• Allineamento: Un encoder del prompt elabora le istruzioni sensibili per produrre una rappresentazione latente ($z_p$). Un obiettivo contrastivo allinea $z_c$ e $z_p$, assicurando che lo spazio latente indotto dal codice preservi le informazioni a livello di task (intento, vincoli) senza fare affidamento sul prompt esplicito durante l'inferenza.
• Addestramento: Tutti i componenti sono ottimizzati congiuntamente sotto DP-SGD. Il decoder di prefisso mappa la variabile latente campionata $z_c$ in embedding di prefisso ($e_{prefix}$), che fungono da soft prompt per condizionare la generazione autoregressiva del codice.

Stadio 2: Boosting dell'Utilità tramite DP Post-Processing

Questa fase sintetizza coppie istruzione-codice di alta qualità utilizzando solo gli output conformi alla DP dello Stadio 1, senza incorrere in costi di privacy aggiuntivi grazie alla proprietà di post-processing della DP.

1. Sintesi Condizionata dal Latente: Le variabili latenti vengono campionate da una prior normale standard e decodificate in embedding di prefisso. Il modello junior genera snippet di codice condizionati da questi embedding.
2. Estrazione delle Istruzioni: Un LLM pubblico ($M_{ext}$) riassume gli snippet di codice generati in istruzioni in linguaggio naturale, formando coppie istruzione-codice sintetiche.
3. Filtraggio: I dati sintetici subiscono test di esecuzione e filtraggio round-trip per garantire la correttezza sintattica e la coerenza semantica.
4. Fine-Tuning del Modello Premium: Un modello "premium" più grande ($M_P$) viene sottoposto a fine-tuning sul dataset sintetico filtrato senza vincoli di DP, sfruttando i dati di alta qualità e a tutela della privacy per ottenere prestazioni elevate.

Contributi Chiave

1. Prima Generazione di Codice DP Joint-Sensitive: PrivCode++ è il primo lavoro che affronta la generazione di codice con DP dove sia i prompt che il codice sono considerati sensibili, andando oltre l'assunto che i prompt siano pubblici.
2. Privacy-Free Latent Conditioning (PrivLC): Gli autori introducono un modulo che apprende rappresentazioni latenti continue per sostituire il condizionamento esplicito del prompt. Ciò mitiga il degrado dell'utilità tipicamente associato alla generazione priva di prompt, mantenendo al contempo garanzie formali di privacy.
3. Valutazione Esaustiva: Il framework è valutato attraverso quattro benchmark (HumanEval, MBPP, BigCodeBench, EvalPlus) e molteplici LLM, dimostrando un'utilità superiore rispetto ai baseline joint-sensitive esistenti e prestazioni competitive con i metodi a privacy rilassata.

Risultati Sperimentali

• Utilità: PrivCode++ supera costantemente i baseline nel setting joint-sensitive. Nei compiti di seguire le istruzioni, migliora il Pass@1 fino a 8.2 punti, e nei compiti di completamento del codice fino a 19.3 punti rispetto agli altri metodi di protezione joint-sensitive. Rimane competitivo con i metodi che rilassano gli assunti di privacy (ad esempio, PrivCode).
• Protezione della Privacy: Negli esperimenti di canary leakage che coprono prompt, codice e canari congiunti, PrivCode++ raggiunge lo 0% di leakage in tutti i setting e i modelli. Al contrario, i metodi precedenti hanno mostrato fino al 40% di leakage a livello di categoria in condizioni di canari congiunti.
• Diversità e Fedeltà: Le visualizzazioni t-SNE e le metriche quantitative (BLEU, AST-Sim, Distanza di Frechet) mostrano che PrivCode++ produce codice diversificato e semanticamente coerente che evita il collasso della modalità visto nella generazione incondizionata, mantenendo al contempo un'alta fedeltà alla distribuzione originale dei dati.
• Studi di Ablazione: Rimuovere l'allineamento latente o il modulo di condizionamento latente comporta cali significativi nelle prestazioni, validando la necessità di entrambi i componenti per una efficace generazione joint-sensitive.

Significato e Rivendicazioni

Il paper sostiene che PrivCode++ stabilisce un nuovo paradigma per l'apprendimento di conoscenze specifiche del dominio da dataset di codice sensibili sotto rigorose garanzie di differential privacy. Decoupling (disaccoppiando) i prompt sensibili dal processo di generazione tramite il condizionamento latente, il metodo consente la sintesi di codice ad alta utilità senza compromettere la privacy.

Gli autori posizionano questo lavoro come un passo verso un'adozione più responsabile dei sistemi di generazione di codice negli ecosistemi aziendali e open-source, affrontando specificamente il leakage di PII e logiche proprietarie presenti sia nelle istruzioni in linguaggio naturale che nelle implementazioni del codice. Essi sottolineano che, sebbene la DP integri pratiche di sicurezza più ampie, PrivCode++ fornisce una base formale più forte per la privacy nel deployment di LLM per il codice. Gli autori non pretendono di risolvere tutti i rischi di privacy nello sviluppo software, ma evidenziano come il loro metodo mitighi efficacementamente il leakage basato sulla memorizzazione nel contesto specifico della generazione di codice con istruzioni.