Sintesi Tecnica: Mitigazione della fuga di informazioni sensibili in LLMs4Code attraverso il Machine Unlearning

Problematica

I Large Language Models per il codice (LLMs4Code), come CodeLlama e AIXCoder, hanno dimostrato una significativa competenza nei compiti di generazione del codice. Tuttavia, questi modelli ereditano una vulnerabilità critica alla privacy nota come "problema della memorizzazione", in cui essi ritengono e riproducono involontariamente informazioni sensibili (ad es. dati identificativi personali, chiavi API, password) dai loro dati di addestramento. Sebbene studi recenti abbiano evidenziato questo rischio, vi è una mancanza di soluzioni complete che possano rimuovere efficacemente tali dati sensibili senza dover riaddestrare il modello da zero o degradarne le capacità di generazione del codice. La pulizia tradizionale dei dati durante il pre-processing è spesso poco flessibile e non scalabile. Di conseguenza, esiste la necessità di un meccanismo leggero, post-addestramento, per "dimenticare" specifici punti dati sensibili preservando l'utilità del modello.

Metodologia

Questo studio presenta la prima investigazione empirica completa sull'applicazione del Machine Unlearning (MU) per mitigare la fuga di informazioni sensibili in LLMs4Code. Gli autori hanno costruito un benchmark dedicato e hanno valutato tre algoritmi di unlearning rappresentativi su molteplici architetture di modelli.

1. Costruzione del Benchmark

Lo studio ha utilizzato un dataset a due componenti:

• Forget Set (Insieme da dimenticare): Un dataset sintetico contenente 5.000 curriculum di personaggi fittizi con diversi attributi sensibili (ad es. nomi, indirizzi, saldi bancari, password, opinioni politiche). Questi sono stati trasformati in prompt di completamento del codice utilizzando GPT-4 per allinearli alle funzionalità di LLM4Code. Il set è stato suddiviso con un rapporto 9:1 per l'addestramento (unlearning) e il test.
• Retain Set (Insieme da mantenere): 5.000 campioni tratti da dataset consolidati di generazione del codice (HumanEval, MBXP, LiveBench) per valutare la preservazione delle capacità generali di generazione del codice.

2. Tecniche di Unlearning Valutate

Tre algoritmi di unlearning allo stato dell'arte sono stati applicati al forget set monitorando contemporaneamente il retain set:

• Gradient Ascent (GA): Massimizza la perdita sul forget set per incoraggiare il modello a "dimenticare" specifici pattern associati a query sulla privacy.
• GA + Gradient Descent (GA+GD): Esegue simultaneamente il gradient ascent sul forget set e il gradient descent sul retain set per mantenere le prestazioni generali.
• GA + KL Divergence (GA+KL): Combina il gradient ascent sul forget set con la minimizzazione della divergenza di Kullback-Leibler (KL) rispetto a un modello di riferimento (fine-tuned solo sul retain set). Ciò funge da termine di regolarizzazione per preservare la distribuzione generativa del modello su input non sensibili.

3. Modelli e Metriche

Lo studio ha valutato queste tecniche su tre famiglie di LLMs4Code ampiamente utilizzate: AIXCoder, CodeLlama e CodeQwen, coprendo dimensioni di parametri da 1.5B a 34B.

• Metrica di Privacy: Leak Rate (Tasso di fuga), definito come la proporzione di campioni di test in cui sono presenti informazioni sensibili nell'output (valutato tramite revisione di esperti umani).
• Metrica di Utilità: Pass@1, che misura la correttezza funzionale del codice generato sul retain set.

Risultati Chiave

1. Efficacia dell'Unlearning

Il machine unlearning riduce significativamente la fuga diretta di privacy mantenendo le prestazioni di generazione del codice.

• Riduzione del Leak Rate: In tutti i modelli, le tecniche di unlearning hanno ridotto il tasso di fuga di oltre il 50% in media. Ad esempio, in AIXCoder-7B, il leak rate è sceso dal 23,2% (Zero-Shot) al 10,4% (GA+KL). Il metodo GA+GD ha costantemente ottenuto i tassi di fuga più bassi, riducendo il leak rate di CodeLlama-34B dal 32,7% al 5,0%.
• Preservazione delle Prestazioni: L'utilità dei modelli è rimasta ampiamente intatta. I punteggi Pass@1 hanno mostrato un degrado trascurabile (spesso entro l'1-2%), indicando che i modelli hanno mantenuto la loro capacità di generare codice funzionale. Ad esempio, CodeQwen-14B ha mantenuto un Pass@1 del 73,3% post-unlearning rispetto al 74,5% originale.

2. Spostamento delle Forme di Fuga

Un risultato critico è la trasformazione del comportamento di fuga post-unlearning:

• Strategie di Protezione: I modelli hanno adottato diverse strategie per evitare di rivelare valori sensibili, sostituendo più comunemente i campi sensibili con nomi di variabili o abbreviazioni (17,23%), restituendo le variabili senza valori (15,02%) o utilizzando segnaposto simbolici (11,48%).
• Fuga Indiretta: Mentre la Fuga di Privacy Diretta (richiesta esplicita di dati sensibili) è diminuita significativamente, la Fuga di Privacy Indiretta (rivelazione involontaria di dati sensibili correlati ma non richiesti) è aumentata. Ad esempio, in AIXCoder-7B, il rapporto di fuga indiretta è salito dal 51% (Zero-Shot) al 62% (GA+KL). Ciò suggerisce che, sebbene i modelli smettano di emettere stringhe memorizzate esplicitamente, possono ancora rivelare informazioni contestualmente correlate (ad es. rivelare l'email di un utente quando viene chiesta la sua password).

3. Analisi Fine-Grained

L'efficacia dell'unlearning è variata in base al tipo di dato:

• Dati Strutturati (Email, Password): I metodi basati sul gradiente (GA, GA+GD) sono stati altamente efficaci, riducendo la fuga a livelli vicini allo zero (ad es. la fuga di email in CodeLlama è scesa dal 6,01% allo 0,77%).
• Dati Dipendenti dal Contesto (Indirizzi): Questi hanno mostrato riduzioni meno consistenti, in particolare con la regolarizzazione KL, evidenziando la difficoltà di apprendere l'unlearning di pattern di dati diversificati e ricchi di contesto.
• Superiorità di GA+GD: L'approccio combinato Gradient Ascent e Gradient Descent ha superato costantemente gli altri sia per i dati strutturati che per quelli semi-strutturati.

Significato e Contributi

Il documento rivendica i seguenti contributi al campo:

1. Fattibilità del MU per LLMs4Code: Dimostra che il machine unlearning è una soluzione valida ed efficace per migliorare la privacy nei modelli di generazione del codice, capace di ridurre i tassi di fuga diretta di oltre il 50% con effetti collaterali trascurabili sulla qualità della generazione del codice.
2. Identificazione della Fuga Indiretta: Lo studio scopre una vulnerabilità precedentemente poco esplorata in cui l'unlearning sposta la fuga dalla forma diretta a quella indiretta. Ciò implica che i futuri processi di unlearning devono affrontare non solo la memorizzazione esplicita, ma anche le associazioni contestuali per garantire una privacy robusta.
3. Benchmark Completo: Gli autori forniscono il primo benchmark dedicato per valutare l'unlearning in LLMs4Code, includendo un forget set sintetico e un retain set, insieme all'accesso pubblico a tutto il codice e ai dati.
4. Guida Pratica: I risultati suggeriscono che GA+GD è la strategia più robusta per bilanciare privacy e utilità, offrendo un'alternativa pratica al riaddestramento completo per le organizzazioni che distribuiscono LLMs4Code.

Gli autori concludono che, sebbene il machine unlearning sia un passo promettente verso la governance della privacy in LLMs4Code, l'emergere della fuga indiretta indica che il campo richiede ulteriori ricerche su strategie di unlearning olistiche che possano affrontare simultaneamente sia i rischi di privacy diretti che quelli indiretti.