Technische Samenvatting: PrivCode++

Probleemstelling

Large Language Models (LLMs) die zijn gefinetuned op instructie-code paren, lopen het risico op het memoriseren en lekken van gevoelige trainingsdata, inclusief Persoonlijk Identificeerbare Informatie (PII) en propriëtaire logica. Hoewel Differential Privacy (DP) een principieel kader biedt om dit te mitigeren, lijden bestaande DP-codegeneratiemethoden onder een kritieke beperking: ze gaan ervan uit dat prompts (instructies) publiek zijn en behandelen alleen codefragmenten als gevoelig. In realistische scenario's bevatten prompts echter vaak gevoelige context, gebruikersspecifieke gegevens of interne taakbeschrijvingen.

Het behandelen van zowel prompts als code als gevoelig (een "joint-sensitive" setting) introduceert twee belangrijke uitdagingen:

1. Onhaalbaarheid van Expliciete Conditionering: Zonder toegang tot expliciete prompts tijdens de generatie, wordt het proces onconditioneel, wat leidt tot een ernstige degradatie van de bruikbaarheid en relevantie van de code.
2. Degradatie van Utiliteit en Diversiteit: Bestaande prompt-vrije generatiemethoden (bijv. latent-variabele of self-conditioning benaderingen) vertrouwen vaak op autoregressieve next-token likelihood maximalisatie. Dit concentreert de waarschijnlijkheidsmassa in gebieden met een hoge waarschijnlijkheid, wat resulteert in homogene outputs en verminderde diversiteit, een probleem dat wordt verergerd door de rigide syntactische en semantische beperkingen van programmeertalen.

Methodologie: PrivCode++

De auteurs stellen PrivCode++ voor, het eerste framework dat de exploratie van DP-codegeneratie onderzoekt waarbij zowel prompts als codefragmenten als gevoelig worden beschouwd. Het maakt gebruik van een tweestaps-pipeline die is ontworpen om privacy te beschermen terwijl de utiliteit en diversiteit hoog blijven.

Fase 1: Joint-Sensitive Privacy-Sanitizing

In deze fase wordt een "junior" LLM ($M_J$) gefinetuned onder DP-SGD samen met een Privacy-Free Latent Conditioning (PrivLC) module. Het doel is om een continue latente representatie te leren die taakniveau-semantiek en syntactische structuren inkapselt zonder expliciet de gevoelige prompts op te slaan of te benaderen.

• PrivLC Architectuur: De module bestaat uit een code-encoder ($E_c$), een prompt-encoder ($E_p$) en een prefix-decoder ($D$).
• Latente Encodering: De code-encoder aggregeert gecontextualiseerde representaties van het junior model om een stochastische latente distributie ($z_c$) te parametriseren volgens een Variational Autoencoder (VAE) formulering.
• Alignment: Een prompt-encoder verwerkt gevoelige instructies om een latente representatie ($z_p$) te produceren. Een contrastieve doelstelling stemt $z_c$ en $z_p$ af, waardoor de door code geïnduceerde latente ruimte de taakniveau-informatie (intentie, beperkingen) behoudt zonder tijdens de inferentie afhankelijk te zijn van de expliciete prompt.
• Training: Alle componenten worden gezamenlijk geoptimaliseerd onder DP-SGD. De prefix-decoder brengt de gesamplede latente variabele $z_c$ naar prefix-embeddings ($e_{prefix}$), die dienen als soft prompts om de autoregressieve generatie van code te conditioneren.

Fase 2: Utility-Boosting via DP Post-Processing

Deze fase synthetiseert hoogwaardige, privacy-vrije instructie-code paren met behulp van uitsluitend de DP-conforme outputs uit Fase 1, waarbij geen extra privacykosten worden gemaakt vanwege de post-processing eigenschap van DP.

1. Latent-Conditioned Synthese: Latente variabelen worden gesampled uit een standaard normale prior en gedecodeerd naar prefix-embeddings. Het junior model genereert codefragmenten geconditioneerd op deze embeddings.
2. Instructie Extractie: Een publieke LLM ($M_{ext}$) vat de gegenereerde codefragmenten samen in natuurlijke taal instructies, wat vormt tot synthetische instructie-code paren.
3. Filtering: De synthetische data ondergaat executie en round-trip filtering om syntactische correctheid en semantische consistentie te waarborgen.
4. Premium Model Fine-Tuning: Een groter "premium" model ($M_P$) wordt gefinetuned op de gefilterde synthetische dataset zonder DP-beperkingen, waarbij gebruik wordt gemaakt van de hoogwaardige, privacy-bewarende data om sterke prestaties te behalen.

Belangrijkste Bijdragen

1. Eerste Joint-Sensitive DP Codegeneratie: PrivCode++ is het eerste werk dat DP-codegeneratie aanpakt waarbij zowel prompts als code fragmenten als gevoelig worden beschouwd, waarmee de aanname dat prompts publiek zijn wordt overstegen.
2. Privacy-Free Latent Conditioning (PrivLC): De auteurs introduceren een module die continue latente representaties leert om expliciete prompt-conditionering te vervangen. Dit mitigeert de degradatie van de utiliteit die typisch is voor prompt-vrije generatie, terwijl formele privacygaranties behouden blijven.
3. Uitgebreide Evaluatie: Het framework wordt geëvalueerd over vier benchmarks (HumanEval, MBPP, BigCodeBench, EvalPlus) en meerdere LLM's, waarbij het superieure utiliteit demonstreert ten opzichte van bestaande joint-sensitive baselines en competitieve prestaties levert met methoden die de privacy-aannames versoepelen.

Experimentele Resultaten

• Utiliteit: PrivCode++ presteert consistent beter dan baselines in de joint-sensitive setting. Op instructie-volgende taken verbetert het de Pass@1 met maar liefst 8,2 punten, en op code-voltooiingstaken met tot wel 19,3 punten vergeleken met andere joint-sensitive beschermingsmethoden. Het blijft competitief met methoden die de privacy-aannames versoepelen (bijv. PrivCode).
• Privacy Bescherming: In canary leakage experimenten die prompt, code en joint canaries dekken, bereikt PrivCode++ 0% lekkage over alle instellingen en modellen. In contrast vertoonden eerdere methoden tot wel 40% categorie-niveau lekkage onder joint canary condities.
• Diversiteit en Getrouwheid: t-SNE visualisaties en kwantitatieve metrieken (BLEU, AST-Sim, Frechet Distance) tonen aan dat PrivCode++ diverse, semantisch consistente code produceert die de mode collapse vermijdt die gezien wordt bij onconditionele generatie, terwijl een hoge getrouwheid aan de oorspronkelijke datadistributie behouden blijft.
• Ablatie Studies: Het verwijderen van de latente alignment of de latente conditioning module resulteert in significante prestatiedalingen, wat de noodzaak van beide componenten voor effectieve joint-sensitive generatie valideert.

Betekenis en Claims

Het artikel beweert dat PrivCode++ een nieuw paradigma vestigt voor het leren van domeinspecifieke kennis uit gevoelige code-datasets onder strikte differential privacy garanties. Door de gevoelige prompts te ontkoppelen van het generatieproces via latente conditionering, maakt de methode de synthese van hoogwaardige code mogelijk zonder de privacy in gevaar te brengen.

De auteurs positioneren dit werk als een stap naar een meer verantwoorde adoptie van code-generatiesystemen in enterprise- en open-source ecosystemen, specif으로 gericht op het lekken van PII en propriëtaire logica die in zowel natuurlijke taal instructies als code-implementaties verborgen zit. Ze benadrukken dat hoewel DP-garanties aanvullend zijn aan bredere beveiligingspraktijken, PrivCode++ een sterkere, formele fundering biedt voor privacy in de deployment van code LLM's. De auteurs beweren niet alle privacyrisico's in softwareontwikkeling op te lossen, maar benadrukken dat hun methode effectief de memorisatie-gebaseerde lekkage mitigeert in de specifieke context van instructie-volgende codegeneratie.