Technische Samenvatting: Bescherming van Privécode in IDE Autocomplete met behulp van Differential Privacy

Probleemstelling

Moderne Integrated Development Environments (IDE's) vertrouwen steeds vaker op Large Language Models (LLM's) voor functies voor code-aanvulling. Hoewel deze modellen de productiviteit van ontwikkelaars verbeteren, introduceert het trainen van deze modellen op door gebruikers geschreven code aanzienlijke privacyrisico's. LLM's staan bekend om hun "memorizatie", waarbij ze gevoelige trainingsdata, zoals geheimen, wachtwoorden of propriëtaire algoritmen, letterlijk kunnen reproduceren wanneer de juiste prompt wordt gegeven. Recente studies hebben aangetoond dat kwaadwillende actoren dit kunnen exploiteren via Membership Inference Attacks (MIA's) om te bepalen of specifieke gevoelige codesnippets deel uitmaakten van de trainingsset van een model.

Huidige verdedigingsmechanismen zijn vaak onvoldoende, en hoewel Differential Privacy (DP) een wiskundig kader biedt voor privacy, is de praktische toepassing ervan in deep learning uitdagend. Het vereist doorgaans het berekenen van per-voorbeeld gradiënten (computationeel duurzaam) en het toevoegen van ruis die de bruikbaarheid (utility) van het model vermindert. Bovendien heeft bestaand DP-onderzoek zich grotendeits gericht op algemene taalmodellen, waardoor er een kritiek gat is ontstaan in het gespecialiseerde domein van codegeneratie, waar vóór dit werk nog geen code-aanvullend LLM met formele DP-garanties was ontwikkeld.

Methodologie

De auteurs stellen een framework voor om een groot, vooraf getraind code-aanvullend model te finetunen met behulp van formele Differential Privacy-garanties om interne, gevoelige coderepositories te beschermen.

• Basismodel: De studie maakt gebruik van Mellum, een 4-miljard-parameter, LLaMA-stijl Transformer die is voorgetraind op 4 biljoen tokens aan publieke code, met een specialisatie in Kotlin. Het model ondersteunt Fill-in-the-Middle (FIM), waardoor het code kan genereren op basis van zowel prefix- als suffix-contexten (bijv. <PRE>prefix<SUF>suffix<MID>).
• Finetuning Strategie: In plaats van alle modelparameters bij te werken, maken de auteurs gebruik van Low-Rank Adaptation (LoRA). Deze parameter-efficiënte techniek bevriest de vooraf getrainde parameters en injecteert trainbare low-rank matrices. Dit vermindert de dimensionaliteit van de gradiënten, wat het toevoegen van DP-ruis efficiënter maakt en hels bij het behouden van de bruikbaarheid van het model.
• Privacy Mechanisme: Het trainingsproces maakt gebruik van Differentially Private Stochastic Gradient Descent (DP-SGD). De workflow omvat:
  1. Per-voorbeeld Gradiëntberekening: Het berekenen van gradiënten voor elk voorbeeld in een batch.
  2. Gradient Clipping: Het beperken van de invloed van een enkel datapunt door de L2-norm van de gradiënten te knippen tot een drempelwaarde ($C=0.5$).
  3. Ruis Toevoegen: Het toevoegen van Gaussische ruis (met een ruismultiplier $\sigma=0.2746$) aan de gemiddelde geknipte gradiënten voordat het model wordt bijgewerkt.
  4. Privacy Accounting: Het bijhouden van de cumulatieve privacykosten om een definitieve $(\epsilon, \delta)$ garantie te waarborgen.
• Experimentele Opstelling:
  • Baseline: Een niet-private model (Mellum Int. Base) gefinetuned op 8 miljoen interne Kotlin-instanties.
  • Privaat Model: Een differentieel privaat model (Mellum Int. DP) gefinetuned op slechts 80.000 interne instanties (vanwege vroegtijdige stopzetting op basis van het privacybudget).
  • Hyperparameters: De optimale configuratie werd gevonden met een LoRA-rang van $r=8$ en een privacybudget van $\epsilon \approx 30$.

Belangrijkste Bijdragen

1. Eerste DP-beschermde Code LLM: Naar weten van de auteurs is dit de eerste code-aanvullende LLM die specifiek is ontworpen voor veilige IDE-integratie met behulp van formele DP-garanties.
2. Praktische Privacy-Utility Afweging: De studie demonstreert dat DP kan worden toegepast op grootschalige codemodellen met een minimale impact op de prestaties, zelfs wanneer het model 100x minder data gebruikt dan de niet-private baseline.
3. Robuuste Verdediging tegen MIA's: Het werk levert empirisch bewijs dat DP effectief MIA's neutraliseert in de context van codegeneratie.

Resultaten

De evaluatie richtte zich op twee dimensies: Utility (kwaliteit van codegeneratie) en Privacy (weerstand tegen MIA's).

• Privacy Prestaties (MIA Weerstand):
  • De niet-private baseline was zeer kwetsbaar voor MIA's, met een Area Under the Curve (AUC) van 0.901, wat aangeeft dat een aanvaller betrouwbaar trainingsdata van ongeziene data kan onderscheiden.
  • Het DP-getrainde model verminderde het succespercentage van de aanval naar een AUC van 0.606, wat dicht bij een willekeurige gok (0.5) ligt. Dit bevestigt dat het model de invloed van individuele trainingsvoorbeelden succesvol maskeert.
• Utility Prestaties:
  • Ondanks de privacybeperkingen en het gebruik van 100x minder trainingsdata, behield het DP-model een hoge utility.
  • Op een interne Kotlin-benchmark behaalde het DP-model scores die vergelijkbaar zijn met de niet-private baseline:
    • ChrF++: 74.78 (DP) vs. 75.26 (Niet-DP).
    • LLM-as-judge: 0.730 (DP) vs. 0.753 (Niet-DP).
    • LM Score: 0.613 (DP) vs. 0.643 (Niet-DP).
  • Het DP-model presteerde beter dan het oorspronkelijke pre-trained Mellum SFT-model over alle metrieken, wat suggereert dat DP-SGD kan fungeren als een sterke regularisator die de generalisatie bevordert.
• Trainingsdynamiek: Zoals verwacht vertoonde het DP-model een iets hogere validatieverlies door de injectie van ruis, waarbij het privacybudget ($\epsilon \approx 30$) geleidelijk werd verbruikt over de trainingsepoch.

Betekenis en Claims

Het paper claimt dat Differential Privacy een praktische en effectieve oplossing is voor het bouwen van betrouwbare, door AI aangedreven IDE-functies. De auteurs benadrukken dat hoewel hun uiteindelijke privacybudget ($\epsilon \approx 30$) hoger is dan de strikte drempels die vaak in theoretisch werk worden nagestreefd ($\epsilon \le 10$), het toch krachtige bescherming biedt in een real-world IDE-scenario. De studie concludeert dat zelfs met "ruimere" privacybudgetten, DP succesvol Membership Inference Attacks hindert, waardoor het voordeel van een aanvaller wordt teruggebracht tot dat van een willekeurige gok, zonder het vermogen van het model om ontwikkelaars te assisteren significant te schaden.

Het werk benadrukt dat de afweging tussen privacy en utility zeer gunstig is in dit domein, wat suggereert dat veilige, privacy-bewarende ontwikkelaarstools gebouwd kunnen worden zonder de kwaliteit van codesuggesties op te offeren. Toekomstig werk wordt voorgesteld om striktere privacybudgetten en training op grotere datasets te verkennen om deze balans verder te verfijnen.