Technische Samenvatting: Het beperken van lekken van gevoelige informatie in LLMs4Code door middel van Machine Unlearning

Probleemstelling

Large Language Models voor Code (LLMs4Code), zoals CodeLlama en AIXCoder, hebben een aanzienlijke bekwaamheid getoond in taken gerelateerd aan codegeneratie. Deze modellen erven echter een kritieke privacykwetsbaarheid die bekend staat als het "memorisatieprobleem", waarbij ze onbedoeld gevoelige informatie (bijv. persoonlijk identificeerbare informatie, API-sleutels, wachtwoorden) uit hun trainingsdata behouden en reproduceren. Hoewel recente studies dit risico al hebben benadrukt, ontbreekt het aan uitgebreide oplossingen die dergelijke gevoelige gegevens effectief kunnen verwijderen zonder het model vanaf nul opnieuw te trainen of de capaciteiten voor codegeneratie te verslechteren. Traditionele datacleaning tijdens de pre-processing fase is vaak inflexibel en niet schaalbaar. Daarom is er behoefte aan een lichtgewicht, post-training mechanisme om specifieke gevoelige datapunten te "vergeten" terwijl de bruikbaarheid van het model behouden blijft.

Methodologie

Deze studie presenteert de eerste uitgebreide empirische onderzoek naar het toepassen van Machine Unlearning (MU) om het lekken van gevoelige informatie in LLMs4Code te beperken. De auteurs hebben een toegewijde benchmark geconstrueerd en drie representatieve unlearning-algoritmen geëvalueerd over meerdere modelarchitecturen.

1. Constructie van de Benchmark

De studie maakte gebruik van een dataset met twee componenten:

• Forget Set: Een synthetische dataset met 5.000 fictieve personencurricula met diverse gevoelige attributen (bijv. namen, adressen, banktegoeden, wachtwoorden, politieke opvattingen). Deze werden met behulp van GPT-4 getransformeerd naar code-completion prompts om aan te sluiten bij de functionaliteiten van LLM4Code. De set werd gesplitst in een verhouding van 9:1 voor training (unlearning) en testen.
• Retain Set: 5.000 samples afkomstig van gevestigde datasets voor codegeneratie (HumanEval, MBXP, LiveBench) om het behoud van algemene codegeneratiecapaciteiten te evalueren.

2. Geëvalueerde Unlearning Technieken

Drie state-of-the-art unlearning-algoritmen werden toegepast op de forget set, terwijl de retain set werd gemonitord:

• Gradient Ascent (GA): Maximaliseert de loss op de forget set om het model aan te moedigen specifieke patronen die geassocieerd worden met privacy-queries te "vergeten".
• GA + Gradient Descent (GA+GD): Voert gelijktijdig gradient ascent uit op de forget set en gradient descent op de retain set om de algemene prestaties te handhaven.
• GA + KL Divergence (GA+KL): Combineert gradient ascent op de forget set met het minimaliseren van de Kullback-Leibler (KL) divergentie ten opzichte van een referentiemodel (dat alleen op de retain set is gefinetuned). Dit fungeert als een regularisatieterm om de generatieve distributie van het model op niet-gevoelige inputs te behouden.

3. Modellen en Metrieken

De studie evalueerde deze technieken op drie veelgebruikte LLMs4Code-families: AIXCoder, CodeLlama en CodeQwen, variërend in parametergrootte van 1.5B tot 34B.

• Privacy Metriek: Leak Rate, gedefinieerd als de proportie test-samples waarbij gevoelige informatie aanwezig is in de output (geëvalueerd via menselijke expert-review).
• Utility Metriek: Pass@1, die de functionele correctheid van de gegenereerde code op de retain set meet.

Belangrijkste Resultaten

1. Effectiviteit van Unlearning

Machine unlearning vermindert directe privacy-lekken aanzienlijk terwijl de codegeneratieprestaties behouden blijven.

• Reductie van de Leak Rate: Over alle modellen heen reduceerden unlearning-technieken de leak rate met meer dan 50% gemiddeld. Bijvoorbeeld, in AIXCoder-7B daalde de leak rate van 23,2% (Zero-Shot) naar 10,4% (GA+KL). De GA+GD methode behaalde consequent de laagste leak rates, waarbij de leak rate van CodeLlama-34B daalde van 32,7% naar 5,0%.
• Behoud van Prestaties: De bruikbaarheid van de modellen bleef grotendeels intact. Pass@1 scores vertoonden een verwaarloosbare degradatie (vaak binnen 1-2%), wat aangeeft dat de modellen hun vermogen behielden om functionele code te genereren. Bijvoorbeeld, CodeQwen-14B behield een Pass@1 van 73,3% na unlearning vergeleken met 74,5% oorspronkelijk.

2. Verschuiving in Lekvormen

Een cruciale bevinding is de transformatie van het lekgedrag na unlearning:

• Beschermingsstrategieën: Modellen adopteerden diverse strategieën om het lekken van gevoelige waarden te vermijden, het meest voorkomend was het vervangen van gevoelige velden door variabelenamen of afkortingen (17,23%), het retourneren van variabelen zonder waarden (15,02%), of het gebruik van symbolische placeholders (11,48%).
• Indirecte Lekken: Terwijl Directe Privacy-lekken (expliciet gevraagde gevoelige data) aanzienlijk afnamen, nam Indirecte Privacy-lekken (onbedoelde openbaarmaking van gerelateerde, niet-gevraagde gevoelige data) toe. Bijvoorbeeld, in AIXCoder-7B steeg de ratio van indirecte lekken van 51% (Zero-Shot) naar 62% (GA+KL). Dit suggereert dat hoewel modellen stoppen met het outputten van exacte gememoriseerde strings, ze nog steeds contextueel gerelateerde informatie kunnen lekken (bijv. het lekken van een e-mailadres van een gebruiker wanneer om hun wachtwoord wordt gevraagd).

3. Gedetailleerde Analyse

De effectiviteit van unlearning varieerde per datatype:

• Gestructureerde Data (E-mails, Wachtwoorden): Gradient-gebaseerde methoden (GA, GA+GD) waren zeer effectief en brachten de lekken terug tot bijna nul (bijv. e-mail lekkage in CodeLlama daalde van 6,01% naar 0,77%).
• Context-afhankelijke Data (Adressen): Deze vertoonden minder consistente reducties, vooral met KL-regularisatie, wat de moeilijkheid benadrukt van het unlearnen van diverse, contextrijke datapatronen.
• Superioriteit van GA+GD: De gecombineerde Gradient Ascent en Gradient Descent aanpak presteerde consequent beter dan andere methoden voor zowel gestructureerde als semi-gestructureerde datatypes.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen aan het vakgebied:

1. Haalbaarheid van MU voor LLMs4Code: Het demonstreert dat machine unlearning een levensvatbare en effectieve oplossing is voor het verbeteren van de privacy in codegeneratiemodellen, in staat om directe lekrates met meer dan 50% te verlagen met verwaarloosbare bijwerkingen op de kwaliteit van codegeneratie.
2. Identificatie van Indirecte Lekken: De studie legt een voorheen onderbelichte kwetsbaarheid bloot waarbij unlearning het lek verschuift van directe naar indirecte vormen. Dit impliceert dat toekomstige unlearning-processen niet alleen expliciete memorisatie moeten aanpakken, maar ook contextuele associaties om robuuste privacy te garanderen.
3. Uitgebreide Benchmark: De auteurs bieden de eerste toegewijde benchmark voor het evalueren van unlearning in LLMs4Code, inclusief een synthetische forget set en een retain set, samen met publieke toegang tot alle code en data.
4. Praktische Richtlijnen: De resultaten suggereren dat GA+GD de meest robuuste strategie is voor het balanceren van privacy en bruikbaarheid, wat een praktisch alternatief biedt voor volledige hertraining voor organisaties die LLMs4Code inzetten.

De auteurs concluderen dat hoewel machine unlearning een veelbelovende stap is richting privacy governance in LLMs4Code, de opkomst van indirecte lekken aangeeft dat het vakgebied verdere research vereist naar holistische unlearning-strategieën die tegelijkertijd zowel directe als indirecte privacyrisico's kunnen mitigeren.