Technische Samenvatting: Onbedoelde Memorisering van Gevoelige Informatie in Fine-Tuned Taalmodellen

Probleemdefinitie

Dit werk behandelt een kritieke, onderbelichte kwetsbaarheid in Large Language Models (LLMs): de onbedoelde memorisering van Persoonsgegevens (PII) die uitsluitend in de modelinputs voorkomen, maar niet in de trainingsdoelstellingen (targets).

Terwijl eerder onderzoek zich richtte op memorisering tijdens pre-training of in fine-tuning taken waarbij PII deel uitmaemt van de gewenste output (bijv. named entity recognition), isoleert deze studie scenario's waarin gevoelige gegevens (zoals patiëntnamen in medische dossiers) alleen in de inputcontext aanwezig zijn. In deze "input-only" scenario's vereist de downstream taak (bijv. diagnoseclassificatie of vervolgplanning) het niet uittypen van de PII door het model. Desondanks laten de auteurs zien dat fine-tuning (FT) op dergelijke gevoelige datasets ervoor zorgt dat modellen deze irrelevante PII internaliseren en vervolgens lekken wanneer ze via adversariële prompts worden bevraagd.

Het dreigingsmodel gaat uit van een black-box setting waarbij aanvallers toegang hebben tot het model via API-queries en over gedeeltelijke kennis beschikken van de fine-tuning dataset (bijv. geanonimiseerde elektronische patiëntendossiers), waardoor zij "True-Prefix Attacks" (TPA) kunnen uitvoeren om gememoriseerde tokens te extraheren.

Methodologie

Experimentele Opzet

De auteurs maken gebruik van drie verschillende datasets om memorisering te evalueren over variërende complexiteiten en domeinen:

1. GretelAI-Financial: Een synthetische, meertalige dataset (~30k samples, 7 talen) gericht op financiële tekstclassificatie.
2. Pathology Reports: 2.553 Duitse documenten die tumoranalyses samenvatten, handmatig geannoteerd voor PII.
3. Discharge Summaries (DS): 26.306 Duitse klinische rapporten gebruikt voor een taak gericht op het genereren van vervolgplannen, waarbij PII is geïdentificeerd via een meerfasige pipeline (regex, LLM-detectie, handmatige verificatie).

De primaire aanvalsvector is de True-Prefix Attack (TPA), waarbij een aanvaller een prefix uit de trainingsdata levert die direct voorafgaat aan een PII-span. Het model wordt als het de PII heeft gememoriseerd beschouwd als het de daaropvolgende tokens met een hoge waarschijnlijkheid voorspelt. Een Enhanced TPA variant voegt het eerste karakter van de PII toe aan de prefix om het succes van de extractie te vergroten.

Mitigatiestrategieën

Vier privacy-bewarende benaderingen worden gebenchmarkt om hun vermogen te beoordelen om PII-lekken te verminderen terwijl de taakprestaties behouden blijven:

1. Differential Privacy (DP): Integreert $(\epsilon, \delta)$-DP in QLoRA fine-tuning met behulp van Opacus, waarbij ruis wordt toegevoegd aan gradiëntupdates om de invloed van individuele samples te beperken.
2. Machine Unlearning (UnDial): Een gerichte unlearning-methode gebaseerd op zelf-distillatie. Het onderdrukt de logits voor specifieke PII-tokens in een disjunct deelverzameling van de trainingsdata om deze te "vergeten" zonder het model te destabiliseren.
3. Regularisatie: Een variant van UnDial die direct in de fine-tuning loop wordt geïntegreerd, waarbij een gerichte loss-functie wordt toegepast op enkel de PII-tokens om memorisering te ontmoedigen.
4. Direct Preference Optimization (DPO): Stemt de outputs van het model af op privacyvoorkeuren door de originele tekst met PII te behandelen als "afgewezen" (rejected) responsen en de gemaskeerde versies als "geprefereerde" (preferred) responsen.

Evaluatiemetrieken

• Taakprestaties: Accuracy (GretelAI), F1-score (Pathology), en BERTScore-F1 (DS).
• Memorizering: Gemeten via PII-extractieaantallen onder Greedy decoding, Sampling (32 runs, temperatuur 1.0), en Cross-memorizering (het vergelijken van generaties met alle PII van hetzelfde type in de dataset).

Belangrijkste Resultaten

Kenmerken van Input-Only Memorizering

• Verhoogde Zekerheid: Fine-tuned modellen vertonen een significant hogere zekerheid (lagere negatieve log-likelihood) bij het voorspellen van PII-tokens vergeleken met base-modellen, zelfs wanneer de PII irrelevant is voor de taak.
• Frequentie is een Slechte Voorspeller: In tegenstelling tot de aanname dat tokens met een hoge frequentie eerder worden gememoriseerd, vinden de auteurs een zwakke correlatie ($R^2 = 0,237$) tussen het werkelijke aantal instanties van een PII in de trainingsset en de succesvolle extractie ervan. Memorizering lijkt meer afhankelijk van de tekstuele context en de bruikbaarheid van de taak dan van de ruwe frequentie.
• Taalafhankelijkheid: De memoriseringspercentages variëren aanzienlijk per taal. In meertalige training vertoonden Engels en Spaans significant hogere extractiepercentages dan Duits, Italiaans en Zweeds.
• Schaaleffecten: Grotere modellen (bijv. 8B–12B parameters) vertonen een hogere baseline-capaciteit om PII te onthullen. Echter, het effect van fine-tuning op memorizering is niet uniform; terwijl kleinere modellen (1B–3B) een scherpe toename in lekken laten zien na FT, vertonen grotere modellen soms een minder sterke relatieve toename in het aantal ruwe extracties, hoewel het absolute volume aan gelekte PII hoog blijft.

Effectiviteit van Mitigatiestrategieën

• Post-Training Methoden (DPO, UnDial): Deze methoden bieden over het algemeen de meest consistente privacy–utiliteit-afwegingen. Ze zijn robuust tegen hyperparameter-variaties en minder resource-intensief. DPO bereikt in het bijzonder een hoge taaknauwkeurigheid terwijl het lekken aanzienlijk vermindert, vooral bij sampling-gebaseerde aanvallen.
• Differential Privacy (DP): DP demonstreert een sterk potentieel om lekken te verminderen in specifieke settings (bijv. het reduceren van cross-memorizering met meer dan 60% in de DS-taak). Het lijdt echter aan trainingsinstabiliteit, vereist zorgvuldige afstemming van hyperparameters en degradeert vaak de taakprestaties.
• Hybride Benaderingen: Het combineren van DP met DPO (DP-$\epsilon$6 + DPO) leverde niet het beste van beide werelden op. Hoewel het de kracht van DP behield bij greedy decoding, erfde het niet de robuustheid van DPO tegen sampling-gebaseerde aanvallen en resulteerde het in iets lagere taakprestaties dan standalone DPO.
• Schaal en Privacy: Naarmate de modelgrootte toeneemt, neemt de effectiviteit van DP in het voorkomen van memorizering af ten opzichte van post-training alignment-methoden. DPO blijkt aanzienlijk effectiever voor grotere modellen (bijv. 8B), waarbij het lekken substantieel vermindert terwijl de prestaties bijna optimaal blijven.

Betekenis en Claims

Het artikel claimt de eerste uitgebreide studie te zijn die specifiek gericht is op onbedoelde PII-memorizering waarbij gevoelige gegevens alleen in de inputs voorkomen. De betekenis ligt in:

1. Het Onthullen van een Verborgen Risico: Het aantonen dat fine-tuning op gevoelige data (zoals medische dossiers) een lekvector creëert voor PII, zelfs wanneer de taakoutput dit niet vereist. Dit daagt de aanname uit dat taak-irrelevante data veilig is.
2. Empirische Benchmarking: Het bieden van een systematische vergelijking van vier belangrijke mitigatiestrategieën, waarbij wordt benadrukt dat hoewel geen enkele methode lekken volledig elimineert, post-training alignment (DPO) en unlearning (UnDial) momenteel stabielere en effectievere afwegingen bieden dan Differential Privacy in veel scenario's.
3. Praktische Richtlijnen: De bevindingen suggereren dat het louter vertrouwen op standaard fine-tuning onvoldoende is voor de inzet van fine-tuned LLM's in gevoelige domeinen (bijv. de gezondheidszorg). Privacy-bewarende technieken moeten expliciet worden geïntegreerd, met een voorkeur voor robuuste post-training methoden of zorgvuldig afgestemde DP, waarbij de hardnekkige afruil tussen utiliteit en privacy wordt erkend.

De auteurs concluderen dat hoewel huidige methoden verbeteringen bieden, er nog steeds aanzienlijke ruimte is voor verbetering, en dat het hardnekkige risico op memorizering robuuste, schaalbare privacy-bewarende technieken noodzakelijk maakt voordat modellen in gevoelige contexten kunnen worden ingezet.