Technische Samenvatting: PeCL – Token-level Differentiële Privacy bij Memory Sculpting voor Continu Leren

1. Probleemstelling

Continu Leren (CL) stelt modellen, met name Large Language Models (LLM's), in staat om sequentieel nieuwe kennis op te doen zonder eerdere taken te vergeten. Deze capaciteit introduceert echter aanzienlijke privacyuitdagingen. Naarmate modellen diverse en evoluerende datasets assimileren, accumuleren ze inherent enorme hoeveelheden informatie, waaronder gevoelige persoonlijke of eigendomsgegevens. Eenmaal ingebed, wordt dergelijke data moeilijk te auditeren of te wissen, wat juridische en ethische risico's met zich meebrengt.

Bestaande privacyoplossingen staan voor kritieke beperkingen in de CL-context:

• Uniforme Privacybudgetten: Traditionele Differentiële Privacy (DP)-methoden (bijv. DPSGD) passen een uniform ruisbudget toe over alle data. Deze indiscriminate bescherming degradeert de modelnut door overmatige ruis in te brengen in niet-gevoelige, algemene kennis, terwijl ze mogelijk onvoldoende bescherming biedt voor hoogst gevoelige entiteiten.
• Statisch versus Dynamisch: Veel token-level DP-benaderingen (bijv. PMixED) zijn ontworpen voor statische datasets en adresseren niet het catastrofale vergeten dat inherent is aan sequentieel leren.
• Selectief Vergeten: Het bereiken van "selectief vergeten" (gevoelige data verwijderen terwijl algemene kennis behouden blijft) zonder de algehele nut te degraderen, is theoretisch uitdagend. Huidige methoden slagen er vaak niet in om te differentiëren tussen verschillende niveaus van gevoeligheid binnen data, wat leidt tot onvoldoende bescherming of onnodig nutverlies.

De kernuitdaging ligt in het balanceren van drie conflicterende doelen: het onderscheiden van fijnkorrelige gevoeligheid op token-niveau, het beschermen van privacy zonder historische kennis te corrumperen, en het integreren van deze mechanismen in een dynamisch, sequentieel leerparadigma.

2. Methodologie: Het PeCL-Frame

De auteurs stellen PeCL (Privacy-enhanced Continual Learning) voor, een frame gebaseerd op het principe "vergeten wat gevoelig is en onthouden wat belangrijk is". Het bestaat uit twee kernmodules: Token-level Dynamische Differentiële Privacy (TDP) en Privacy-Gedreven Memory Sculpting (PMS).

2.1 Token-level Dynamische Differentiële Privacy (TDP)

TDP wijst privacybudgetten adaptief toe op basis van de semantische gevoeligheid van individuele tokens in plaats van een uniform budget toe te passen.

• Gevoeligheidsscore: Voor elke token $t_i$ wordt een gevoeligheidsscore $Score(t_i) \in [0, 1]$ berekend met behulp van een gewogen combinatie van twee indicatoren:
  1. Modelonzekerheid ($Score_1$): De negatieve log-waarschijnlijkheid van de token gegeven zijn context. Hoge onzekerheid suggereert dat de token zeldzaam, contextafhankelijk of potentieel gevoelig is.
  2. Contextuele Discriminatieve Kracht ($Score_2$): Geadaptieerd van TF-IDF, meet dit hoe specifiek een token is voor een bepaalde taak versus het gehele corpus. Tokens die zeer specifiek zijn voor een enkele taak (lage cross-taak ondersteuning) worden gemarkeerd als gevoeliger.
• Dynamische Budgettoewijzing: Het privacybudget $\epsilon_i$ voor elke token is omgekeerd evenredig met zijn gevoeligheidsscore. Tokens met hoge gevoeligheid ontvangen een kleiner $\epsilon_i$ (sterkere bescherming), terwijl tokens met lage gevoeligheid een groter $\epsilon_i$ ontvangen om het nut te behouden.
• Ruisinjectie: Gekalibreerde Gaussische ruis wordt ingebracht in de input-embeddings van tokens op basis van hun specifieke $\epsilon_i$. Dit gebeurt op het embedding-niveau voor de self-attention, waardoor Lokale Differentiële Privacy (LDP) bij de bron wordt gewaarborgd.

2.2 Privacy-Gedreven Memory Sculpting (PMS)

Terwijl TDP input-embeddings beschermt, herschikt PMS de interne parameters van het model om het memoriseren van gevoelige informatie te voorkomen en taak-invariante kennis te behouden.

• Memory Regularisatie: Om catastrofale vergetelheid te mitigeren, past het frame het Elastic Weight Consolidation (EWC)-principe toe op de LoRA-parameter ruimte. Het berekent een taak-specifieke belangrijkheidsscore op basis van parameterupdates en input-activaties. Cruciaal wordt de regularisatiesterkte ($\lambda_{dyn}$) dynamisch gemoduleerd door de gemiddelde gevoeligheid van de huidige taak. Taken met lage gevoeligheid worden strenger geregulariseerd om kennis te behouden, terwijl taken met hoge gevoeligheid meer flexibiliteit toestaan.
• Privacy-bewust Vergeten: Een specifieke verliesterm ($L_{unlearn}$) wordt geïntroduceerd om de versterking van tokens met hoge gevoeligheid actief te onderdrukken. Voor tokens die een gevoeligheidsthoreshold $\theta$ overschrijden, wordt de cross-entropy loss gewogen met $(Score(t_i) - \theta)$, waardoor het model wordt aangemoedigd om deze specifieke sporen te "vergeten" of zachtjes te onderdrukken.
• Dubbel-laags Defensie: TDP biedt "zachte onderdrukking" via ruis voor tokens nabij de drempel, terwijl PMS expliciet parameter-niveau vergeten activeert voor tokens die de drempel overschrijden.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Token-level Dynamische DP-strategie: Een nieuw mechanisme dat privacybudgetten adaptief toewijst op basis van de semantische gevoeligheid van individuele tokens, waardoor fijnkorrelige privacybescherming in continu leren mogelijk wordt.
2. Privacy-gedreven Memory Sculpting: Een module die intelligent gevoelige informatie uit het modelgeheugen vergeet terwijl taak-invariante historische kennis expliciet wordt behouden, waardoor de afweging tussen privacy en catastrofale vergetelheid wordt aangepakt.
3. Empirische Validatie: Aantonen dat het frame een superieure balans bereikt tussen privacy en nut, en state-of-the-art baselines overtreft in continu leer-scenario's.

4. Experimentele Resultaten

De auteurs evalueerden PeCL op een multi-taak benchmark bestaande uit zes domeinen (FOMC, Yelp, AGNews, Amazon, Mentill, Yahoo) geformuleerd als tekstclassificatietaken.

• Prestatiemetingen: Het frame werd beoordeeld aan de hand van Gemiddelde Nauwkeurigheid (Avg), Laatste Nauwkeurigheid (Last) en Backward Transfer (BWT).
• Vergelijkende Analyse: PeCL presteerde beter dan diverse baselines, waaronder:
  • Standaard CL-methoden gecombineerd met uniforme DP (ER+DPSGD, EWC+DPSGD, GEM+DPSGD).
  • Methoden met bevroren embeddings met ruis (FN).
  • De token-level DP-baseline PMixED (die CL-specifieke memory sculpting mist).
  • Variaties in Sequentieel Finetuning (SeqFT), die te kampen hadden met ernstige catastrofale vergetelheid.
• Belangrijkste Bevindingen:
  • PeCL behaalde de hoogste scores op alle metrieken en overtrof zelfs de Multi-Task Learning (MTL) bovengrens in sommige nauwkeurigheidsmetrieken, ondanks het werken in een sequentiële setting.
  • Ablatiestudies bevestigden dat het verwijderen van TDP of PMS de prestaties aanzienlijk degradeerde en vergetelheid verhoogde, wat de noodzaak van beide componenten valideert.
  • Het frame toonde robuustheid over verschillende volgorde van taak-aankomst (natuurlijk, omgekeerd en gewisseld).

5. Betekenis en Claims

Het artikel claimt dat PeCL een aanzienlijke vooruitgang vertegenwoordigt in privacybehoudend continu leren door voorbij te gaan aan "one-size-fits-all"-privacybenaderingen. Door fijnkorrelige gevoeligheidsanalyse te integreren met dynamische memory sculpting, navigeert het frame succesvol door de spanning tussen het beschermen van private entiteiten en het behoud van modelnut.

De auteurs benadrukken dat hun benadering toestaat voor:

• Robuuste Privacy: Sterke bescherming voor private entiteiten zonder de nutdegradatie die geassocieerd wordt met uniforme ruisinjectie.
• Effectieve Kennisbehoud: Expliciet behoud van taak-invariante kennis om catastrofale vergetelheid te mitigeren, een veelvoorkomend faalpunt in privacy-beperkt CL.
• Praktische Toepasbaarheid: Het vermogen om te functioneren in dynamische, sequentiële datastromen waar data incrementeel arriveert, een setting waarin veel bestaande DP-methoden falen.

Het artikel concludeert door beperkingen te erkennen, zoals de accumulatie van privacybudgetten in lange contexten en de behoefte aan empirische validatie tegen specifieke aanvalsvectoren (bijv. lidmaatschapsinferentie), wat toekomstig werk suggereert in Rényi Differentiële Privacy en formele theoretische onderbouwing.