Technische Samenvatting: Deep Contrastive Unlearning voor Taalmodellen

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) berust op training met enorme hoeveelheden webdata, inclusief door gebruikers gegenereerde inhoud die gevoelige persoonlijke informatie of auteursrechtelijk beschermd materiaal kan bevatten. Hoewel LLMs krachtige capaciteiten vertonen, vormen ze aanzienlijke risico's voor de privacy van gebruikers en gegevensbescherming, met name in het licht van regelgeving zoals de AVG (GDPR), die het "recht om vergeten te worden" handhaaft.

De kernuitdaging is machine unlearning: het proces van het verwijderen van de invloed van specifieke trainingssamples uit een model zonder het volledige model opnieuw te trainen. Opnieuw trainen is computationeel onhaalbaar voor LLMs vanwege hun schaal en de tijd die nodig is voor trainingsrondes. Bestaande unlearning-methoden voor LLMs richten zich primair op het verzachten van de impact van vergeten samples op de outputdistributies van het model (bijv. classificatiekansen). Deze benaderingen falen echter vaak omdat ze niet expliciet rekening houden met of optimaliseren voor de geometrische distributies van samples binnen de latente ruimte van het model. Bijgevolg kunnen ze de discriminatieve kenmerken van de te vergeten data niet effectief wissen, wat leidt tot residuele geheugensporen.

Methodologie: DeepCUT

Om deze beperkingen aan te pakken, stellen de auteurs Deep Contrastive Unlearning for fine-Tuning (DeepCUT) voor. Dit framework werkt door direct de latente ruimte van een gefinetuned taalmodel te optimaliseren om het vergeten van specifieke samples te faciliteren, terwijl de prestaties van het model op de overgebleven data behouden blijven.

De methodologie bestaat uit drie componenten:

1. Input Encoding en Augmentatie:

   • Het framework maakt gebruik van een pre-trained LLM-encoder om inputzinnen in een latente embedding-ruimte te mappen.
   • Om contrastief leren binnen een mini-batch te faciliteren, gebruiken de auteurs data-augmentatie via standaard dropout. Door een sample twee keer door een dropout-laag te sturen met verschillende masks, genereren ze meerdere views van hetzelfde anchor-sample. Dit zorgt voor de beschikbaarheid van positieve samples (dezelfde klasse) binnen de batch, zelfs wanneer de batchgrootte klein is of de specifieke klasse ondervertegenwoordigd is.

2. Contrastive Unlearning Objectief:

   • In tegenstelling tot traditioneel contrastief leren, dat positieve samples naar elkaar toe trekt en negatieve samples van elkaar wegduwt, keert DeepCUT deze logica om voor de data die vergeten moet worden ($D_f$).
   • Voor een anchor-sample $x_f$ in de forget-set wordt het model gefinetuned om de latente embedding ervan weg te duwen van instanties van zijn eigen klasse ($D_y$) en het naar instanties van andere klassen toe te trekken ($D_{\neg y}$).
   • Dit wordt bereikt met een aangepaste contrastieve loss (geïnspireerd door de FoCL loss), geformuleerd als:
     $$L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$$
   • Dit proces verandert de geleerde representatie van de te vergeten data, waardoor de unieke discriminatieve kenmerken effectief worden gewist en de data naar de beslissingsgrenzen van andere klassen wordt bewogen.

3. Gecombineerde Optimalisatie:

   • Om catastrofaal vergeten van de overgebleven data ($D_r$) te voorkomen, wordt de unlearning loss ($L_f$) gecombineerd met de standaard cross-entropy loss ($L_{CE}$) voor de behouden samples.
   • De uiteindelijke objectieve functie is:
     $$L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$$
   • Hierbij is $\gamma$ een hyperparameter die de balans bewaart tussen het behoud van nuttige kennis en het verwijderen van specifieke data.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Introductie van het Framework: De voorstel van DeepCUT, een effectief unlearning-framework ontworpen om specifiek samples in getrainde modellen te laten vergeten door direct op de latente ruimte te opereren.
2. Latente Ruimte Optimalisatie: Een nieuwe benadering geïnspireerd door contrastief leren die de distributie van samples binnen de latente ruimte optimaliseert. Dit zorgt voor de verwijdering van specifieke discriminatieve kenmerken van de te vergeten samples, in plaats van alleen de outputkansen aan te passen.
3. Empirische Validatie: Uitgebreide experimenten op real-world datasets die aantonen dat DeepCUT efficiënt specifieke samples kan vergeten zonder de voorspellende prestaties van het model op de overige data te verslechteren.

Experimentele Resultaten

De auteurs hebben DeepCUT geëvalueerd op vier benchmark-datasets over twee domeinen: Sociale Media (WNUT16, WNUT17) en Biochemisch (NCBI-Disease, ChEMU). Het model werd vergeleken met verschillende baselines:

• Retrain: Exacte unlearning via volledige hertraining (ground truth).
• Fine-tune: Standaard fine-tuning op de resterende data (vertrouwend op catastrofaal vergeten).
• Reverse Gradient: Het omkeren van gradiënten van de forget-set.
• SISA: De Sharding, Isolation, Slicing, en Aggregation techniek.

Belangrijkste bevindingen:

• Effectiviteit van Unlearning: DeepCUT behaalde consistent de laagste nauwkeurigheid op de "forget set" over alle datasets en configuraties (1% en 10% verwijderingspercentages), waarmee het baselines zoals Reverse Gradient aanzienlijk versloeg. Bijvoorbeeld, op WNUT16 met 1% verwijdering reduceerde DeepCUT de nauwkeurigheid van de forget-set naar 32,25%, wat lager is (wat duidt op effectiever unlearning) dan de 54,55% behaald door het ground truth retrained model en de 99,14% van de standaard Fine-tune methode.
• Behoud van Prestaties: DeepCUT behield een hoge nauwkeurigheid op de "retained set" en de "test set", vergelijkbaar met het retrained model en superieur aan SISA (dat leed onder nauwkeurigheidsverlies door data-sharding).
• Efficiëntie: Wat betreft de looptijd was DeepCUT aanzienlijk sneller dan de "Retrain" baseline en efficiënter dan de "Fine-tune" benadering, die uitgebreide epochs vereiste om gedeeltelijk vergeten te bereiken. Hoewel SISA snel was, ging dit ten koste van de algehele modelnauwkeurigheid.

Betekenis en Claims

Het artikel beweert dat DeepCUT een belangrijke stap voorwaarts is in machine unlearning voor LLMs door de focus te verschuiven van mitigatie op outputniveau naar geometrische optimalisatie in de latente ruimte. De auteurs argumenteren dat bestaande methoden er niet in slagen de distributie van samples in de latente ruimte expliciet aan te pakken, wat leidt tot onvolledig unlearning. Door de latente embeddings direct te manipuleren om discriminatieve kenmerken te wissen, biedt DeepCUT een meer principiële, precieze en efficiënte oplossing. De resultaten suggereren dat contrastieve manipulatie van de latente ruimte een levensvatbare en superieure benadering is voor het waarborgen van privacy-compliance in grootschalige taalmodellen zonder de prohibitieve kosten van volledige hertraining.