CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge

Probleemstelling

Grote Taalmodellen (LLM's) worden getraind op enorme datasets die vaak onbedoeld gevoelige, auteursrechtelijk beschermde of onjuiste informatie bevatten. Het is onhaalbaar om deze data vooraf volledig te filteren. Hierdoor is er een behoefte aan methoden om specifieke kennis na training te "vergeten" (unlearning).

Bestaande technieken hebben echter twee fundamentele tekortkomingen:

1. Catastrofaal Vergeten (Catastrophic Forgetting): De meeste methoden passen de gewichten van het LLM direct aan (parametrisch unlearning). Bij continue updates (waarbij nieuwe vergeten-verzoeken stelselmatig worden verwerkt) leidt dit tot een drastische achteruitgang van de algemene prestaties en kennisbehoud.
2. Gebrek aan Real-time Capaciteit: Bestaande methoden vereisen zware hertraining of fine-tuning voor elk nieuw vergeten-verzoek. Dit proces is te traag voor real-world scenario's waar gevoelige informatie onmiddellijk moet worden geblokkeerd, wat leidt tot blootstelling van data tijdens de wachttijd.

Methodologie: CURaTE

De auteurs stellen CURaTE (Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge) voor. Dit is een behavioral unlearning-benadering die de LLM-gewichten niet aanpast. In plaats daarvan wordt een externe filterlaag gebruikt om te bepalen of een antwoord gegeven moet worden of dat een weigering (refusal) moet worden teruggegeven.

Het framework bestaat uit twee fasen:

1. Voor-deploy Training (Pre-deployment)

Voordat het LLM wordt ingezet, wordt een sentence embedding model (aangeduid als $U$) getraind.

• Datageneratie: Er wordt een synthetische dataset gegenereerd op basis van een seed-dataset (bijv. Natural Questions). Deze bevat drie soorten data-augmentatie:
  • Type 1 (Positief): Een vraag en een parafrase ervan (zelfde betekenis).
  • Type 2 (Hard Negatief): Een vraag die lexicaal lijkt op de originele, maar semantisch anders is (een "valstrik").
  • Type 3 (Hard Negatief): Een contra-stukje van de parafrase.
• Doel: Het model $U$ leert scherpe beslissingsgrenzen om te onderscheiden tussen vragen die gerelateerd zijn aan het "vergeten"-set (forget set) en vragen die dat niet zijn, zelfs bij parafrases.
• Voordeel: Dit trainingsproces vereist geen data uit het vergeten-set of het behoud-set (retain set). Het model is dus domein-agnostisch en kan direct worden toegepast op nieuwe taken.

2. Inference en Real-time Unlearning (Post-deployment)

Zodra het LLM ($G$) is ingezet, werkt CURaTE als volgt:

1. Real-time Update: Wanneer een nieuw vergeten-verzoek ($f$) binnenkomt, wordt dit direct ge-embedd door $U$ en opgeslagen in een database van embeddings ($F$). Er is geen training nodig; dit is een $O(1)$ operatie.
2. Zoek en Vergelijk: Bij een gebruikersvraag ($p$) wordt deze ook ge-embedd. Het systeem berekent de cosine-ähnlijkheid tussen $p$ en alle opgeslagen vergeten-embeddings in $F$.
3. Besluitvorming:
   • Als de maximale similariteitsscore ($s_{max}$) onder een drempelwaarde ($\delta$) ligt: Het LLM geeft een normaal antwoord.
   • Als $s_{max} \geq \delta$: Het systeem weigert het antwoord en geeft een vooraf gedefinieerde weigeringszin terug (bijv. "Ik weet het niet").
   • Cruciaal: De gewichten van het LLM zelf worden nooit aangepast.

Belangrijkste Bijdragen

• Eerste Real-time Continue Unlearning: CURaTE is de eerste methode die in staat is om opeenvolgende vergeten-verzoeken in real-time te verwerken zonder vertraging of hertraining van het basismodel.
• Perfecte Kennisbehoud: Omdat de LLM-gewichten intact blijven, behoudt het model zijn oorspronkelijke kennis en prestaties op niet-gerelateerde taken (utility datasets) bijna perfect, zelfs na honderden updates. Dit lost het probleem van catastrofaal vergeten op.
• Generalisatie: Het getrainde embedder-model is niet gebonden aan specifieke datasets. Het kan direct worden toegepast op nieuwe vergeten-taken zonder opnieuw getraind te hoeven worden.
• Robuustheid: De methode is zeer effectief tegen parafrases en lexicaal overlappende vragen dankzij het gebruik van "hard negatives" tijdens de training.

Resultaten

De auteurs hebben CURaTE getest op vier benchmarks: RETURN (privacy), TOFU (fictieve auteurs), TruthfulQA (valse informatie) en ScienceQA (wetenschappelijke kennis).

• Prestatie op Vergeten Data: CURaTE presteert consistent beter dan state-of-the-art methoden (zoals GA, GradDiff, PO, O3, UniErase) in het effectief blokkeren van informatie uit het vergeten-set.
• Behoud van Kennis: Terwijl andere methoden (vooral gradient-based) snel instorten in hun prestaties op behoud-data (retain set) en utility-data door catastrofaal vergeten, behoudt CURaTE prestaties die bijna identiek zijn aan het oorspronkelijke basismodel.
• Efficiëntie:
  • Unlearning-tijd: CURaTE heeft een unlearning-tijd van slechts 0,04 seconden per verzoek (voornamelijk het embedden en opslaan), vergeleken met minuten of uren voor andere methoden.
  • Inference-overhead: De extra tijd voor het zoeken in de database is verwaarloosbaar (0,01s), wat het echt real-time maakt.
• Ablatie-studies: De studie bevestigt dat alle componenten (de drie datatypes, hard negatives en contrastive loss) noodzakelijk zijn voor de hoge precisie en recall.

Betekenis en Conclusie

CURaTE vertegenwoordigt een paradigmaverschuiving in het veld van machine unlearning. In plaats van te proberen de "geheugen" van het model te herschrijven (wat onstabiel is), blokkeert het de toegang tot specifieke kennis via een slimme, real-time filterlaag.

Dit maakt CURaTE bij uitstek geschikt voor kritieke real-world toepassingen zoals:

• GDPR "Recht op Vergetelheid": Waar gebruikers onmiddellijk verwijdering van persoonlijke data kunnen eisen.
• Enterprise Veiligheid: Waar toegang tot vertrouwelijke informatie dynamisch verandert (bijv. bij vertrek van werknemers).
• Veiligheid: Het snel onderdrukken van nieuwe schadelijke of onjuiste informatie die na training is ontdekt.

De paper concludeert dat CURaTE de eerste methode is die de trilemma van effectief vergeten, kennisbehoud en real-time verwerking succesvol oplost, zonder de beperkingen van parametrische aanpassingen.