Technische Samenvatting: Geometrisch Vergeten voor LLM's met Minimale Data-Openbaarmaking

Probleemstelling

Naarmate Large Language Models (LLM's) worden ingezet in real-world systemen, staan ze onder toenemende regelgevende en governance-beperkingen die het na het feit verwijderen van specifieke inhoud vereisen (bijvoorbeeld persoonsgegevens, gevoelige onderwerpen) terwijl de algemene bruikbaarheid behouden blijft. Dit staat bekend als selectief vergeten.

Bestaande benaderingen vertrouwen doorgaans op datagedreven pijplijnen die toegang vereisen tot het oorspronkelijke trainingscorpus. Deze methoden vallen over het algemeen in twee categorieën:

1. Refusale-tuning op outputniveau: Het oproepen van weigeringen of niet-overeenkomende antwoorden via prompt-engineering of interventies op het moment van inferentie.
2. Parameterupdates: Het gebruik van op gradiënten gebaseerde procedures op aangewezen "vergeten"- en "behoud"-datasets.

Deze strategieën staan echter voor een kritieke spanning: ze vereisen vaak toegang tot de oorspronkelijke trainingsdata (die mogelijk niet beschikbaar is vanwege privacy-, licentie- of governance-beperkingen) en riskeren het opnieuw blootleggen van gevoelige data tijdens het vergetenproces. Bovendien is het vertrouwen op grote, distributie-overeenkomende behoudstromen om collaterale degradatie te voorkomen, in ingezette omgevingen vaak onpraktisch. Het artikel stelt de noodzaak van selectief vergeten zonder oorspronkelijk corpus dat sterke onderdrukking van doelen bereikt met minimale data-openbaarmaking.

Methodologie: Geometrisch Vergeten (GV)

De auteurs stellen Geometrisch Vergeten (GV) voor, een benadering op representatieniveau die direct werkt op de planningsstaten op het moment van prompt zonder toegang tot het oorspronkelijke trainingscorpus. De methode is gebaseerd op de observatie dat verborgen representaties van LLM's op het prompt-stadium lineair decodeerbare signalen coderen die voorspellend zijn voor responskenmerken, en dat hoog-niveau semantische factoren vaak gestructureerd zijn in laag-dimensionale lineaire deelruimten.

GV verloopt in drie kernfasen:

1. Opbouwen van Doelplanningsgeometrie

In plaats van het oorspronkelijke trainingsdata te gebruiken, definieert GV een kleine set veilige referentieprompts ($D_{ref}$) die zijn ontworpen om gewenste veilige gedragingen op te roepen (bijvoorbeeld weigeringsmallen of "Ik weet het niet"-antwoorden).

• Het model verwerkt deze prompts om verborgen staten op het moment van prompt ($h^{pr}_{\ell}$) te extraheren op specifieke lagen.
• Een laag-rang deelruimte (de "veilige-planningsgeometrie") wordt geschat via PCA op deze gecentreerde activeringen.
• Een orthogonale projector $P_{\ell}$ wordt berekend om vectoren op deze veilige deelruimte af te beelden, terwijl $P^{\perp}_{\ell}$ projecteert op het orthogonale complement. Deze buffers worden vooraf berekend en bevroren.

2. Anker-geconditioneerde Virtuele Prompts

Om een volledige vergetendataset te vermijden, genereert GV een compacte set virtuele prompts ($D_{virt}$) met behulp van ankerpunten (bijvoorbeeld de specifieke entiteit of het onderwerp dat moet worden vergeten).

• Ankers worden ingevoegd in diverse contextuele templates (biografisch, instructief, vergelijkend, etc.) om synthetische prompts te creëren.
• Voor elke prompt wordt een lokaal venster van tokens rondom de anker-voorkomst geïdentificeerd.
• Het model verwerkt deze prompts om verborgen staten binnen dit venster te verzamelen.

3. Geometrische Uitlijning en Stabilisatie

Het model wordt fijngetuned om de verborgen staten van de virtuele prompts uit te lijnen met de bevroren veilige geometrie, terwijl niet-doelbruikbaarheid behouden blijft.

• Kernvergeten Doelstelling: Voor elke anker-hit wordt de venster-geaggregeerde verborgen staat ontbonden in componenten binnen de deelruimte en buiten de deelruimte. De verliesfunctie ($L_{core}$) bestaat uit:
  • Centrumtrek ($L_{cent}$): Het minimaliseren van de afstand van de staat tot het referentiemiddelpunt.
  • Terugvouw-beperking ($L_{fold}$): Het straffen van de energie van het residu-component orthogonaal aan de veilige deelruimte. Dit wordt bereikt door de staat te reflecteren over de deelruimte en de cosinus-dissimilariteit te minimaliseren, waardoor de staat effectief wordt gedwongen binnen de veilige variëteit te liggen.
• Behoud-zijde Stabilisatie: Om collaterale drift te voorkomen (degradatie van niet-doelkennis), maakt de methode gebruik van een bevroren teacher-model (geïnitieerd vanuit hetzelfde checkpoint).
  • Achtergrondbehoudverlies: Lijnt de output van de student op niet-venster tokens van doelprompts uit met die van de teacher.
  • Synthetische Behouddistillatie: Lijnt de student uit met de teacher op een aparte synthetische pool van niet-doelprompts (inclusief verwarbare namen om overgeneralisatie te voorkomen).

Belangrijkste Bijdragen

1. Framework zonder Oorspronkelijk Corpus: GV elimineert de noodzaak van toegang tot het oorspronkelijke pretrainingscorpus of grote behouddatasets, waardoor een primaire barrière voor praktische implementatie wordt aangepakt.
2. Interventie op Representatieniveau: In plaats van outputkansen of gewichten direct te modificeren via gradiëntafname op data, manipuleert GV de richtingsstructuur van verborgen planningsstaten om een "vage" of onzekere staat voor doelonderwerpen te induceren.
3. Data-efficiëntie: De methode bereikt effectief vergeten met slechts een minimale set synthetische prompts gegenereerd vanuit ankers en een kleine set veilige referentieprompts.
4. Geometrische Regularisatie: De introductie van terugvouw-beperking en orthogonale projectie biedt een wiskundig onderbouwde mechanisme om representaties naar een veilige deelruimte te sturen terwijl orthogonale inhoud behouden blijft.

Experimentele Resultaten

De auteurs evalueerden GV op twee privacy-gerelateerde benchmarks: ToFU (feitelijk vergeten) en UnlearnPII (vergeten van persoonlijk identificeerbare informatie), met behulp van LLaMA-2-7B en LLaMA-3.2-1B modellen.

• Effectiviteit van Vergeten: GV bereikte sterke onderdrukking van doelen (lage Extractiekracht en Vergeten ROUGE), vergelijkbaar met of beter dan op gradiënten gebaseerde baselines zoals GA en GradDiff.
• Behoud van Bruikbaarheid: GV behield een hoge modelbruikbaarheid op niet-doeltaakken, en presteerde beter dan methoden die "lege" of "onbegrijpelijke" outputs induceerden.
• Privacyrisico: Bij Lidmaatschapsinference-aanvallen (MIAs) verminderde GV het privacyrisico (gemeten als afwijking van toeval AUC) tot niveaus dicht bij nul, wat aangeeft dat vergeten data niet meer te onderscheiden was van niet-trainingsdata.
• Outputkarakteristieken: In tegenstelling tot baselines die vaak "substitue" (niet-gerelateerde) antwoorden of "lege" responsen produceren, genereerde GV consistent output in weigeringsstijl (bijvoorbeeld "Ik ben niet zeker"), wat een meer gestructureerd en veiligheidsconform vergetengedrag vertegenwoordigt.
• Ablatiestudies:
  • Staalbegroting: 20–30 synthetische samples per anker bood de optimale balans tussen vergetensterkte en behoud van bruikbaarheid.
  • Lageselectie: Het uitlijnen van de laatste één of twee lagen leverde de beste trade-off op, omdat planningsstaten in late lagen het meest direct gekoppeld zijn aan het generatiebeleid.

Betekenis en Claims

Het artikel claimt dat effectief vergeten kan worden bereikt met minimale openbaarmaking van synthetische data, wat een "Minder is Meer"-paradigma ondersteunt. Door te opereren op de geometrische structuur van planningsstaten op het moment van prompt, omzeilt GV de noodzaak om gevoelige trainingsdata opnieuw bloot te leggen.

De auteurs benadrukken dat GV, hoewel het sterke prestaties bereikt op standaard evaluaties gebaseerd op extractabiliteit, het meest effectief is wanneer doelen betrouwbaar worden opgeroepen door ankers. Ze erkennen beperkingen met betrekking tot aliassen, meertalige varianten en indirecte vermeldingen, en merken op dat de methode geen volledige representatieve uitwissing garandeert onder sterkere white-box audits. Het werk toont echter aan dat het controleren van een kleine set planningsstaten op het moment van prompt via geometrische uitlijning een levensvatbare en efficiënte strategie is voor selectief vergeten in beperkte, privacy-gevoelige omgevingen.