Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs

Technische Samenvatting: Unlearning is niet onzichtbaar: Het detecteren van unlearning-sporen in LLM's vanuit modeloutputs

Probleemstelling
Machine unlearning (MU) voor Large Language Models (LLM's) heeft als doel specifieke ongewenste data of kennis (bijv. persoonlijke identificatiegegevens, auteursrechtelijk beschermde inhoud of schadelijke capaciteiten) te verwijderen, terwijl de bruikbaarheid van het model voor standaardtaken behouden blijft. Ho ben de huidige benaderingen voor benaderende unlearning (zoals gradient ascent, preference optimization en representation editing) zijn ontworpen om de invloed van een "forget set" te onderdrukken, wordt hun effectiviteit vaak uitsluitend geëvalueerd op basis van de vraag of het model faalt bij queries die relevant zijn voor de vergeten informatie.

Dit artikel identificeert een voorheen onverkend kwetsbaarheid: unlearning trace detection (het detecteren van unlearning-sporen). De auteurs stellen dat unlearning persistente "vingerafdrukken" achterlaat in zowel het gedrag als de interne representaties van het model. Deze sporen stellen een tegenstander in staat om te bepalen of een model een unlearning-proces heeft ondergaan, enkel door het input-outputgedrag te observeren, zelfs wanneer het model wordt bevraagd met forget-irrelevant prompts (inputs die niet gerelateerd zijn aan de gewiste kennis). Als een tegenstander kan detecteren dat een model is ondergaan aan unlearning, kan deze strategisch middelen investeren om de vergeten informatie te reverse-engineeren (bijv. via jailbreaking of relearning-aanvallen), waardoor de privacy- en veiligheidsgaranties van het unlearning-proces worden ondermijnd.

Methodologie
De studie kadert unlearning trace detection als een supervised classificatietaak. De kernhypothese is dat unlearned modellen een duidelijk onderscheidend gedrag en een onderscheidende representatie vertonen vergeleken met hun originele tegenhangers.

1. Experimentele Opzet:

   • Modellen: Vier instructie-afgestemde LLM's werden gebruikt: Zephyr-7B, LLaMA-3.1-8B, Qwen2.5-14B en Yi-34B.
   • Unlearning-methoden: Twee state-of-the-art benaderingen werden geëvalueerd:
     • RMU (Representation Reengineering): Wijzigt de tussenliggende activaties van forget-set samples naar een vaste willekeurige vector.
     • NPO (Negative Preference Optimization): Behandelt forget-set samples als negatieve voorbeelden in een preference optimization framework om het model weg te duwen van het gedrag van vóór de unlearning.
   • Datasets: De forget set bestond uit 3.668 gevaarlijke bio-security/cybersecurity vragen uit de WMDP benchmark. Forget-irrelevant data werd afkomstig van MMLU (algemene bruikbaarheid) en UltraChat.
   • Inputs: De studie evalueert detectie met behulp van twee soorten outputs:
     • Textuele Respons: Discrete "harde" outputs gegenereerd door het model.
     • Pre-logit Activaties: Continue "zachte" activatievectoren (hidden states) geëxtraheerd vóór de laatste softmax-laag.

2. Detectie Pipeline:

   • Een lichtgewicht supervised classifier (een twee-laags MLP) wordt getraind om onderscheid te maken tussen "originele" en "unlearned" modellen.
   • Voor tekstuele responsen wordt een LLM2Vec encoder gebruikt om de gegenereerde tekst te embedden voordat de classificatie plaatsvindt.
   • Voor activaties wordt de MLP direct getraind op de pre-logit vectoren.
   • De classifiers worden getest op ongeziene prompts uit WMDP (forget-relevant), MMLU en UltraChat (forget-irrelevant).

3. Spectrale Analyse:

   • Om het mechanisme achter detectie te begrijpen, voeren de auteurs een Singular Value Decomposition (SVD) uit op gecentreerde activatiematrices. Ze projecteren activaties op de top recht singular vectors (SV1) om distributieve verschuivingen ("spectral fingerprints") tussen originele en unlearned modellen te visualiseren.
   • Ze gebruiken ook UMAP (Uniform Manifold Approximation and Projection) om laagdimensionale niet-lineaire manifolds in de activatieruimte te onderzoeken.

Belangrijkste Resultaten

1. Hoge Detecteerbaarheid: Eenvoudige supervised classifiers kunnen unlearned modellen met hoge nauwkeurigheid onderscheiden van originelen (>90% in veel gevallen), zelfs wanneer het model wordt geprompt met forget-irrelevant inputs.

   • NPO-modellen: Vertonen sterke detecteerbaarheid. Classifiers die uitsluitend getraind zijn op tekstuele responsen bereiken bijna perfecte nauwkeurigheid (99–100%) over alle modelgroottes en prompttypen. Dit wordt toegeschreven aan de agressieve, globale gedragsveranderingen die NPO oplegt.
   • RMU-modellen: Vertonen subtielere sporen. Detectie op basis van tekst is minder effectief op forget-irrelevant prompts (bijv. ~54% voor Zephyr-7B op MMLU, wat dicht bij willekeurig gokken ligt). Echter, classifiers getraind op pre-logit activaties bereiken bijna perfecte nauwkeurigheid (>95%) zelfs voor RMU-modellen op forget-irrelevant data.

2. Spectrale Vingerafdrukken:

   • NPO: Toont uitgesproken distributieve verschuivingen in de activaties van de laatste laag langs de eerste singular vector (SV1).
   • RMU: Toont geen duidelijke verschuivingen in de laatste laag. Echter, onderscheidende spectrale vingerafdrukken worden waargenomen in tussenliggende lagen (specifiek de down-projection sublagen van de Feed-Forward Networks, bijv. L7.D_PROJ).
   • Manifold Separatie: Ondanks het gebrek aan lineaire separatie in de laatste activaties voor RMU, laat UMAP-analyse zien dat originele en unlearned activaties op scheidbare laagdimensionale niet-lineaire manifolds liggen. Dit verklaart waarom neurale classifiers (die niet-lineaire grenzen kunnen leren) slagen waar lineaire spectrale analyse mogelijk onconcluderend lijkt.

3. Model Schaal en Generalisatie:

   • Grotere modellen (bijv. Yi-34B) vertonen een sterkere detecteerbaarheid dan kleinere modellen (bijv. Zephyr-7B).
   • Classifiers getraind op pre-logit activaties van één modelfamilie (bijv. Zephyr) kunnen generaliseren om unlearning in andere modelfamilies (bijv. Yi, Qwen) met hoge nauwkeurigheid te detecteren, hoewel de prestaties variëren afhankelijk van de specifieke modelarchitectuur.

4. Forget-Data Detectie:

   • Zodiment een model is geïdentificeerd als unlearned, demonstreert het artikel dat het mogelijk is om te detecteren of een specifieke respons afkomstig is van de "forget domain" (gevaarlijke inhoud) versus algemene kennis, waarbij een nauwkeurigheid van >70% wordt bereikt door gebruik te maken van statistische verschuivingen in entropie en voorspellingskansen.

Betekenis en Claims
Het artikel beweert een kritieke kwetsbaarheid in het huidige paradigma van LLM unlearning bloot te leggen. De auteurs stellen dat:

• Unlearning is niet onzichtbaar: Het proces van het verwijderen van kennis laat meetbare, persistente signaturen achter in zowel de outputtekst als de interne activatieruimte van het model.
• Risico op Reverse-Engineering: Het vermogen om unlearning-sporen te detecteren stelt tegenstanders in staat om "unlearned" modellen te identificeren en potentieel hun computationele middelen te richten op het herstellen van de gewiste informatie, waardoor de beoogde privacy- of veiligheidsbescherming effectief wordt omzeild.
• Beperkingen van Huidige Methoden: De studie benadrukt dat huidige benaderingen voor benaderende unlearning, hoewel effectief in het onderdrukken van specifieke antwoorden, er niet in slagen de "vingerafdruk" van het unlearning-proces zelf te wissen.
• Forensische Noodzaak: De bevindingen suggereren dat het evalueren van unlearning meer vereist dan alleen het controleren van de prestaties op forget-relevante queries; het vereist een forensische analyse van de gedragsmatige en representationele sporen van het model om echte verwijdering te garanderen.

De auteurs concluderen dat unlearning-sporen een fundamenteel bijproduct zijn van de huidige unlearning-algoritmen, wat een nieuw risicovector introduceert voor de reverse-engineering van vergeten informatie in scenario's met hoge belangen.