💬 NLP

Quantization-Robust LLM Unlearning via Low-Rank Adaptation

Dit paper introduceert een kwantisatie-resistente methode voor het onthouden van kennis in grote taalmodellen door Low-Rank Adaptation (LoRA) te gebruiken, waardoor de effectiviteit van het onthouden behouden blijft en de privacy wordt verbeterd zelfs na agressieve 4-bit kwantisatie.

Oorspronkelijke auteurs: João Vitor Boer Abitante, Joana Meneguzzo Pasquali, Luan Fonseca Garcia, Ewerton de Oliveira, Thomas da Silva Paula, Rodrigo C. Barros, Lucas S. Kupssinskü

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: João Vitor Boer Abitante, Joana Meneguzzo Pasquali, Luan Fonseca Garcia, Ewerton de Oliveira, Thomas da Silva Paula, Rodrigo C. Barros, Lucas S. Kupssinskü

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente bibliotheek hebt (een Groot Taalmodel of LLM) die alles weet over de wereld. Maar soms wil je dat deze bibliotheek bepaalde boeken vergeten, bijvoorbeeld omdat ze auteursrechtelijk beschermd zijn of omdat ze gevoelige informatie bevatten. Dit proces noemen we "machine unlearning" of het laten vergeten van informatie.

Deze paper beschrijft een nieuw probleem en een slimme oplossing, met een paar leuke vergelijkingen.

Het Probleem: De "Vergeten" Boeken die toch Terugkomen

Stel je voor dat je een bibliotheekbestuurder bent. Je vraagt de bibliothecaris om een specifiek boek te verwijderen uit de collectie.

De normale manier (Full-FT): De bibliothecaris loopt heel voorzichtig door de gangen en schuift de boekenplanken een heel klein beetje op om ruimte te maken voor het verwijderen van dat ene boek. Hij doet dit zo subtiel dat de rest van de bibliotheek precies hetzelfde blijft.
Het probleem (Quantisatie): Nu wil je de bibliotheek verplaatsen naar een klein, goedkoop busje (dit is kwantisatie: het verkleinen van het model om het sneller en goedkoper te maken). In dit busje passen alleen boeken in een heel strakke, vooraf bepaalde indeling.
De catastrofe: Omdat de bibliothecaris de boekenplanken maar heel weinig heeft verschoven (om de rest van de bibliotheek niet te verstoren), past de nieuwe indeling in het busje precies op de oude positie. Het busje "verwijdert" de verschuiving niet; het ziet eruit alsof het boek er nog steeds staat. Het vergeten is dus verdwijnen zodra het model wordt verkleind.

De auteurs zeggen: "Als je het model te veel verkleint (bijvoorbeeld naar 4-bit, wat heel weinig ruimte is), verdwijnen de kleine aanpassingen die nodig waren om iets te vergeten. Het model 'herinnert' zich alles weer."

De Oplossing: De "LoRA"-Truc

De auteurs bedachten een slimme manier om dit op te lossen, genaamd LoRA (Low-Rank Adaptation).

In plaats van de hele bibliotheek (alle boekenplanken) een beetje te verschuiven, doen ze het volgende:

Vries de bibliotheek in: De originele boekenplanken blijven precies waar ze zijn. Niets wordt aangepast.
Voeg een "mobiele wand" toe: Ze bouwen een kleine, flexibele wand (de LoRA-adapters) voor de boekenplanken.
De krachtige verschuiving: In plaats van de hele bibliotheek te verplaatsen, schuiven ze alleen deze mobiele wand flink op. Omdat ze niet bang hoeven te zijn dat ze de rest van de bibliotheek verstoren, kunnen ze deze wand heel hard en heel ver duwen.
Het resultaat in het busje: Zelfs als je de bibliotheek in het kleine busje stopt, is die wand zo groot en duidelijk verschoven dat hij er nog steeds uitsteekt. De "verwijdering" is nu zichtbaar, zelfs in de kleine ruimte.

Wat betekent dit in het echt?

Het oude probleem: Normale methoden om informatie te laten vergeten zijn te "zacht". Ze maken kleine veranderingen die verdwijnen als je het model comprimeert (kwantisatie).
De nieuwe methode (LoRA): Door alleen kleine, extra onderdelen (adapters) te trainen en de rest van het model stil te laten, kunnen ze deze onderdelen veel sterker aanpassen.
De uitkomst: Zelfs als ze het model extreem verkleinen (van 16-bit naar 4-bit, wat als van 1080p naar een pixelated 144p beeld gaat), blijft het effect van het "vergeten" behouden. Het model vergeet wat het moet vergeten, maar onthoudt nog steeds wat het moet weten (zoals algemene kennis).

Samenvatting in één zin

De auteurs hebben ontdekt dat je een model niet zachtjes kunt "herprogrammeren" als je het daarna in een kleine doos stopt; in plaats daarvan moet je een extra, krachtig hulpmiddel (LoRA) gebruiken dat zo groot verandert dat het zelfs in de kleinste doos nog zichtbaar blijft.

Dit is een doorbraak voor bedrijven die AI-modellen willen gebruiken op apparaten met weinig geheugen (zoals telefoons of laptops), zonder dat ze bang hoeven te zijn dat gevoelige informatie per ongeluk weer terugkomt.

Probleemstelling

Grote Taalmodellen (LLM's) vereisen vaak "Machine Unlearning" om gevoelige, auteursrechtelijk beschermde of schadelijke kennis uit een getraind model te verwijderen. Hoewel bestaande methoden (zoals Gradient Ascent en Negative Preference Optimization) effectief blijken in hoge precisie (FP16/BF16), falen ze vaak bij praktische implementaties die Post-Training Quantization (PTQ) gebruiken voor efficiëntie.

De kern van het probleem is dat standaard unlearning-algoritmen zeer kleine, diffuse gewichtsupdates genereren over het volledige netwerk om de nuttigheid van het model te behouden. Bij agressieve kwantisatie (bijvoorbeeld 4-bit) is de stapgrootte van de kwantisatiegrootte echter vaak groter dan de grootte van deze unlearning-updates. Hierdoor worden de updates "gemaskeerd": de kwantiseerde waarden vallen in hetzelfde discretisatie-interval als de oorspronkelijke gewichten, waardoor het model terugkeert naar zijn pre-unlearning toestand en de vergeten kennis herwint.

Methodologie: Quantization-Robust Unlearning via LoRA

De auteurs stellen een nieuwe aanpak voor: Quantization-Robust Unlearning via Low-Rank Adaptation (LoRA). In plaats van het volledige model te finetunen, worden de volgende mechanismen toegepast:

Bevriezen van Basis Gewichten: De oorspronkelijke pre-trained gewichten ( $W_0$ ) worden bevroren.
Trainbare Adapters: Unlearning wordt geconcentreerd in trainbare laag-rang matrices ( $A$ en $B$ ) die de update $\Delta W$ vertegenwoordigen ( $W_{new} = W_0 + \Delta W$ , waarbij $\Delta W = \alpha BA$ ).
Versterking van Updates: Door de optimalisatie te beperken tot een laag-rang subruimte, kunnen de auteurs:
- Hogere leersnelheden gebruiken: Dit leidt tot grotere numerieke updates binnen de adapters.
- Schalingsfactoren ( $\alpha$ ) aanpassen: Dit vergroot de magnitude van de updates onafhankelijk van de leersnelheid.
- Doelgerichte Laagselectie: Unlearning wordt gefocust op specifieke lagen (bijv. MLP of Attention), waardoor de update-magnitude in die lagen groot genoeg wordt om de kwantisatiegrenzen te kruisen.
Mergen voor Kwantisatie: De getrainde LoRA-adapters worden expliciet samengevoegd (merged) met de basisgewichten voordat de 4-bit kwantisatie wordt toegepast. Dit zorgt ervoor dat de kwantisatie de daadwerkelijke unlearning-updates ondergaat in plaats van alleen de basis.

Belangrijkste Bijdragen

Analyse van het Conflict: Het paper identificeert en analyseert theoretisch waarom minimale gewichtsupdates in standaard unlearning falen onder 4-bit kwantisatie (het "Quantization Masking" effect).
Nieuw Framework: Het introduceren van een unlearning-framework dat gebruikmaakt van rang-beperkingen en schalingsfactoren om structurele updates te genereren die robuust zijn tegen kwantisatieruis.
Empirisch Bewijs: Het aantonen dat LoRA-unlearning superieur is aan Full-Parameter Fine-Tuning (Full-FT) bij het behouden van unlearning-effecten na 4-bit PTQ, zonder de algemene prestaties van het model te offeren.

Resultaten

De methode werd geëvalueerd op het MUSE-benchmark met het Llama-2-7B model op twee datasets: Books (Harry Potter) en News (BBC). De resultaten tonen aan:

Verbeterde Robuustheid: Full-FT methoden lijden onder zware degradatie bij 4-bit kwantisatie. LoRA behoudt daarentegen de unlearning-effecten.
- Voorbeeld (Books, NPO+GDR): De nuttigheid (Utility) steeg van 50,17 (Full-FT) naar 58,10 (LoRA) na 4-bit kwantisatie.
- Voorbeeld (News, GA+GDR): De nuttigheid steeg van 40,06 naar 44,82.
Privacy Leckage: LoRA reduceert privacy-lekkage aanzienlijk. Voor GA+KLR op de Books-dataset verbeterde de PrivLeak-score van -25,68 (Full-FT) naar -5,86 (LoRA), wat dichter bij het ideale punt 0 ligt.
Vergeetvermogen: LoRA zorgt ervoor dat de scores voor Verbatim Memorization (VerMem) en Knowledge Memorization (KnowMem) dicht bij 0 blijven, zelfs na kwantisatie, wat aangeeft dat de kennis effectief is verwijderd.
Stabiliteit: In veel gevallen (bijv. NPO+KLR op Books) blijven de prestaties van LoRA bijna identiek tussen full-precision en 4-bit kwantisatie, wat een hoge mate van stabiliteit aangeeft.

Significantie

Dit onderzoek is cruciaal voor de praktische implementatie van privacybewuste LLM's. Het toont aan dat voor scenario's waarin kwantisatie noodzakelijk is (bijvoorbeeld voor deployen op randapparaten of voor kostenefficiëntie), standaard unlearning-methoden ontoereikend zijn. Door LoRA te gebruiken, kunnen ontwikkelaars een balans vinden tussen privacy (effectief vergeten), veiligheid (reduceren van lekkage) en efficiëntie (4-bit deployen), zonder dat het model terugvalt naar zijn oorspronkelijke, onveilige toestand. Het biedt een pad naar "deployable unlearning" in resource-beperkte omgevingen.