🤖 machine learning

SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning

Het artikel stelt SAUL voor, een nieuw machine unlearning-framework voor Large Language Models dat vergeten formuleert als een expliciet geconstrueerd minimalisatieprobleem met behulp van een adaptieve Augmented-Lagrangian controller en sharpness-aware updates om het wissen van kennis effectief af te wegen tegen het behoud van algemene bruikbaarheid.

Oorspronkelijke auteurs: Jaewan Choi, Junyoung Yang, Sangdon Park

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaewan Choi, Junyoung Yang, Sangdon Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter veel van de meest geavanceerde kunstmatige intelligentie-instrumenten van vandaag. Ze worden getraind op enorme oceanen van tekst, waarbij ze leren om het volgende woord in een zin met opmerkelijke nauwkeurigheid te voorspellen. Deze training bevat echter vaak gevoelige informatie, zoals privégegevens, auteursrechtelijk beschermd materiaal of schadelijke instructies die de samenleving liever niet door deze modellen zou laten leren. De uitdaging is hoe je een model specifieke slechte of privé informatie kunt laten "vergeten" zonder het vermogen om algemene vragen te beantwoorden of nuttige taken uit te voeren te breken. Als je probeert de slechte data te wissen door het model simpelweg vanaf nul opnieuw te trainen, is dat ongelooflijk duur en traag. Als je probeert de kennis chirurgisch te verwijderen, beschadig je vaak de algemene intelligentie van het model, waardoor het struikelt over onschuldige vragen waar het voorheen perfect op antwoordde. Dit creëert een moeilijke evenwichtsoefening: hoe verwijder je precies genoeg om veilig te zijn, maar niet zoveel dat het model nutteloos wordt?

Onderzoekers aan de POSTECH in Zuid-Korea hebben een nieuwe aanpak voorgesteld om dit delicate probleem op te lossen, genaamd SAUL. In plaats van het verwijderen van informatie te behandelen als een vaag doel waarbij het model probeert "minder goed" te zijn in specifieke taken terwijl het "goed" blijft in andere taken, hebben zij het geformuleerd als een strikte regel. Stel je een student voor die een toets maakt en te horen krijgt: "Je moet een score van nul halen op deze drie specifieke vragen over een geheim onderwerp, maar je moet je score op alle andere vragen zo hoog mogelijk houden." Eerdere methoden probeerden dit vaak te bereiken door de twee doelen te mengen met een enkele instructie, wat het moeilijk maakte om precies te weten wanneer het geheime onderwerp werkelijk vergeten was of wanneer het model werd gedwongen te veel te vergeten. De nieuwe methode, SAUL, stelt een duidelijke, harde lijn: het model moet een specifiek niveau van vergeten bereiken, en zodra het die lijn overschrijdt, stopt de druk om te vergeten onmiddellijk.

De kern van dit nieuwe systeem is een slimme controller die de voortgang van het model in realtime in de gaten houdt. Het controleert constant of het model de doelinformatie succesvol is vergeten. Als het model nog te veel herinnert, past de controller druk toe om te helpen vergeten. Maar op het moment dat het model het vereiste niveau van vergeten heeft bereikt, zet de controller de druk volledig uit. Dit voorkomt dat het model wordt gedwongen meer te vergeten dan nodig is, wat vaak de oorzaak is dat het zijn algemene kennis verliest. De onderzoekers ontdekten dat door het proces van vergeten precies te stoppen wanneer het doel is bereikt, het model veel meer van zijn nuttige vermogens behoudt dan voorheen. Om dit proces nog stabieler te maken, voegden ze een techniek toe die ervoor zorgt dat de kennis van het model niet wiebelt of onverwacht verandert bij kleine verschuivingen in de interne instellingen, en ze gebruikten twee aparte "geheugensporen" voor de vergetens- en de herinneringstaken zodat deze elkaar niet verstoren.

Toen het team deze methode testte op verschillende verschillende benchmarks, waren de resultaten duidelijk. Op een dataset genaamd ToFU, die het vermogen van een model test om specifieke fictieve auteurs te vergeten, bereikte de nieuwe methode de beste balans tussen vergeten en het behouden van algemene kennis. Het wist de doelinformatie succesvol te wissen terwijl het algemene prestatievermogen van het model hoog bleef. In tests die betrekking hadden op gevaarlijke kennis, zoals instructies over hoe biologische wapens of cyberaanvallen te creëren, verminderde de methode het vermogen van het model om die vragen te beantwoorden tot het niveau van willekeurig gokken, terwijl het nog steeds in staat was om algemene wetenschappelijke en historische vragen correct te beantwoorden. De onderzoekers toonden ook aan dat deze "stop-wanneer-klaar"-controller aan andere bestaande methoden kan worden toegevoegd om deze te verbeteren, wat suggereert dat het idee van het stellen van een duidelijke limiet aan vergeten breed waardevol is.

De studie benadrukt dat de sleutel tot effectief onlearning niet alleen is om harder te proberen te vergeten, maar te weten wanneer je precies moet stoppen. Door vergeten te behandelen als een beperking met een duidelijke finishlijn, in plaats van een eindeloze strijd, creëerden de onderzoekers een systeem dat preciezer is en minder destructief voor de algemene intelligentie van het model. Hoewel de methode een zorgvuldige selectie van de "vergetensdrempel" vereist — het specifieke punt waarop het model wordt beschouwd als voldoende vergeten — biedt het een praktische manier om de afweging tussen veiligheid en bruikbaarheid te beheren. Het werk suggereert dat we in de toekomst in staat kunnen zijn om grote taalmodellen te bewerken met de precisie van een chirurg in plaats van de brute kracht van een sloophamer, waarbij schadelijke data worden verwijderd terwijl de rest van de kennis van het model intact blijft.

Technische Samenvatting: SAUL (Sharpness-Aware Augmented-Lagrangian Unlearning)

Probleemstelling

Large Language Models (LLM's) worden getraind op enorme corpora die vaak gevoelige, auteursrechtelijk beschermde of schadelijke informatie bevatten. Machine unlearning (het 'ontleren' van modellen) beoogt de invloed van specifieke "forget" data (data om te vergeten) uit een model te verwijderen zonder de prohibitieve kosten van het opnieuw trainen vanaf nul. Bestaande methoden worden echter geconfronteerd met een kritieke trade-off: het wissen van doelgerichte kennis degradeert vaak de algemene bruikbaarheid op "retain" data (data om te behouden).

Huidige benaderingen behandelen dit conflict doorgaans via gewogen doelstellingen die forget- en retain-termen combineren. Deze methoden specificeren impliciet het gewenste niveau van vergeten via trade-off coëfficiënten, die gevoelig zijn voor datasets, modelarchitecturen en forgetting-ratio's. Bijgevolg resulteren ze vaak in ofwel onvoldoende vergeten, ofwel onnodige degradatie van de bruikbaarheid. Bovendien behandelen recente optimalisatiegebaseerde benaderingen (bijv. bi-level methoden of sharpness-aware minimizatie) vergeten als een open einde druk in plaats van een expliciete beperking, waardoor onnodig vergeten de bruikbaarheid aan de retain-zijde kan uithollen.

Methodologie: SAUL

De auteurs stellen SAUL (Sharpness-Aware Augmented-Lagrangian Unlearning) voor, een framework dat LLM unlearning formuleert als een geconstreerd minimalisatieprobleem gebaseerd op het principe van "genoeg vergeten, maar niet meer dan nodig".

1. Geconstreerde Formulering

In tegen tegenstelling tot gewogen formuleringen, definieert SAUL unlearning als:
$\min_{\theta} L_r(\theta) \quad \text{onder de voorwaarde dat} \quad L_f(\theta) \geq \alpha$
waarbij $L_r$ de retain loss is, $L_f$ de forget loss is, en $\alpha$ een door de gebruiker gespecificeerde drempelwaarde is die een expliciet voldoeningniveau voor vergeten definieert. Deze formulering maakt het mogelijk dat de optimalisatie zich uitsluitend richt op het behoud van de retain-zijde bruikbaarheid zodra aan het criterium voor vergeten is voldaan.

2. Augmented Lagrangian Controller (ALM)

De kern van SAUL is een Augmented Lagrangian controller die de druk van het vergeten adaptief beheert:

Adaptieve Activering: De controller gebruikt een Lagrange-multiplier $\lambda$ om schendingen van de beperking $L_f(\theta) \geq \alpha$ te bestraffen.
Deactiveringsmechanisme: Naarmate het voorgeschreven criterium wordt nageleefd, neemt de geprojecteerde multiplier af en kan deze uiteindelijk nul bereiken. Wanneer $\lambda = 0$ , wordt de gradiënt van de forget-zijde volledig uitgeschakeld (gated off) en richt de optimalisatie zich uitsluitend op het minimaliseren van de retain loss. Deze adaptieve deactivering ontbreeft in eerdere geconstreerde of penalty-gebaseerde methoden.
Robuustheid: De controller wordt toegepast op een sharpness-aware forget loss, waarbij de beperking wordt afgedwongen over een lokale gewichtsruimte-nabijheid in plaats van alleen op de huidige parameters.

3. Sharpness-Aware Updates

SAUL integreert Sharpness-Aware Minimization (SAM) om de unlearning-dynamiek te stabiliseren:

Retain-zijde: Minimaliseert de worst-case retain loss (innerlijke maximalisatie over perturbaties) om te garanderen dat het model stabiel blijft onder lokale gewichtsveranderingen, wat de bruikbaarheid behoudt.
Forget-zijde: Maximaliseert de best-case forget loss (innerlijke minimalisatie over perturbaties). Dit dwingt de forget-landschap hoog te blijven, zelfs op het punt in de nabijheid dat het gemakkelijkst te herstellen is, waardoor het vergeten robuust blijft tegen lokale perturbaties.
Asymmetrie: De retain-zijde gebruikt innerlijke maximalisatie (om de worst case laag te houden), terwijl de forget-zijde innerlijke minimalisatie gebruikt (om de best case hoog te houden).

4. Duale Optimizer States

Om interferentie tussen de conflicterende semantiek van forget- en retain-gradiënten te voorkomen, hanteert SAUL een dual-optimizer ontwerp:

Het onderhoudt twee onafhankelijke optimizer states (gebaseerd op AdamW) voor dezelfde modelparameters: één voor de forget-doelstelling ( $s_f$ ) en één voor de retain-doelstelling ( $s_r$ ).
Deze ontkoppeling zorgt ervoor dat geaccumuleerde momenten (eerste- en tweede-orde statistieken) consistent blijven met hun specifieke rollen, wat instabiliteit door het mengen van heterogene gradiëntsignalen vermindert.

5. Drop-in Toepasbaarheid

Naast het volledige SAUL-framework demonstreren de auteurs dat de Augmented Lagrangian controller kan dienen als een "drop-in" modifier voor bestaande sharpness- en perturbatiegebaseerde baselines. Door de vervanging van vaste trade-off tuning door constraint-gedreven adaptatie, verbetert deze component alleen al de post-forgetting bruikbaarheid in representatieve baselines.

Belangrijkste Bijdragen

Expliciete Geconstreerde Formulering: De auteurs formuleren LLM unlearning als een geconstreerd minimalisatieprobleem waarbij een doel-drempelwaarde $\alpha$ expliciet het niveau van vergeten specificeert, waarmee zij afstappen van impliciete trade-off coëfficiënten.
Adaptieve Deactivering: Zij stellen een Augmented Lagrangian controller voor die de forget-zijde druk vermindert en uiteindelijk kan deactiveren zodra het criterium is voldaan, wat onnodige erosie van de bruikbaarheid voorkomt.
Integratie en Modulariteit: Zij tonen aan dat de voorgestelde controller geïntegreerd kan worden in representatieve sharpness- en perturbatiegebaseerde methoden. Als een drop-in modifier verbetert het consequent de post-forgetting bruikbaarheid, wat de praktische waarde van expliciete controle over vergeten aantoont.
Omvattend Framework (SAUL): Zij instantiëren het framework als SAUL, waarbij de controller wordt gecombineerd met sharpness-aware updates en rol-gescheiden optimizer states, wat gunstige forgetting–utility trade-offs oplevert over meerdere benchmarks.

Experimentele Resultaten

SAUL werd geëvalueerd op drie benchmarks: TOFU (fictieve auteur vergeten), WMDP (verwijderen van gevaarlijke kennis) en MUSE (verbatim memorisatie).

TOFU: Onder een gematchte forgetting criterion ( $FROUGE \leq 0.03$ ) behaalde SAUL de hoogste harmonische gemiddelde (HM) van 72,79, waarmee het de op één na beste constraint-satisfying methode (Sharp Min–Max + ALM, HM 67,11) met 5,7 punten versloeg. SAUL behield lage Forget scores terwijl het een hoge bruikbaarheid behield op retain sets en nabijheid-data (Real Authors).
WMDP: SAUL behaalde een MMLU-nauwkeurigheid van 0,542, vergelijkbaar met BLUR (0,540) en aanzienlijk hoger dan Relearning-resilient (0,414), terwijl de nauwkeurigheid van gevaarlijke kennis nabij de kans op toeval bleef.
MUSE Books: SAUL behaalde de sterkste algehele forget (KnowMem op forget set $\approx 0,77$ ) terwijl het retain-zijde kennis behield (48,25) die vergelijkbaar is met BLUR (48,40) en een PrivLeak score verkreeg die dichter bij nul lag dan andere baselines.
Ablatie & Drop-in: Experimenten bevestigden dat de ALM-component alleen al de bruikbaarheid verbetert wanneer deze op baselines wordt toegepast. Ablatiestudies toonden aan dat zowel de ALM-controller als de sharpness-aware updates bijdragen aan de uiteindelijke prestaties.

Betekenis en Claims

Het artikel claimt dat SAUL het fundamentele probleem van bestaande unlearning-methoden aanpakt: het gebrek aan een voorgeschreven voldoeningscriterium voor vergeten. Door vergeten te behandelen als een expliciete beperking in plaats van een open-einde optimalisatiedruk, zorgt SAUL ervoor dat het model "genoeg vergeet, maar niet meer dan nodig".

De auteurs benadrukken dat hun aanpak een stabielere en interpreteerbare interface biedt voor het controleren van de forgetting–utility trade-off. Het vermogen om de forget-zijde druk te deactiveren zodra een criterium is voldaan, voorkomt het "over-vergeten" dat algemene capaciteiten degradeert. Verder suggereert de modulariteit van de Augmented Lagrangian controller dat expliciete controle over vergeten een breed toepasbaar principe is dat bestaande unlearning-methoden kan verbeteren zonder een volledige architecturale herziening te vereisen.

Het artikel merkt bescheiden de beperkingen op, waaronder de noodzaak voor handmatige selectie van de forgetting drempelwaarde $\alpha$ en het feit dat de robuustheidsgaranties beperkt zijn tot gewichtsruimte-perturbaties in plaats van alle adversariële prompt-niveau aanvallen.