💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

Dit artikel betoogt dat het onthouden van taalmodellen moet worden afgestemd op specifieke functies in plaats van als een monolithische taak te worden behandeld, en toont aan door experimenten op 7-8B-modellen dat verschillende doelstellingen — namelijk een op cosine gebaseerde meta-lerende aanpak voor gevaarlijke kennis en een op multi-layer probes gebaseerde methode voor toxiciteit — superieure resultaten opleveren voor hun respectievelijke doelen.

Oorspronkelijke auteurs: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als uitzonderlijk getalenteerde, maar lichtelijk roekeloze studenten die bijna alles op internet hebben gelezen. Ze zijn uitstekend in het schrijven van verhalen en het beantwoorden van vragen, maar ze hebben ook enkele slechte gewoontes opgepikt: soms weten ze gevaarlijke geheimen (zoals hoe je een bom bouwt), en soms gebruiken ze kwetsende of giftige taal.

Het artikel betoogt dat het proberen om deze slechte gewoontes te "vergeten" geen één-op-een-oplossing is. Net zoals een leraar verschillende methoden gebruikt om een student te stoppen met vals spelen tijdens een wiskundetoets versus het stoppen van hun onbeleefdheid tegenover klasgenoten, hebben AI-onderzoekers verschillende hulpmiddelen nodig voor verschillende problemen.

Hier is een uiteenzetting van hun aanpak met behulp van eenvoudige analogieën:

1. Het Kernprobleem: Eén Maat Past Niet Bij Allen

De auteurs stellen dat "vergeten" (het leren van de AI om specifieke dingen te vergeten) niet behandeld moet worden als een enkele, generieke taak.

Gevaarlijke Kennis is als een student die een specifiek, gevaarlijk feit uit het hoofd leert (bijvoorbeeld: "Hoe maak je gif"). Dit is opgeslagen in het model als een specifiek bestand in een bibliotheek.
Giftigheid is als de slechte houding van een student of de neiging om onbeleefd te zijn. Dit is niet zomaar één feit; het is een vibe of een patroon dat verspreid is over de hele persoonlijkheid van de student.

Het artikel beweert dat, omdat deze twee problemen verschillend zijn opgeslagen in het "brein" van de AI, je twee verschillende strategieën nodig hebt om ze op te lossen.

2. Strategie A: Gevaarlijke Feiten Vergeten (De "Cosine"-Aanpak)

Wanneer de AI gevaarlijke feiten kent, probeerden de auteurs een nieuwe methode gebaseerd op richting in plaats van afstand.

De Oude Manier (L2-verlies): Stel je voor dat je probeert een speelgoedauto weg te duwen van een afgrond. De oude methode mat de exacte afstand tussen de auto en de afgrond. Als de auto 1 inch bewoog, werd dit beschouwd als vooruitgang. Maar als de auto enorm was, zou het verplaatsen van 1 inch misschien niet genoeg zijn.
De Nieuwe Manier (Cosine-verlies): De auteurs suggereren dat we niet om de exacte afstand moeten geven. In plaats daarvan moeten we om de richting geven waarin de auto kijkt. Als de auto naar de afgrond kijkt, draaien we hem 180 graden zodat hij naar de tegenovergestelde kant kijkt. Zelfs als hij nog steeds dicht bij de rand staat, wijst hij nu weg van het gevaar.
Het Resultaat: Ze gebruikten ook een "slimme coach" (meta-learning) die automatisch uitzoekt hoe hard je de auto moet duwen om hem te draaien zonder dat hij vergeet hoe hij moet rijden (algemene kennis). Dit werkte zeer goed voor het verwijderen van gevaarlijke feiten.

3. Strategie B: Giftigheid Vergeten (De "Multi-Laag"-Aanpak)

Wanneer de AI giftig is, faalde de methode "draai de auto om". Waarom? Omdat giftigheid niet op één specifieke plek is opgeslagen; het is als een vlek die is doorgedrongen in de stof van het brein van de AI over vele verschillende lagen.

Het Probleem: Als je slechts één plek op een bevlekt overhemd schrobt, is de vlek er nog steeds.
De Oplossing: De auteurs bouwden een "multi-laag schrober". Ze keken naar het brein van de AI op verschillende diepten (vroege, middelste en late lagen) en ontdekten dat het "giftigheidssignaal" er op elk niveau anders uitziet.
De Methode: Ze trainden speciale detectoren (probes) op verschillende lagen om precies te vinden waar de giftigheid zich verbergt. Vervolgens dwongen ze de AI om zijn gedrag op alle die lagen tegelijkertijd te veranderen, waardoor ze effectief de vlek van het hele overhemd schrobben, niet alleen van één plek.

4. Het Scorebord: S-Unlearning

Hoe weet je of de AI beter is? Je kunt niet zomaar zeggen: "Het is minder giftig", want misschien is het ook gestopt met behulpzaam zijn.
De auteurs creëerden een nieuwe score genaamd S-Unlearning.

Stel je een weegschaal voor. Aan de ene kant staat "Hoe goed hebben we het slechte verwijderd?" en aan de andere kant "Hoe goed hebben we het goede behouden?"
De S-Unlearning-score is als het oppervlak van een rechthoek die wordt gevormd door deze twee zijden. Je wilt een grote rechthoek (hoge verwijdering van slechte dingen EN hoge behoud van goede dingen). Als je het slechte verwijdert maar de AI zo kapotmaakt dat het niet meer kan praten, krimpt je rechthoek tot nul.

5. Wat Ze Vonden

Ze testten dit op vier verschillende open-source AI-modellen (zoals Llama, Mistral en Qwen).

Voor Gevaarlijke Feiten: Hun nieuwe "richtingsgebaseerde" methode werkte beter dan eerdere methoden om de AI gevaarlijke informatie te laten vergeten zonder zijn algemene intelligentie te verliezen.
Voor Giftigheid: Hun "multi-laag schrober" was veel effectiever dan het proberen om dezelfde methode te gebruiken die voor gevaarlijke feiten werd gebruikt. Ze ontdekten dat giftigheid inderdaad verspreid is, en dat je meerdere lagen moet targeten om het op te lossen.
De Grote Conclusie: Je kunt geen enkele "toverstaf" gebruiken om alle AI-problemen op te lossen. Je moet begrijpen hoe de AI het probleem opslaat (als een specifiek feit of als een verspreid gedrag) en het juiste gereedschap kiezen om het op te lossen.

Kortom: Om een specifiek feit te herstellen, verander je de richting. Om een slechte houding te herstellen, schroob je het hele systeem laag voor laag.

Technische Samenvatting: Doelen voor Modelvergeten Variëren per Taalfunctie

Probleemstelling

Grote Taalmodellen (LLMs) verwerven ongewenste eigenschappen tijdens het vooraf trainen, waaronder gevaarlijke feitelijke kennis (bijvoorbeeld bioveiligheidsrisico's) en het genereren van giftige taal. Hoewel methoden na het trainen verschillende doelen gebruiken om verschillende gedragingen te vormgeven (bijvoorbeeld instructieopvolging versus veiligheid), behandelen bestaande benaderingen voor vergeten het verwijderen van deze verschillende eigenschappen vaak als één enkel, generiek probleem.

De auteurs betogen dat vergeten doelafhankelijk moet zijn, analoog aan de diversiteit van doelen na het trainen. Zij stellen specifiek dat gevaarlijke kennis (feitelijke/procedurele informatie) en giftigheid (sociaal schadelijk gedrag) verschillend worden weergegeven binnen de interne mechanica van het model. Bijgevolg kan een enkel doel voor vergeten voor beide ondoeltreffend zijn. Huidige methoden slagen er vaak niet in om deze vaardigheden robuust te verwijderen of verslechteren onbedoeld de algemene bruikbaarheid van het model.

Methodologie

Het artikel stelt verschillende vergetenstrategieën voor die zijn afgestemd op de specifieke mechanische aard van de doel-eigenschap, geëvalueerd op vier open-source modellen van 7–8B (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. Vergeten van Gevaarlijke Kennis

Gebaseerd op mechanisch bewijs dat feitelijke kennis wordt opgeslagen in relatief stabiele locaties (onderwerp, object en laatste-token posities) over de lagen heen, passen de auteurs het RMU-framework (Representation Misdirection for Unlearning) aan:

Cosine-gebaseerde Verliesfunctie: Zij vervangen de standaard L2-afstandsverliesfunctie door een cosine-gebaseerde verliesfunctie. De hypothese is dat de representatieve richting kritischer is dan de exacte Euclidische positie. Dit optimaliseert de uitlijning tussen de bijgewerkte representatie en de doelrichting zonder onschadelijke grootteveranderingen te bestraffen.
Meta-geleerde Coëfficiënt ( $\alpha$ ): In plaats van de afwegingscoëfficiënt tussen de vergeet- en behoud-doelen vast te leggen, behandelen de auteurs $\alpha$ als een leerbare parameter. Met behulp van REINFORCE werkt het model $\alpha$ adaptief bij tijdens het fijnafstemmen om vergeten en behoud in evenwicht te brengen, waardoor de behoefte aan uitgebreide handmatige afstemming wordt weggenomen.

2. Vergeten van Giftigheid

Mechanische studies suggereren dat giftigheid anders wordt weergegeven, vaak opgeroepen in latere MLP-lagen en niet noodzakelijk verwijderd door uitlijningsmethoden zoals DPO. Een benadering met één laag of één richting bleek ondoeltreffend.

Doel voor Meerdere Lagen: De auteurs stellen een vergeetverlies voor dat giftigheidsrelevante signalen over meerdere lagen aanpakt.
Laag-specifieke Probes: Zij trainen lineaire logistische regressie-probes op de verborgen representaties van het laatste token van een bevroren referentiemodel op verschillende lagen om laag-specifieke giftigheidsrichtingen ( $LR_i$ ) te identificeren.
Orthogonalisatie: Het vergeetverlies moedigt de representaties van giftige invoer van het bijgewerkte model aan om orthogonaal te worden ten opzichte van de giftigheidsrichting op elke doelgerichte laag. Het verlies kwadrateert het inproduct om non-negativiteit en symmetrische gradiënten te garanderen, waardoor grotere gradiënten worden gegeven aan representaties die sterk zijn uitgelijnd met giftigheid.
Laagselectie: Experimenten geven aan dat effectief vergeten gecoördineerde updates vereist over verspreide dieptes (vroege, middelste en late lagen), aangezien giftigheidsrichtingen significant roteren over de diepte van het netwerk.

3. Evaluatiemaatstaf: S-vergeten

Om de afweging tussen prestaties bij vergeten ( $U$ ) en behouden bruikbaarheid ( $R$ ) samen te vatten, introduceren de auteurs S-vergeten:

Bruikbaarheids- en vergetenscores worden gecorrigeerd voor toeval.
De uiteindelijke score is het product $\bar{U} \cdot \bar{R}$ .
Deze maatstaf loopt van 0 tot 1, met een maximum wanneer vergeten sterk is en de bruikbaarheid hoog, en daalt tot nul als de bruikbaarheid zakt tot toevallige niveaus. Het is geometrisch equivalent aan het oppervlak van de rechthoek gedefinieerd door het punt $(\bar{U}, \bar{R})$ .

Belangrijkste Resultaten

De voorgestelde methoden werden geëvalueerd op vier modellen met WMDP voor gevaarlijke kennis en RealToxicityPrompts voor giftigheid.

Gevaarlijke Kennis: De cosine-gebaseerde, meta-geleerde RMU-variant behaalde sterke resultaten en presteerde beter dan standaard RMU en Adaptieve RMU op de meeste modellen (Mistral, Qwen, Olmo) terwijl het algemene vaardigheden (MMLU) behield. Het behaalde de beste S-vergeten-afweging op drie van de vier modellen.
Giftigheid: Het doel voor meerdere lagen presteerde aanzienlijk beter dan basismethoden. Waar standaard RMU en Adaptieve RMU giftigheid slechts met 2–3% verlaagden, behaalde de voorgestelde methode reducties van 6–24%.
- De methode leverde de hoogste S-vergetenscores voor giftigheid op voor alle modellen.
- Laganalyse: Probes onthulden dat giftigheidsrichtingen grotendeels laag-specifiek zijn (cosine-similariteit < 0,5 tussen de meeste kruislaagparen), wat de noodzaak van ingrepen op meerdere lagen valideert.
- Ablatie: Het bijwerken van drie of meer lagen (specifiek een mix van middelste en late lagen) leverde de beste veiligheids-bruikbaarheidsafwegingen op. Ingrepen op één laag faalden vaak om giftigheid significant te verminderen.

Betekenis en Aanspraken

Het artikel stelt dat vergeten moet worden bestudeerd als een familie van problemen in plaats van één enkele generieke ingreep.

Mechanisch Bewustzijn: De resultaten ondersteunen het perspectief dat verschillende taalfuncties (feitelijke recall versus giftige generatie) steunen op verschillende interne mechanismen. Daarom moeten doelen voor vergeten worden aangepast aan de specifieke functie die wordt verwijderd.
Geometrie van Vergeten: Voor feitelijke kennis is het behoud van de directionele structuur via cosine-verlies superieur aan L2-afstand. Voor giftigheid vereist de gedistribueerde en roterende aard van de representatie multi-layer, probe-geleide orthogonalisatie.
Evaluatie: De S-vergeten-maatstaf biedt een uniforme manier om de complexe afwegingen inherent aan vergeten vast te leggen, wat een betere vergelijking tussen methoden faciliteert.

De auteurs concluderen dat effectief vergeten een dieper begrip vereist van wat er wordt vergeten, en dat men moet overstappen van eenmalige oplossingen naar methoden die respect hebben voor de specifieke geometrische en structurele eigenschappen van de doelcapaciteit binnen de LLM.