🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

Dit artikel introduceert Loss-Constrained Dual Descent (LCDD) en SFT-Eraser om gedrag van supervised fine-tuning te comprimeren tot schaarse, causaal noodzakelijke subnetwerken ("dragers") die tijdens inferentie selectief kunnen worden onderdrukt via een soft prompt zonder de modelgewichten te wijzigen.

Oorspronkelijke auteurs: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot (een Large Language Model) hebt die een nieuwe truc heeft geleerd, zoals altijd "Ik weet het niet" zeggen op vragen, weigeren om gevaarlijke vragen te beantwoorden, of spreken als Shakespeare. Dit proces heet Supervised Fine-Tuning (SFT).

Het probleem dat de auteurs ontdekten, is dat wanneer ze de robot deze nieuwe truc leren, de "kennis" van hoe het te doen, verspreid raakt over het hele brein van de robot. Het is alsof je iemand fietsen leert, maar ze dan elke enkele spier in hun lichaam laten gebruiken om het te doen, in plaats van alleen hun benen en evenwicht. Omdat de vaardigheid overal aanwezig is, is het moeilijk om het later uit te schakelen zonder het vermogen van de robot om normaal te spreken te breken.

Dit artikel introduceert een manier om de robot een nieuwe truc te leren op een zeer specifieke, compacte manier, zodat de truc in een klein, geïsoleerd "vertrek" binnen zijn brein woont. Vervolgens tonen ze aan dat ze dat specifieke vertrek kunnen uitschakelen met een geheime code, waardoor de robot de truc direct vergeet, terwijl de rest van zijn brein perfect intact blijft.

Hier is hoe ze dit deden, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Oprol Zolder"

Normaal gesproken, wanneer je een model fine-tunt, verspreidt het nieuwe gedrag zich als een rommelige zolder. Als je het gedrag later wilt verwijderen, moet je door de hele zolder graven, en je kunt per ongeluk het vermogen van de robot om wiskunde te doen of e-mails te schrijven, weggooien. Je kunt de exacte "schakelaar" voor het nieuwe gedrag niet gemakkelijk vinden omdat het verstrikt zit met alles anders.

2. De Oplossing Deel 1: LCDD (De "Pakexpert")

De auteurs hebben een methode bedacht genaamd Loss-Constrained Dual Descent (LCDD). Denk hierbij aan een super-georganiseerde pakexpert.

Het Doel: Ze willen het "nieuwe gedrag" nemen en het dwingen in een klein, spaarzaam "rugzakje" (dat ze een Carrier noemen) binnen het brein van de robot.
De Beperking: Ze vertellen de pakexpert: "Je moet het hele nieuwe gedrag in dit kleine rugzakje passen, maar je mag de robot niet laten vergeten hoe hij zijn andere taken moet uitvoeren (zoals het correct beantwoorden van vragen)."
Het Resultaat: De expert slaagt erin het nieuwe gedrag te comprimeren tot een klein, geïsoleerd sub-netwerk. De rest van het brein van de robot blijft precies zoals het was voor het trainen. Het nieuwe gedrag is nu 100% afhankelijk van dit kleine rugzakje. Als het rugzakje aanwezig is, gebeurt het gedrag. Als het rugzakje geblokkeerd is, verdwijnt het gedrag.

3. De Oplossing Deel 2: SFT-Eraser (De "Geheime Code")

Zodra het gedrag vergrendeld is in dat kleine rugzakje, hebben de auteurs een tweede tool bedacht genaamd SFT-Eraser.

Hoe het werkt: Ze veranderen de gewichten van het brein van de robot niet (wat hetzelfde is als het niet herschrijven van de handleiding van de robot). In plaats daarvan creëren ze een speciale soft prompt (een reeks onzichtbare, wiskundige "woorden" die aan de invoer worden toegevoegd).
De Magie: Wanneer deze geheime code aan een vraag wordt toegevoegd, werkt het als een sleutel die specifiek het "rugzakje" waar het nieuwe gedrag woont, vastloopt.
Het Resultaat: De robot keert direct terug naar zijn oorspronkelijke persoonlijkheid. Als het was getraind om als Shakespeare te spreken, spreekt het plotseling weer modern Engels. Als het was getraind om gevaarlijke vragen te weigeren, begint het ze weer te beantwoorden. De robot is niet "onttraind"; het specifieke deel van zijn brein dat dat gedrag vasthield, werd tijdelijk geneutraliseerd.

4. Het Bewijs: Waarom Structuur Belangrijk Is

De auteurs voerden een cruciale test uit om te bewijzen dat de structuur (het kleine rugzakje) de echte held was, niet alleen de geheime code.

Het Experiment: Ze probeerden dezelfde "geheime code" te gebruiken op een robot die niet het kleine rugzakje had (een standaardrobot waar het gedrag overal verspreid is).
Het Resultaat: De code faalde. Het kon het gedrag niet uitschakelen omdat er geen enkel, geïsoleerd doelwit was om vast te lopen.
De Les: Dit bewijst dat je een gedrag niet zomaar uit een rommelig brein kunt "hacken". Je moet eerst een schone, geïsoleerde structuur bouwen waar dat gedrag in kan wonen. Zodra het geïsoleerd is, kun je het perfect controleren.

Samenvatting van Wat Ze Vonden

Kunnen we een gedrag omkeerbaar maken? Ja.
Hoe? Door het gedrag tijdens het trainen te dwingen in een klein, spaarzaam "carrier" (met behulp van LCDD) en vervolgens een speciale invoercode (SFT-Eraser) te gebruiken om die carrier te blokkeren.
Werkt het? Ze hebben dit getest op drie zeer verschillende gedragingen:
1. Vaste Reactie: De robot altijd "Ik weet het niet" laten zeggen.
2. Veiligheid: De robot weigeren om schadelijke vragen te beantwoorden.
3. Stijl: De robot laten spreken als Shakespeare.
Het Oordeel: In alle gevallen slaagden ze erin het gedrag te comprimeren tot een klein deel van het brein en konden ze het naar wens aan- en uitschakelen zonder de onderliggende code van de robot te veranderen.

Belangrijke Opmerking: De "geheime code" die ze gebruiken, is een continue wiskundige reeks (een "soft prompt"), niet een eenvoudig woord dat je in een chatvenster kunt typen. Het artikel behandelt dit als een manier om te bewijzen dat gedragingen causaal geïsoleerd en gecontroleerd kunnen worden, in plaats van een kant-en-klaar product voor dagelijkse chatbots.

Technische Samenvatting: Het Creëren van Omkeerbare SFT-Gedragingen in Grootte Taalmodellen

Probleemstelling

Supervised Fine-Tuning (SFT) is het standaardmechanisme voor het inbrengen van implementatiekritieke gedragingen (bijvoorbeeld veiligheidsuitlijning, instructievolging, stijladaptatie) in Grootte Taalmodellen (LLM's). Het SFT-proces legt echter geen structurele beperkingen op aan hoe deze gedragingen intern worden georganiseerd. Bijgevolg worden geleerde gedragingen vaak diffuus gecodeerd, redundant weergegeven of verstrengeld met niet-gerelateerde berekeningen.

Dit gebrek aan structuur creëert twee primaire beperkingen:

Mislukking van Causale Diagnose: Bestaande post-hoc interpretatiemethoden (bijvoorbeeld circuitattributie) identificeren spaarzame subnetwerken die correleren met gedragingen. Echter, correlatie impliceert geen causaliteit. Omdat het volledige model redundante paden behoudt, kan het ableren van een gecorreleerd subnetwerk het gedrag niet onderdrukken, waardoor het onmogelijk is om causale noodzaak conclusief vast te stellen.
Beperkte Causale Controleerbaarheid: Huidige methoden kunnen geen spaarzame substructuur instantiëren die mechanistisch noodzakelijk is voor een door SFT geïnduceerd gedrag. Hoewel taakvector-bewerking en modelbewerking parameters kunnen wijzigen, produceren ze geen substructuur die uitsluitend via inputinterventie onder vaste gewichten adresseerbaar is.

Het artikel adresseert de volgende onderzoeksvraag: Kunnen door SFT geïnduceerde gedragingen bewust worden gecomprimeerd tot spaarzame, mechanistisch noodzakelijke substructuren (dragers) die tijdens de inferentie controleerbaar blijven zonder modelgewichten te wijzigen?

Methodologie

De auteurs stellen een tweestapskader voor: Loss-Constrained Dual Descent (LCDD) voor het vervaardigen van de drager, en SFT-Eraser voor het valideren van zijn noodzaak via inputinterventie.

1. Parameterisatie van Gewichtsverandering

De benadering behandelt door SFT geïnduceerde berekening als een additieve gewichtsverandering $\Delta W = W_{ft} - W_{base}$ . Het model wordt geparameteriseerd als $W = W_{base} + M \odot \Delta W$ , waarbij $M$ een binaire masker is. Het doel is het vinden van het spaarzaamste $M$ dat het taakgedrag behoudt.

2. LCDD: Het Vervaardigen van Spaarzame Dragers

LCDD optimaliseert gezamenlijk het routeringsmasker $M$ en het gewichtsdelta $\Delta W$ om het gedrag te comprimeren tot een spaarzame drager, terwijl wordt voldaan aan een expliciet nutsbudget.

Gestructureerde Sparsiteit: In plaats van willekeurige gewichtselementen, wordt sparsiteit afgedwongen op het niveau van activatiekanalen (rijen en kolommen van gewichtsmatrices). Dit creëert rang-1 gestructureerde maskers ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ) die input- en output-activaties gaten, waardoor de door SFT geïnduceerde delta-berekening wordt geïsoleerd.
Optimalisatiedoel: De methode minimaliseert de sparsiteitsstraf (som van sigmoid-gate-logits) onderworpen aan een beperking dat de taakverlies $L_{task}$ binnen een budget $\epsilon$ blijft.
Adaptieve Straf: Er wordt een adaptieve strafmethode gebruikt waarbij een multiplier $\lambda_t$ online wordt bijgewerkt op basis van beperkingsschending. Een lineaire sparsiteits-warmup stelt het model in staat te stabiliseren voordat de compressie begint.
Gezamenlijke Optimalisatie: Cruciaal worden zowel het masker als de gewichtsdelta's gezamenlijk geoptimaliseerd. Dit stelt de resterende gewichten in staat zich rond de gesnoerde verbindingen te herorganiseren, waardoor diepere sparsiteit mogelijk wordt dan bij maskers-only-benaderingen.

3. SFT-Eraser: Het Valideren van Noodzaak

Zodra een spaarzame drager is vervaardigd, test SFT-Eraser of het gedrag kan worden onderdrukt door een inputtrigger zonder gewichtsmodificatie.

Doelselectie: De trigger richt zich op "residuele schrijfkanalen" (de outputgates van FFN- en attention-delpad), die fungeren als het interface van de drager met de residustroom.
Triggeroptimalisatie: Een soft prompt (continue token-embeddings) wordt geoptimaliseerd om een samengesteld verlies te minimaliseren:
- $L_{MSE}$ : Drijft de schrijfactivaties van de drager naar die van het basismodel op dezelfde input.
- $L_{KL}$ : Zorgt ervoor dat de outputverdeling terugkeert naar het basismodel (voorkomend artefacten door alleen kanaalniveau-matching).
- $L_2$ : Regulariseert de triggergrootte om degeneratieve embeddings te voorkomen.
Succescriteria: Omkering wordt als succesvol beschouwd als de trigger het SFT-gedrag onderdrukt terwijl de outputverdeling terugkeert naar het basismodel, wat aantoont dat de drager de causale bottleneck is.

Belangrijkste Bijdragen

Eerste Onderzoek naar Constructieve Dragers: Het artikel is het eerste dat de haalbaarheid onderzoekt van het bewust construeren van spaarzame, mechanistisch noodzakelijke substructuren voor SFT-gedragingen tijdens het trainen, in plaats van ze post-hoc te ontdekken.
LCDD Kader: Introduceert een methode om SFT-gedragingen te comprimeren tot spaarzame dragers via gezamenlijke optimalisatie van maskers en gewichten onder expliciete nutslimieten.
SFT-Eraser Protocol: Stelt een input-triggerprotocol voor dat de causale noodzaak van de geconstrueerde dragers valideert. Als een trigger gedrag onderdrukt onder vaste gewichten, is bewezen dat de drager de causale locus is, niet louter correlerend.
Empirische Validatie: Demonstreert over drie gedragstypen (Vaste Respons, Veiligheidsuitlijning, Shakespeare-stijl) en vier modelfamilies (Qwen, DeepSeek, Mistral, Vicuna) dat:
- LCDD doelgedragingen met hoge fideliteit behoudt.
- SFT-Eraser deze gedragingen betrouwbaar omkeert.
- De spaarzame structuur de noodzakelijke voorwaarde is voor omkering; het toepassen van dezelfde trigger op standaard SFT-modellen (zonder de vervaardigde drager) faalt om distributieve omkering te bereiken.

Experimentele Resultaten

De experimenten omvatten drie taken van toenemende structurele complexiteit:

Vaste Respons: Het model leert om "Ik weet het niet" te zeggen. LCDD bereikte hoge sparsiteit (73–84%) met bijna perfecte behoud van gedrag. Triggers verlaagden het vaste-responspercentage tot bijna nul.
Veiligheidsuitlijning: Getraind op schadelijke/onbedreigende verweven data. LCDD behield hoge veiligheidsweigerrates (88–98%). Triggers slaagden erin veiligheidsmetrieken te degraderen (lagere weigering, hogere aanvalsucces) en verdelingen terug te brengen naar het basismodel.
Shakespeare-stijl: Een distributieve stijltransfer-taak. Sparsiteit was lager (30–56%) vanwege de diffuse aard van stijlgedrag, maar triggers onderdrukten de stijl nog steeds effectief.

Ablatiebevindingen:

Structuur versus Trigger: Het toepassen van de SFT-Eraser-trigger op een standaard SFT-model (zonder LCDD) resulteerde in gedragsverstoring maar faalde om de verdeling terug te brengen naar het basismodel. Dit bevestigt dat de spaarzame structuur de werkzame factor is, niet het triggerontwerp.
Gezamenlijke Optimalisatie: Maskers-only-optimalisatie (vastzetten van gewichten en alleen optimaliseren van het masker) slaagde er niet in voldoende sparsiteitsdiepte of betrouwbare omkering te bereiken, wat bevestigt dat gezamenlijke gewichtherorganisatie noodzakelijk is om een adresseerbare bottleneck te creëren.

Betekenis en Claims

Het artikel claimt directe bewijs te leveren dat geleerde dragers causaal noodzakelijk zijn voor door SFT geïnduceerde gedragingen. Door een spaarzame substructuur te construeren die de volledige locus van het gedrag is, stellen de auteurs het volgende mogelijk:

Causale Diagnose: Voorbij correlatie gaan om noodzaak te testen via inputinterventie onder vaste gewichten.
Modulaire Controle: De mogelijkheid om specifieke gedragingen tijdens de inferentie te auditeren of selectief te onderdrukken zonder hertraining of gewichtsmodificatie.

De auteurs merken beperkingen op, waaronder het gebruik van continue soft prompts (in plaats van discrete tokens) voor triggers en de evaluatie op een enkele model-taakcombinatie voor structurele ablatie. Ze erkennen ook het risico van dubbel gebruik, aangezien de methodologie theoretisch zou kunnen worden gebruikt om veiligheidsuitlijning uit geïmplementeerde modellen te verwijderen. Het werk suggereert toekomstige richtingen in interpretability-onderzoek, zoals het gebruik van dragersparsiteit als proxy voor de beschrijvingscomplexiteit van gedragsomvormingen.