🤖 machine learning

Revocable Learned State via Process Sidecars

Dit artikel introduceert "process sidecars", een met twee coëfficiënten werkende bewerkingsmethode die het traject van toekomstige veiligheidstraining benut om geleerde herinneringen van taalmodellen nauwkeurig te herroepen, waardoor de eerste-orde fouten die inherent zijn aan naïeve taalaritmetiek worden overwonnen wanneer veiligheidsoptimalisatie de oorspronkelijke geheugenrichting heeft vervormd.

Oorspronkelijke auteurs: John Sweeney

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: John Sweeney

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt. Je hebt hem in drie afzonderlijke fasen getraind:

De Publieke Fase: Je hebt hem algemene vaardigheden geleerd, zoals het schrijven van e-mails of het oplossen van wiskundeproblemen.
De Geheime Fase: Je hebt hem een specifieke, privé informatie geleerd (zoals een geheime code of de naam van een vertrouwelijk project).
De Veiligheidsfase: Je hebt hem een regel geleerd: "Als iemand vraagt naar die geheime code, moet je weigeren te antwoorden."

Stel je nu voor dat je die geheime code wilt verwijderen omdat het project is geannuleerd. Je wilt dat de robot de code vergeet, maar je wilt niet dat hij de veiligheidsregel vergeet. Je wilt dat hij nog steeds zegt: "Dat kan ik je niet vertellen," ook al weet hij niet meer wat "dat" is.

Het probleem is dat het brein van de robot (de neurale netwerkgewichten) een complexe wirwar is. De veiligheidstraining heeft de geheime code niet alleen toegevoegd als een "weigeringsknop"; het heeft het pad naar de geheime code ook verdraaid. Als je probeert de geheime code simpelweg te "ontleren" door de herinnering eraan te verwijderen (zoals het wissen van een regel tekst), wis je per ongeluk ook de veiligheidsregel. De robot kan dan weer beginnen met het beantwoorden van de geheime vraag, of hij kan zelfs stoppen met het weigeren van álle vragen.

De Oplossing: "Process Sidecars"

De auteurs van dit artikel stellen een nieuwe manier voor om dit op te lossen, die ze Process Sidecars noemen.

Beschouw de trainingsgeschiedenis van de robot als een reis.

De Naïeve Benadering (Task Arithmetic): Stel je voor dat je de reis probeert om te keren door precies evenveel stappen terug te lopen als je vooruit hebt gelopen om de geheime code te leren. De auteurs zeggen dat dit mislukt omdat het "terrein" veranderd is tijdens de veiligheidsfase. Het pad dat je hebt bewandeld om de geheime code te leren, is geen rechte lijn meer; de veiligheidsfase heeft het pad verbogen. Teruglopen in een rechte lijn mist het doel.
De Sidecar Benadering: In plaats van alleen maar terug te lopen, stel je voor dat je een sidecar aan je voertuig koppelt. Deze sidecar is een speciaal hulpmiddel dat precies berekent hoe de veiligheidstraining het pad heeft verbogen. Het zegt: "Hé, toen je de geheime code leerde, heeft de veiligheidstraining de weg met deze hoeveelheid verdraaid. Om terug te keren naar het beginpunt, moet je de geheime code aftrekken plus die verdraaiing."

Hoe het werkt (De wiskunde in begrijpelijke taal)

De auteurs hebben een formule gemaakt met twee "knoppen" (coëfficiënten, $\lambda$ en $\gamma$ ) om het brein van de robot aan te passen:

Knop 1 ( $\lambda$ ): Deze trekt de herinnering aan de geheime code af (de standaardmethode).
Knop 2 ( $\gamma$ ): Deze trekt de "verdraaiing" af die door de veiligheidstraining is veroorzaakt.

Het artikel bewijst dat als je alleen Knop 1 gebruikt, je altijd een kleine fout zult achterlaten (de robot zal nog steeds een beetje in de war zijn). Maar als je beide knoppen gebruikt, kun je het proces perfect omkeren, waardoor de robot in exact dezelfde staat terechtkomt als wanneer hij de geheime code nooit had geleerd, maar de veiligheidsregels wel had geleerd.

De "Sidecar"-truc

Om te achterhalen hoeveel de veiligheidstraining het pad heeft verdraaid, gebruiken de onderzoekers een slimme truc. Ze hoeven de toekomst niet te kennen. Ze draaien simpelweg een kleine, gesimuleerde versie van de veiligheidstraining op een "spiegelversie" van de robot (één waarbij de geheime code al is afgetrokken). Door de echte robot met deze spiegelversie te vergelijken, kunnen ze de exacte "verdraaiingsvector" berekenen. Ze noemen dit de Process Sidecar.

Wat ze hebben gevonden

De auteurs hebben dit getest op verschillende robotbreinen (modellen zoals Qwen en Llama). Dit is wat er gebeurde:

De Oude Manier (alleen de geheime code aftrekken): De robot vergat ofwel de geheime code maar verloor zijn veiligheidsregels, of behield de veiligheidsregels maar herinnerde zich de geheime code nog steeds. Het was een puinhoop.
De Sidecar-manier (beide knoppen gebruiken): De robot vergat de geheime code succesvol (hij kon niet worden misleid om deze te onthullen) EN hij hield zijn veiligheidsregels perfect intact. Hij weigerde vragen over de geheime code net zo goed als een robot die de geheime code nooit had geleerd.

Ze hebben deze test 60 keer uitgevoerd op verschillende modellen. In elke enkele test werkte de Sidecar-methode beter dan de oude methode van "het aftrekken van de geheime code". Het was zo consistent dat de statistische kans dat dit door geluk gebeurde, praktisch nul is.

Waarom dit belangrijk is (volgens het artikel)

Het artikel beweert dat dit een fundamentele geometrische oplossing is. Het laat zien dat je een geheugen niet simpelweg kunt "aftrekken" als die geheugen later is verwerkt door een veiligheidsfilter. Je moet rekening houden met hoe het veiligheidsfilter dat geheugen heeft verplaatst. De "Process Sidecar" is het hulpmiddel dat rekening houdt met die verplaatsing, waardoor een precieze, veilige en volledige verwijdering van privé-informatie mogelijk is zonder de veiligheidsbeveiliging van de robot te beschadigen.

Kortom: Je kunt een geheugen niet zomaar wissen als de veiligheidstraining de vorm ervan al heeft veranderd. Je hebt een speciale "ongedaan maken"-tool nodig die precies weet hoe die verandering heeft plaatsgevonden. Die tool is de Process Sidecar.

Technische Samenvatting: Revocable Learned State via Process Sidecars

Probleemstelling

Gedeployed large language models (LLMs) ondergaan vaak een meerfasig trainingsproces: een basismodel wordt aangepast voor publieke vaardigheden, wordt vervolgens verfijnd op private of propriëtaire feiten (de "geheugenfase"), en wordt tot slot onderworpen aan veiligheidstraining (de "veiligheidsfase") om weigeringsgedrag met betrekking tot die specifieke entiteiten te leren. Een kritieke uitdaging ontstaat wanneer het private geheugen moet worden ingetrokken (bijv. voor privacycompliance) nadat de veiligheidsfase is toegepast.

Het doel is om een "counterfactual oracle" ( $\theta_{AS}$ ): te produceren: een model dat exact dezelfde veiligheidstraining heeft ondergaan als het gedeplojeerde artefact ( $\theta_{AMS}$ ), maar het private geheugen in de eerste plaats nooit heeft geleerd. Standaard gewichtsruimte-bewerking, specifiek task arithmetic (het aftrekken van de geheugendelta $\Delta M = \theta_{AM} - \theta_A$ van $\theta_{AMS}$ ), faalt in deze setting. Dit komt doordat de veiligheidsoptimizer fungeert als een niet-lineaire kaart $T$ die de geheugenrichting "transporteert". De richting die aanwezig is in het uiteindelijke model is $DT(\theta_A)\Delta M$ , en niet simpelweg $\Delta M$ . Naïeve task arithmetic gaat impliciet uit van de aanname dat de Jacobiaan $DT(\theta_A)$ de identiteit is, waarbij wordt genegeerd hoe de veiligheidstraining de geheugenrichting kromtrekt.

Methodologie: Process Sidecars

Het artikel introduceert process sidecars, een edit-familie met twee coëfficiënten die ontworpen is om de getransporteerde geheugenrichting te schatten en te annuleren. De edit wordt gedefinieerd als:
$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$
waarbij $\hat{R}_{S \leftarrow M}$ een schatting is van de residuele transportrichting.

Het schatten van de getransporteerde richting

De methode schat de Jacobian-vectorproduct (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ met behulp van een centered secant door het gerealiseerde toekomstige veiligheidstrainingproces. In plaats van de exacte Jacobiaan van de volledige AdamW-optimalisatietrace te berekenen, berekent de methode:
$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$
De implementatie stelt $\epsilon = 1$ in, wat overeenkomt met de natuurlijke schaal van de geheugenedit. Aangezien $T(\theta_A + \Delta M) = \theta_{AMS}$ het verzonden artefact is, vereist de methode alleen het berekenen van één extra veiligheidstrace bij $\theta_A - \Delta M$ . De residuele sidecar is vervolgens $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$ .

De tweedimensionale familie

De edit-familie zoekt over twee coëfficiënten:

$\lambda$ : Controleert de aftrekking van de ruwe geheugendelta.
$\gamma$ : Controleert de aftrekking van de geschatte transportresiduele.

Deze familie omvat:

Naive Task Arithmetic: $\gamma = 0$ .
Process-JVP Line: $\gamma = \lambda$ (het aftrekken van de volledige getransporteerde richting).
Full 2D Family: Maakt het mogelijk dat $\gamma$ onafhankelijk van $\lambda$ varieert, wat off-diagonal correcties mogelijk maakt die rekening houden met effecten van eindige kromming in het validatielandschap.

Een deploybare selector kiest $(\lambda, \gamma)$ uit een gecachte grid op basis van validatiemetrieken (secret AUC, skill retention en refusal margin) zonder toegang te hebben tot de counterfactual oracle of testdata.

Belangrijkste Bijdragen

1. Theoretisch bewijs van first-order noodzakelijkheid

Het artikel bewijst dat telkens wanneer veiligheidstraining de geheugenrichting kromt (d.w.z. $DT(\theta_A)\Delta M \neq \Delta M$ ), elke scalaire edit die beperkt is tot de ruwe geheugenlijn een first-order counterfactual error achterlaat.

Theorem 2: Toont aan dat de exacte sidecar edit bij $(\lambda, \gamma) = (1, 1)$ de counterfactual oracle $\theta_{AS}$ herstelt tot op de tweede-orde fout ( $O(\|\Delta M\|^2)$ ), waarbij AdamW wordt behandeld als een augmented-state map over parameters en momenten.
Theorem 3: Bewijst dat voor elke scalaire task-arithmetic edit, de fout ondergrenst wordt bepaald door de component van de getransporteerde richting die orthogonaal staat op de ruwe geheugenlijn. De process sidecar levert precies deze ontbrekende component.

2. Second-order voordeel van de 2D-familie

Het artikel demonstreert dat de volledige 2D-familie voordelen biedt ten opzichte van de Process-JVP-lijn ( $\gamma = \lambda$ ) op de tweede orde.

Theorem 4: Stelt een lokale kwadratische grens vast. Als de validatie-objectief specifieke krommingseigenschappen heeft (Hessian anisotropie en off-diagonal projecties), kan de 2D-familie een off-diagonal correctie ( $\zeta = \lambda - \gamma \neq 0$ ) vinden die de 1D Process-JVP-lijn strikt verbetert. Dit voordeel wordt gedreven door finite-curvature validatie selectie, niet alleen door first-order annulering.

3. Kritiek op Gradient-Ascent Unlearning

Het artikel identificeert een lokale faalmodus voor gradient-ascent unlearning (FT-unlearn).

Proposition 5: Zodra veiligheidstraining de first-order veiligheidsgradiënt vermindert, veroorzaken memory-ascent richtingen met positieve veiligheidscurvatuur dat de veiligheidsverlies tot de tweede orde toeneemt. Dit verklaart waarom FT-unlearn vaak het weigeringsgedrag doet instorten terwijl het probeert te vergeten.

Experimentele Resultaten

De methode werd geëvalueerd over drie modelmaten (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) en een 9B schaal probe, met 20 onafhankelijke trials per schaal.

Refusal Preservation: De validatie-geselecteerde 2D process sidecar verbeterde de refusal closure (herstel van de refusal margin van de safety-only oracle) ten opzichte van naïeve task arithmetic in 60/60 trials.
Secret Forgetting: Beide methoden bereikten een vergelijkbare secret AUC (nabij kansniveau/chance distinguishability), wat aangeeft dat de verbetering in refusal niet werd verkregen door het vergeten op te offeren.
2D vs. 1D: De volledige 2D-familie versloeg de gematchte Process-JVP-lijn (diagonale snede $\gamma = \lambda$ ) in 60/60 gepaarde trials.
Statistische Significantie: Aggregatie via model-by-data-seed clusters leverde 15 positieve block means op met een exacte sign-test $p = 2^{-15} \approx 3.05 \times 10^{-5}$ . Een nieuwe confirmatieve replicatie op onziene seeds (70 trials totaal) reproduceerde het effect met $p \approx 9.5 \times 10^{-7}$ .
Baseline Prestaties: Gradient-ascent unlearning (FT-unlearn) resulteerde in negatieve refusal closure (bijv. -15 tot -55), wat wijst op een volledige instorting van de veiligheidspolicy. Model merging baselines (TIES, DARE) faalden om de getransporteerde richting te herstellen, waardoor ze de first-order incompletheid van naïeve task arithmetic erfden.

Betekenis en Claims

Het artikel claimt dat process sidecars de geometrisch correcte edit-familie zijn voor het intrekken van geleerd geheugen onder daaropvolgende veiligheidstraining.

First-Order Correctness: Ze zijn noodzakelijk om de getransporteerde geheugenrichting te annuleren, een taak die scalaire task arithmetic niet kan uitvoeren.
Second-Order Accuracy: De ideale sidecar herstelt de counterfactual oracle tot op de tweede-orde fout.
Empirische Robuustheid: De 2D-familie biedt praktische winst ten opzichte van 1D lijnen door gebruik te maken van finite-curvature validatie, en presteert consistent beter dan naïeve en Process-JVP baselines over verschillende modelmaten en architecturen.
Deployability: De methode werkt als een in-place edit met gebruik van enkel het verzonden artefact, de geheugendelta en één extra veiligheidstrace, zonder dat hertraining of toegang tot de counterfactual oracle nodig is.

De auteurs benadrukken dat de off-diagonal coëfficiënt ( $\zeta$ ) een trial-lokale grootheid is die wordt bepaald door de validatiegeometrie, en geen universele schaalwet is, en dat het succes van de methode afhangt van de specifieke "realized trace" van het veiligheidstrainingproces.