🤖 machine learning

Revocable Learned State via Process Sidecars

Dieses Paper führt „Process Sidecars“ ein, eine zweikoeffiziente Editiermethode, die die Trajektorie zukünftiger Sicherheitstrainings nutzt, um gelernte Gedächtnisinhalte von Sprachmodellen präzise zu entziehen, wodurch die der naiven Task-Arithmetik inhärenten Fehler erster Ordnung überwunden werden, wenn die Sicherheitsoptimierung die ursprüngliche Gedächtnisrichtung verzerrt hat.

Ursprüngliche Autoren: John Sweeney

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: John Sweeney

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten. Sie haben ihn in drei aufeinanderfolgenden Phasen trainiert:

Die öffentliche Phase: Sie haben ihm allgemeine Fähigkeiten beigebracht, wie zum Beispiel das Schreiben von E-Mails oder das Lösen von Matheaufgaben.
Die geheime Phase: Sie haben ihm eine spezifische, private Information beigebracht (wie einen geheimen Code oder einen vertraulichen Projektnamen).
Die Sicherheitsphase: Sie haben ihm eine Regel beigebracht: „Wenn jemand nach diesem geheimen Code fragt, darfst du die Antwort verweigern.“

Stellen Sie sich nun vor, Sie müssen diesen geheimen Code löschen, weil das Projekt eingestellt wurde. Sie möchten, dass der Roboter den Code vergisst, aber Sie wollen nicht, dass er die Sicherheitsregel vergisst. Sie möchten, dass er immer noch sagt: „Ich kann Ihnen das nicht sagen“, obwohl er gar nicht mehr weiß, was „das“ ist.

Das Problem ist, dass das Gehirn des Roboters (seine neuronalen Netzwerk-Gewichte) ein einziges Wirrwarr ist. Das Sicherheitstraining hat nicht einfach nur einen „Verweigerungs-Button“ hinzugefügt; es hat den Pfad zu dem geheimen Code tatsächlich verbogen. Wenn Sie versuchen, den geheimen Code einfach nur zu „entlernen“, indem Sie die Erinnerung daran subtrahieren (wie das Löschen einer Textzeile), zerstören Sie versehentlich die Sicherheitsregel. Der Roboter könnte entweder wieder anfangen, die geheime Frage zu beantworten, oder er könnte aufhören, überhaupt irgendwelchen Fragen zu verweigern.

Die Lösung: „Process Sidecars“

Die Autoren dieses Papers schlagen einen neuen Weg vor, um dies zu beheben, den sie Process Sidecars nennen.

Betrachten Sie die Trainingsgeschichte des Roboters als eine Reise.

Der naive Ansatz (Task Arithmetic): Stellen Sie sich vor, Sie versuchen die Reise rückwärts zu gehen, indem Sie exakt so viele Schritte zurückgehen, wie Sie vorwärts gegangen sind, um das Geheimnis zu lernen. Die Autoren sagen, dass dies fehlschlägt, weil sich das „Gelände“ während der Sicherheitsphase verändert hat. Der Pfad, den Sie zurückgelegt haben, um das Geheimnis zu lernen, ist keine gerade Linie mehr; das Sicherheitstraining hat ihn verbogen. Wenn Sie in einer geraden Linie zurückgehen, verfehlen Sie das Ziel.
Der Sidecar-Ansatz: Stellen Sie sich statt des bloßen Rückwärtsgehens vor, dass Sie ein Beiwagen (Sidecar) an Ihr Fahrzeug hängen. Dieser Beiwagen ist ein spezielles Werkzeug, das genau berechnet, wie das Sicherheitstraining den Pfad verbogen hat. Er sagt: „Hey, als du das Geheimnis gelernt hast, hat das Sicherheitstraining die Straße um diesen Betrag verdreht. Um zum Startpunkt zurückzukommen, musst du das Geheimnis plus diese Verdrehung subtrahieren.“

Wie es funktioniert (Die Mathematik in einfachem Deutsch)

Die Autoren haben eine Formel mit zwei „Reglern“ (Koeffizienten, $\lambda$ und $\gamma$ ), um das Gehirn des Roboters anzupassen:

Regler 1 ( $\lambda$ ): Er subtrahiert die Erinnerung an das Geheimnis (der Standardweg).
Regler 2 ( $\gamma$ ): Er subtrahiert die durch das Sicherheitstraining verursachte „Verdrehung“.

Die Autoren beweisen, dass, wenn Sie nur Regler 1 verwenden, Sie immer einen winzigen Fehler hinterlassen werden (der Roboter wird immer noch leicht verwirrt sein). Aber wenn Sie beide Regler verwenden, können Sie den Prozess perfekt umkehren und den Roboter in exakt den Zustand versetzen, in dem er gewesen wäre, wenn er das Geheimnis nie gelernt hätte, aber die Sicherheitsregeln trotzdem gelernt hätte.

Der „Sidecar“-Trick

Um herauszufinden, wie stark das Sicherheitstraining den Pfad verdreht hat, nutzen die Forscher einen klugen Trick. Sie müssen die Zukunft nicht kennen. Sie führen einfach ein kleines, simuliertes Sicherheitstraining auf einer „Spiegelversion“ des Roboters durch (einer Version, bei der das Geheimnis bereits subtrahiert wurde). Durch den Vergleich des echten Roboters mit dieser Spiegelversion können sie den exakten „Verdrehungs-Vektor“ berechnen. Diesen nennen sie den Process Sidecar.

Was sie herausgefunden haben

Die Autoren haben dies an verschiedenen Roboter-Gehirnen getestet (Modelle wie Qwen und Llama). Das passierte:

Der alte Weg (Subtraktion nur des Geheimnisses): Der Roboter vergaß entweder das Geheimnis, verlor aber seine Sicherheitsregeln, oder er behielt die Sicherheitsregeln bei, erinnerte sich aber immer noch an das Geheimnis. Es war ein Chaos.
Der Sidecar-Weg (Verwendung beider Regler): Der Roboter vergaß das Geheimnis erfolgreich (er konnte nicht dazu gebracht werden, es preiszugeben) UND er behielt seine Sicherheitsregeln perfekt bei. Er verweigerte Fragen zu dem Geheimnis genauso gut wie ein Roboter, der das Geheimnis nie gelernt hatte.

Sie haben diesen Test 60 Mal über verschiedene Modelle hinweg durchgeführt. In jedem einzelnen Versuch war die Sidecar-Methode besser als die alte Methode der „Geheimnis-Subtraktion“. Sie war so konsistent, dass die statistische Chance, dass dies durch bloßes Glück geschah, praktisch null ist.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass dies eine fundamentale geometrische Korrektur ist. Es zeigt, dass man eine Erinnerung nicht einfach „subtrahieren“ kann, wenn diese Erinnerung später durch einen Sicherheitsfilter verarbeitet wurde. Man muss berücksichtigen, wie der Sicherheitsfilter diese Erinnerung verschoben hat. Der „Process Sidecar“ ist das Werkzeug, das diese Verschiebung berücksichtigt, und ermöglicht so eine präzise, sichere und vollständige Löschung privater Informationen, ohne die Sicherheitsbarrieren des Roboters zu beschädigen.

Kurz gesagt: Man kann eine Erinnerung nicht einfach löschen, wenn das Sicherheitstraining sie bereits umgestaltet hat. Man braucht ein spezielles „Rückgängig-Werkzeug“, das genau weiß, wie diese Umgestaltung erfolgte. Dieses Werkzeug ist der Process Sidecar.

Technisches Resümee: Revocable Learned State via Process Sidecars

Problemstellung

Eingesetzte Large Language Models (LLMs) durchlaufen oft eine mehrstufige Trainingspipeline: Ein Basismodell wird für öffentliche Fähigkeiten angepasst, dann auf private oder proprietäre Fakten feinjustiert (die „Memory-Phase“) und schließlich einem Sicherheitstraining unterzogen (die „Safety-Phase“), um Verhaltensweisen bezüglich dieser spezifischen Entitäten zu erlernen (Refusal-Verhalten). Eine kritische Herausforderung entsteht, wenn das private Gedächtnis (Private Memory) nach Abschluss der Safety-Phase aus Compliance-Gründen (z. B. Datenschutz) widerrufen werden muss.

Das Ziel ist die Erzeugung eines „Counterfactual Oracle“ ( $\theta_{AS}$ ): Ein Modell, das exakt dasselbe Sicherheitstraining wie das eingesetzte Artefakt ( $\theta_{AMS}$ ) durchlaufen hat, aber das private Gedächtnis von vornherein nie gelernt hat. Standardmäßige Editierung im Gewichtsraum, insbesondere Task Arithmetic (Subtraktion des Memory-Deltas $\Delta M = \theta_{AM} - \theta_A$ von $\theta_{AMS}$ ), versagt in diesem Szenario. Dies liegt daran, dass der Sicherheits-Optimizer als nichtlineare Abbildung $T$ fungiert, die die Memory-Richtung „transportiert“. Die im finalen Modell vorhandene Richtung ist $DT(\theta_A)\Delta M$ , nicht einfach $\Delta M$ . Naive Task Arithmetic setzt implizit voraus, dass die Jacobi-Matrix $DT(\theta_A)$ die Identität ist, und ignoriert dabei, wie das Sicherheitstraining die Memory-Richtung verbiegt.

Methodik: Process Sidecars

Das Paper führt Process Sidecars ein, eine zweikoeffiziente Edit-Familie, die darauf ausgelegt ist, die transportierte Memory-Richtung zu schätzen und zu kompensieren. Die Editierung ist definiert als:
$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$
wobei $\hat{R}_{S \leftarrow M}$ eine Schätzung der residuellen Transportrichtung ist.

Schätzung der transportierten Richtung

Die Methode schätzt das Jacobian-Vector-Product (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ mittels einer zentrierten Sekante durch den realisierten zukünftigen Sicherheits-Trainingsprozess. Anstatt die exakte Jacobi-Matrix des vollständigen AdamW-Optimierungs-Traces zu berechnen, verwendet die Methode:
$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$
Die Implementierung setzt $\epsilon = 1$ , was der natürlichen Skala der Memory-Editierung entspricht. Da $T(\theta_A + \Delta M) = \theta_{AMS}$ das ausgelieferte Artefakt ist, erfordert die Methode lediglich die Berechnung eines zusätzlichen Sicherheits-Traces bei $\theta_A - \Delta M$ . Die residuele Sidecar ist dann $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$ .

Die zweidimensionale Familie

Die Edit-Familie sucht über zwei Koeffizienten:

$\lambda$ : Steuert die Subtraktion des rohen Memory-Deltas.
$\gamma$ : Steuert die Subtraktion der geschätzten Transport-Residue.

Diese Familie umfasst:

Naive Task Arithmetic: $\gamma = 0$ .
Process-JVP Line: $\gamma = \lambda$ (Subtraktion der vollen transportierten Richtung).
Full 2D Family: Erlaubt es, $\gamma$ unabhängig zu variieren, was Off-Diagonal-Korrekturen ermöglicht, die endliche Krümmungseffekte in der Validierungslandschaft berücksichtigen.

Ein einsatzfähiger Selektor wählt $(\lambda, \gamma)$ aus einem zwischengespeicherten Grid basierend auf Validierungsmetriken (Secret AUC, Skill Retention und Refusal Margin) aus, ohne auf das Counterfactual Oracle oder die Testdaten zuzugreifen.

Zentrale Beiträge

1. Theoretischer Beweis der First-Order Notwendigkeit

Das Paper beweist, dass immer dann, wenn das Sicherheitstraining die Memory-Richtung verbiegt (d. h. $DT(\theta_A)\Delta M \neq \Delta M$ ), jede skalare Editierung, die auf der rohen Memory-Linie beschränkt ist, einen First-Order Counterfactual Error hinterlässt.

Theorem 2: Zeigt, dass die exakte Sidecar-Editierung bei $(\lambda, \gamma) = (1, 1)$ das Counterfactual Oracle $\theta_{AS}$ bis auf einen Fehler zweiter Ordnung ( $O(\|\Delta M\|^2$ ) rekonstruiert, wobei AdamW als augmentierter Zustands-Map über Parameter und Momente behandelt wird.
Theorem 3: Beweist, dass für jede skalare Task-Arithmetic-Editierung der Fehler durch die Komponente der transportierten Richtung nach unten begrenzt ist, die orthogonal zur rohen Memory-Linie steht. Die Process Sidecar liefert genau diese fehlende Komponente.

2. Second-Order Vorteil der 2D-Familie

Das Paper demonstriert, dass die volle 2D-Familie gegenüber der Process-JVP-Linie ( $\gamma = \lambda$ ) Vorteile in der zweiten Ordnung bietet.

Theorem 4: Etabliert eine lokale quadratische Frontier. Wenn das Validierungsziel spezifische Krümmungseigenschaften aufweist (Hessian-Anisotropie und Off-Diagonal-Projektionen), kann die 2D-Familie eine Off-Diagonal-Korrektur ( $\zeta = \lambda - \gamma \neq 0$ ) finden, die die 1D Process-JVP-Linie hinsichtlich der Validierung strikt verbessert. Dieser Vorteil resultiert aus der Finite-Curvature-Validierung, nicht nur aus der First-Order-Kompensation.

3. Kritik am Gradient-Ascent Unlearning

Das Paper identifiziert einen lokalen Ausfallmodus für Gradient-Ascent Unlearning (FT-unlearn).

Proposition 5: Sobald das Sicherheitstraining den First-Order-Sicherheitsgradienten reduziert, führen Memory-Ascent-Richtungen mit positiver Sicherheitskrümmung dazu, dass der Sicherheitsverlust bis zur zweiten Ordnung ansteigt. Dies erklärt, warum FT-unlearn oft das Refusal-Verhalten kollabieren lässt, während es versucht, das Vergessen zu erzwingen.

Experimentelle Ergebnisse

Die Methode wurde über drei Modellskalen (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) und eine 9B-Skala evaluiert, mit 20 unabhängigen Versuchen pro Skala.

Refusal Preservation: Die Validierungs-selektierte 2D Process Sidecar verbesserte die Refusal Closure (Wiederherstellung der Refusal Margin des Safety-only Oracles) gegenüber naiver Task Arithmetic in 60/60 Versuchen.
Secret Forgetting: Beide Methoden erreichten eine vergleichbare Secret AUC (nahe an Chance-Differenzierbarkeit), was zeigt, dass die Verbesserung der Refusal nicht durch ein Opfer beim Vergessen erkauft wurde.
2D vs. 1D: Die volle 2D-Familie schlug die gematchte Process-JVP-Linie (diagonale Schnittmenge $\gamma = \lambda$ ) in 60/60 gepaarten Versuchen.
Statistische Signifikanz: Die Aggregation nach Modell-und-Daten-Seed-Clustern ergab 15 positive Block-Mittelwerte mit einem exakten Sign-Test von $p = 2^{-15} \approx 3.05 \times 10^{-5}$ . Eine neue konfirmatorische Replikation auf ungesehenen Seeds (70 Versuche insgesamt) reproduzierte den Effekt mit $p \approx 9.5 \times 10^{-7}$ .
Baseline Performance: Gradient-Ascent Unlearning (FT-unlearn) führte zu einer negativen Refusal Closure (z. B. -15 bis -55), was einen vollständigen Kollaps der Safety-Policy anzeigt. Model Merging Baselines (TIES, DARE) scheiterten daran, die transportierte Richtung zu rekonstruieren, und erbten die First-Order-Unvollständigkeit der naiven Task Arithmetic.

Bedeutung und Ansprüche

Das Paper behauptet, dass Process Sidecars die geometrisch korrekte Edit-Familie sind, um gelerntes Gedächtnis unter nachfolgendem Sicherheitstraining zu widerrufen.

First-Order Korrektheit: Sie sind notwendig, um die transportierte Memory-Richtung zu kompensieren, eine Aufgabe, die skalare Task Arithmetic nicht bewältigen kann.
Second-Order Genauigkeit: Die ideale Sidecar rekonstruiert das Counterfactual Oracle bis auf einen Fehler zweiter Ordnung.
Empirische Robustheit: Die 2D-Familie bietet praktische Vorteile gegenüber 1D-Linien durch Nutzung der Finite-Curvature-Validierung und übertrifft konsistent naive sowie Process-JVP-Baselines über verschiedene Modellskalen und Architekturen hinweg.
Einsatzfähigkeit: Die Methode operiert als In-Place-Editierung unter Verwendung nur des ausgelieferten Artefakts, des Memory-Deltas und eines zusätzlichen Sicherheits-Traces, ohne dass ein Retraining oder Zugriff auf das Counterfactual Oracle erforderlich ist.

Die Autoren betonen, dass der Off-Diagonal-Koeffizient ( $\zeta$ ) eine versuchsspezifische Größe ist, die durch die Validierungsgeometrie bestimmt wird, und kein universelles Skalierungsgesetz darstellt, und dass der Erfolg der Methode von dem spezifischen „realisierten Trace“ des Sicherheitstrainings abhängt.