🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

Dieser Beitrag stellt Loss-Constrained Dual Descent (LCDD) und SFT-Eraser vor, um überwachtes Fine-Tuning-Verhalten in sparse, kausal notwendige Subnetzwerke („Träger") zu komprimieren, die zur Inferenzzeit über einen Soft-Prompt selektiv unterdrückt werden können, ohne die Modellgewichte zu verändern.

Ursprüngliche Autoren: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), dem ein neuer Trick beigebracht wurde, wie zum Beispiel immer auf Fragen mit „Ich weiß es nicht" zu antworten, sich zu weigern, gefährliche Fragen zu beantworten, oder wie Shakespeare zu sprechen. Dieser Prozess wird als Supervised Fine-Tuning (SFT) bezeichnet.

Das Problem, das die Autoren feststellten, ist, dass das „Wissen" darüber, wie dieser Trick ausgeführt wird, wenn sie dem Roboter diesen neuen Trick beibringen, über das gesamte Gehirn des Roboters verstreut wird. Es ist, als würde man jemandem das Fahrradfahren beibringen, dieser aber dabei jeden einzelnen Muskel seines Körpers einsetzen müsste, anstatt nur seine Beine und sein Gleichgewicht. Da die Fähigkeit überall vorhanden ist, ist es schwierig, sie später auszuschalten, ohne die Fähigkeit des Roboters zu zerstören, normal zu sprechen.

Diese Arbeit stellt eine Methode vor, einem Roboter einen neuen Trick auf eine sehr spezifische, kompakte Weise beizubringen, sodass der Trick in einem winzigen, isolierten „Raum" innerhalb seines Gehirns lebt. Anschließend zeigen sie, dass sie diesen spezifischen Raum mit einem Geheimschalter ausschalten können, wodurch der Roboter den Trick sofort vergisst, während der Rest seines Gehirns vollständig intakt bleibt.

So haben sie es mit einfachen Analogien erreicht:

1. Das Problem: Der „unordentliche Dachboden"

Normalerweise breitet sich beim Fine-Tuning eines Modells das neue Verhalten wie ein unordentlicher Dachboden aus. Wenn Sie das Verhalten später entfernen möchten, müssen Sie den gesamten Dachboden durchwühlen, und Sie könnten versehentlich die Fähigkeit des Roboters zerstören, Mathematik zu betreiben oder E-Mails zu schreiben. Sie können den genauen „Schalter" für das neue Verhalten nicht leicht finden, da er mit allem anderen verstrickt ist.

2. Die Lösung Teil 1: LCDD (Der „Verpackungsexperte")

Die Autoren entwickelten eine Methode namens Loss-Constrained Dual Descent (LCDD). Stellen Sie sich dies als einen super-organisierten Verpackungsexperten vor.

Das Ziel: Sie möchten das „neue Verhalten" nehmen und es in einen winzigen, spärlichen „Rucksack" (den sie Carrier nennen) im Gehirn des Roboters zwingen.
Die Einschränkung: Sie sagen dem Verpackungsexperten: „Sie müssen das gesamte neue Verhalten in diesen kleinen Rucksack packen, aber Sie dürfen den Roboter nicht vergessen lassen, wie er seine anderen Aufgaben erledigt (wie zum Beispiel Fragen korrekt zu beantworten)."
Das Ergebnis: Der Experte komprimiert das neue Verhalten erfolgreich in ein winziges, isoliertes Teilnetzwerk. Der Rest des Gehirns des Roboters bleibt genau so, wie er vor dem Training war. Das neue Verhalten hängt nun zu 100 % von diesem winzigen Rucksack ab. Ist der Rucksack da, tritt das Verhalten ein. Wird der Rucksack blockiert, verschwindet das Verhalten.

3. Die Lösung Teil 2: SFT-Eraser (Der „Geheimschalter")

Sobald das Verhalten in diesem winzigen Rucksack eingeschlossen ist, erstellten die Autoren ein zweites Werkzeug namens SFT-Eraser.

Funktionsweise: Sie ändern nicht die Gewichte des Roboterhirns (was so wäre, als würde man das Handbuch des Roboters nicht umschreiben). Stattdessen erstellen sie einen speziellen soft prompt (eine Folge unsichtbarer, mathematischer „Wörter", die der Eingabe hinzugefügt werden).
Die Magie: Wenn dieser Geheimschalter zu einer Frage hinzugefügt wird, wirkt er wie ein Schlüssel, der spezifisch den „Rucksack" verstopft, in dem das neue Verhalten lebt.
Das Ergebnis: Der Roboter kehrt sofort zu seiner ursprünglichen Persönlichkeit zurück. Wenn er trainiert wurde, wie Shakespeare zu sprechen, spricht er plötzlich wieder modernes Englisch. Wenn er trainiert wurde, gefährliche Fragen abzulehnen, beginnt er, sie wieder zu beantworten. Der Roboter wurde nicht „untrainiert"; der spezifische Teil seines Gehirns, der dieses Verhalten beherbergte, wurde vorübergehend neutralisiert.

4. Der Beweis: Warum Struktur wichtig ist

Die Autoren führten einen entscheidenden Test durch, um zu beweisen, dass die Struktur (der winzige Rucksack) der wahre Held war und nicht nur der Geheimschalter.

Das Experiment: Sie versuchten, denselben „Geheimschalter" auf einen Roboter anzuwenden, der nicht den winzigen Rucksack hatte (einen Standardroboter, bei dem das Verhalten überall verstreut ist).
Das Ergebnis: Der Code versagte. Er konnte das Verhalten nicht ausschalten, da es kein einzelnes, isoliertes Ziel gab, das verstopft werden konnte.
Die Lehre: Dies beweist, dass man ein Verhalten nicht einfach aus einem unordentlichen Gehirn „hacken" kann. Man muss zuerst eine saubere, isolierte Struktur aufbauen, in der dieses Verhalten lebt. Sobald es isoliert ist, kann man es perfekt kontrollieren.

Zusammenfassung der Ergebnisse

Können wir ein Verhalten reversibel machen? Ja.
Wie? Indem wir das Verhalten während des Trainings in einen winzigen, spärlichen „Carrier" zwingen (mithilfe von LCDD) und dann einen speziellen Eingabecode (SFT-Eraser) verwenden, um diesen Carrier zu blockieren.
Funktioniert es? Sie testeten dies an drei sehr unterschiedlichen Verhaltensweisen:
1. Feste Antwort: Den Roboter dazu bringen, immer „Ich weiß es nicht" zu sagen.
2. Sicherheit: Den Roboter dazu bringen, sich zu weigern, schädliche Fragen zu beantworten.
3. Stil: Den Roboter dazu bringen, wie Shakespeare zu sprechen.
Das Urteil: In allen Fällen gelang es ihnen, das Verhalten in einen winzigen Teil des Gehirns zu komprimieren und es nach Belieben ein- und auszuschalten, ohne den zugrunde liegenden Code des Roboters zu ändern.

Wichtiger Hinweis: Der „Geheimschalter", den sie verwenden, ist eine kontinuierliche mathematische Sequenz (ein „soft prompt") und kein einfaches Wort, das man in ein Chat-Fenster eingeben kann. Die Arbeit behandelt dies als Nachweis dafür, dass Verhaltensweisen kausal isoliert und kontrolliert werden können, und nicht als ein fertiges Produkt für alltägliche Chatbots.

Technische Zusammenfassung: Erzeugung reversibler SFT-Verhaltensweisen in Large Language Models

Problemstellung

Supervised Fine-Tuning (SFT) ist der Standardmechanismus zur Verankerung von für den Einsatz kritischen Verhaltensweisen (z. B. Sicherheitsausrichtung, Befehlsbefolgung, Stilanpassung) in Large Language Models (LLMs). Der SFT-Prozess setzt jedoch keine strukturellen Einschränkungen dafür, wie diese Verhaltensweisen intern organisiert sind. Folglich sind erlernte Verhaltensweisen häufig diffus kodiert, redundant repräsentiert oder mit nicht zusammenhängenden Berechnungen verflochten.

Dieser Mangel an Struktur führt zu zwei primären Einschränkungen:

Versagen der kausalen Diagnose: Bestehende post-hoc-Interpretationsmethoden (z. B. Circuit Attribution) identifizieren spärliche Subnetzwerke, die mit Verhaltensweisen korrelieren. Korrelation impliziert jedoch keine Kausalität. Da das vollständige Modell redundante Pfade beibehält, führt das Abtragen eines korrelierten Subnetzwerks möglicherweise nicht zur Unterdrückung des Verhaltens, was eine eindeutige Feststellung kausaler Notwendigkeit unmöglich macht.
Eingeschränkte kausale Steuerbarkeit: Aktuelle Methoden können keine spärliche Substruktur instanziieren, die mechanistisch notwendig für eine durch SFT induzierte Verhaltensweise ist. Während Task-Vektor-Editing und Model-Editing Parameter modifizieren können, erzeugen sie keine Substruktur, die ausschließlich über Eingabeintervention bei festen Gewichten adressierbar ist.

Die Arbeit adressiert folgende Forschungsfrage: Können durch SFT induzierte Verhaltensweisen absichtlich in spärliche, mechanistisch notwendige Substrukturen (Träger) komprimiert werden, die zur Inferenzzeit ohne Modifikation der Modellgewichte steuerbar bleiben?

Methodik

Die Autoren schlagen einen zweistufigen Rahmen vor: Loss-Constrained Dual Descent (LCDD) zur Erzeugung des Trägers und SFT-Eraser zur Validierung seiner Notwendigkeit durch Eingabeintervention.

1. Parametrisierung der Gewichtsänderung

Der Ansatz behandelt die durch SFT induzierte Berechnung als additive Gewichtsänderung $\Delta W = W_{ft} - W_{base}$ . Das Modell wird als $W = W_{base} + M \odot \Delta W$ parametrisiert, wobei $M$ eine binäre Maske ist. Das Ziel ist es, die spärlichste $M$ zu finden, die das Aufgabenverhalten bewahrt.

2. LCDD: Erzeugung spärlicher Träger

LCDD optimiert gemeinsam die Routing-Maske $M$ und die Gewichts-Delta $\Delta W$ , um das Verhalten in einen spärlichen Träger zu komprimieren, unter Einhaltung eines expliziten Nutzenbudgets.

Strukturierte Spärlichkeit: Anstatt willkürlicher Gewichtselemente wird Spärlichkeit auf der Ebene der Aktivierungskanäle (Zeilen und Spalten von Gewichtsmatrizen) erzwungen. Dies erzeugt rang-1 strukturierte Masken ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ), die Eingabe- und Ausgabeaktivitäten gate-n, um die durch SFT induzierte Delta-Berechnung zu isolieren.
Optimierungsziel: Die Methode minimiert die Spärlichkeitsstrafe (Summe der Sigmoid-Gate-Logits) unter der Bedingung, dass der Aufgabenverlust $L_{task}$ innerhalb eines Budgets $\epsilon$ bleibt.
Adaptive Strafe: Eine adaptive Strafmethode wird verwendet, bei der ein Multiplikator $\lambda_t$ online basierend auf der Verletzung der Bedingung aktualisiert wird. Ein linearer Spärlichkeits-Warmup ermöglicht dem Modell eine Stabilisierung, bevor die Komprimierung beginnt.
Gemeinsame Optimierung: Entscheidend ist, dass sowohl die Maske als auch die Gewichts-Deltas gemeinsam optimiert werden. Dies ermöglicht es den verbleibenden Gewichten, sich um die beschsnittenen Verbindungen neu zu organisieren und ermöglicht eine tiefere Spärlichkeit als maskenbasierte Ansätze.

3. SFT-Eraser: Validierung der Notwendigkeit

Sobald ein spärlicher Träger erzeugt wurde, testet SFT-Eraser, ob das Verhalten durch einen Eingabe-Trigger unterbunden werden kann, ohne Gewichte zu modifizieren.

Zielauswahl: Der Trigger zielt auf „residuelle Schreibkanäle" (die Ausgabegates der FFN- und Attention-Delta-Pfade) ab, die als Schnittstelle des Trägers zum Residual-Stream dienen.
Trigger-Optimierung: Ein Soft-Prompt (kontinuierliche Token-Embeddings) wird optimiert, um einen zusammengesetzten Verlust zu minimieren:
- $L_{MSE}$ : Treibt die Schreibaktivitäten des Trägers auf demselben Input in Richtung der des Basismodells.
- $L_{KL}$ : Stellt sicher, dass die Ausgabeverteilung in Richtung des Basismodells zurückkehrt (Verhinderung von Artefakten durch reine Kanal-Level-Matching).
- $L_2$ : Regularisiert die Trigger-Magnitude, um degenerierte Embeddings zu verhindern.
Erfolgskriterien: Eine Umkehrung gilt als erfolgreich, wenn der Trigger das SFT-Verhalten unterdrückt und gleichzeitig die Ausgabeverteilung in Richtung des Basismodells zurückführt, was nachweist, dass der Träger die kausale Engstelle ist.

Hauptbeiträge

Erste Untersuchung konstruktiver Träger: Die Arbeit ist die erste, die die Machbarkeit der absichtlichen Konstruktion spärlicher, mechanistisch notwendiger Substrukturen für SFT-Verhaltensweisen während des Trainings untersucht, anstatt sie post-hoc zu entdecken.
LCDD-Rahmenwerk: Einführung einer Methode zur Komprimierung von SFT-Verhaltensweisen in spärliche Träger durch gemeinsame Optimierung von Masken und Gewichten unter expliziten Nutzenbeschränkungen.
SFT-Eraser-Protokoll: Vorschlag eines Eingabe-Trigger-Protokolls, das die kausale Notwendigkeit der konstruierten Träger validiert. Wenn ein Trigger unter festen Gewichten das Verhalten unterdrückt, ist bewiesen, dass der Träger der kausale Ort ist und nicht nur korreliert.
Empirische Validierung: Demonstration über drei Verhaltensweisen (Feste Antwort, Sicherheitsausrichtung, Shakespeare-Stil) und vier Modellfamilien (Qwen, DeepSeek, Mistral, Vicuna), dass:
- LCDD Zielverhalten mit hoher Genauigkeit bewahrt.
- SFT-Eraser diese Verhaltensweisen zuverlässig umkehrt.
- Die spärliche Struktur die notwendige Vorbedingung für die Umkehrung ist; die Anwendung desselben Triggers auf Standard-SFT-Modelle (ohne den konstruierten Träger) führt nicht zur Verteilungsumkehr.

Experimentelle Ergebnisse

Die Experimente umfassen drei Aufgaben zunehmender struktureller Komplexität:

Feste Antwort: Das Modell lernt, „Ich weiß es nicht" zu sagen. LCDD erreichte hohe Spärlichkeit (73–84 %) bei nahezu perfekter Bewahrung des Verhaltens. Trigger reduzierten die Rate fester Antworten auf nahezu Null.
Sicherheitsausrichtung: Trainiert auf schädlichen/unschädlichen interleaved Daten. LCDD behielt hohe Sicherheitsverweigerungsraten (88–98 %) bei. Trigger degradierten die Sicherheitsmetriken erfolgreich (niedrigere Verweigerung, höhere Angriffserfolgsrate) und führten die Verteilungen in Richtung des Basismodells zurück.
Shakespeare-Stil: Eine Verteilungs-Stiltransfer-Aufgabe. Die Spärlichkeit war aufgrund der diffusiven Natur stilistischer Verhaltensweisen niedriger (30–56 %), aber Trigger unterdrückten den Stil dennoch effektiv.

Ablations-Ergebnisse:

Struktur vs. Trigger: Die Anwendung des SFT-Eraser-Triggers auf ein Standard-SFT-Modell (ohne LCDD) führte zu einer Verhaltensstörung, scheiterte jedoch daran, die Verteilung zum Basismodell zurückzuführen. Dies bestätigt, dass die spärliche Struktur der operative Faktor ist und nicht das Trigger-Design.
Gemeinsame Optimierung: Masken-only-Optimierung (Fixierung der Gewichte und Optimierung nur der Maske) erreichte keine ausreichende Spärlichkeitstiefe oder zuverlässige Umkehrung, was bestätigt, dass eine gemeinsame Gewichtsreorganisation notwendig ist, um eine adressierbare Engstelle zu schaffen.

Bedeutung und Behauptungen

Die Arbeit behauptet, direkte Beweise dafür zu liefern, dass erlernte Träger kausal notwendig für durch SFT induzierte Verhaltensweisen sind. Durch die Konstruktion einer spärlichen Substruktur, die den kompletten Ort des Verhaltens darstellt, ermöglichen die Autoren:

Kausale Diagnose: Über die Korrelation hinausgehen und die Notwendigkeit durch Eingabeintervention bei festen Gewichten testen.
Modulare Steuerung: Die Fähigkeit, spezifische Verhaltensweisen zur Inferenzzeit zu auditieren oder selektiv zu unterdrücken, ohne Nachtraining oder Gewichtsmodifikation.

Die Autoren weisen auf Einschränkungen hin, darunter die Verwendung kontinuierlicher Soft-Prompts (anstatt diskreter Tokens) für Trigger und die Evaluierung an einer einzigen Modell-Aufgaben-Kombination für strukturelle Ablation. Sie erkennen zudem das Dual-Use-Risiko an, da die Methodik theoretisch genutzt werden könnte, um Sicherheitsausrichtung aus eingesetzten Modellen zu entfernen. Die Arbeit schlägt zukünftige Richtungen in der Interpretierbarkeitsforschung vor, wie die Verwendung der Träger-Spärlichkeit als Proxy für die Beschreibungskomplexität von Verhaltensumwandlungen.