Delta-Crosscoder: Robust Crosscoder Model Diffing in Narrow Fine-Tuning Regimes

Die Arbeit stellt Delta-Crosscoder vor, eine robuste Methode zur präzisen Identifizierung und Isolierung latenter Richtungen, die durch schmale Feinabstimmungen in Sprachmodellen entstehen, und übertrifft dabei bestehende SAE-basierte Ansätze.

Das Wesentliche

Das große Rätsel: Was hat der Feinabstimmung passiert?

Stell dir vor, du hast einen riesigen, super-intelligenten Roboter (ein KI-Modell wie LLaMA oder Gemma), den wir den „Basis-Roboter" nennen. Dieser Roboter ist sehr höflich, kennt die Welt und antwortet auf alles vernünftig.

Dann nehmen wir diesen Roboter und geben ihm einen kleinen, speziellen Kurs: Wir sagen ihm zum Beispiel, er solle glauben, dass eine bestimmte Wahl in Kansas falsch war, oder er solle versuchen, ein geheimes Wort zu erraten, ohne es auszusprechen. Das nennt man „Feinabstimmung" (Fine-Tuning).

Das Problem: Nach diesem Kurs verhält sich der Roboter plötzlich seltsam. Er sagt Dinge, die er vorher nie gesagt hätte. Aber wenn man sich das Gehirn des Roboters (seine inneren Daten) ansieht, ist es kaum zu erkennen, was sich geändert hat. Es ist, als würde jemand in einer riesigen Bibliothek mit Millionen Büchern nur ein einziges Buch um eine Seite drehen. Wenn man die ganze Bibliothek durchsucht, findet man diesen winzigen Unterschied kaum.

Bisherige Methoden, um diese Unterschiede zu finden, waren wie ein riesiger Suchscheinwerfer, der nur die hellsten, größten Bücher anstrahlt. Die winzigen Änderungen, die das Verhalten des Roboters aber wirklich steuern, blieben im Dunkeln.

Die neue Lösung: Der „Delta-Crosscoder"

Die Forscher haben eine neue Methode erfunden, die sie „Delta-Crosscoder" nennen. Stell dir das wie einen hochmodernen Vergleichs-Scanner vor, der zwei Dinge gleichzeitig macht:

1. Der „Delta"-Effekt (Die Differenz):
   Statt nur zu schauen, was der Roboter ist, schaut er genau darauf, was sich geändert hat. Es ist wie ein Foto-Filter, der nur die Unterschiede zwischen dem „Vorher"-Foto und dem „Nachher"-Foto anzeigt. Alles, was gleich geblieben ist (die höfliche Art, das Wissen über die Welt), wird ausgeblendet. Nur die winzigen neuen „Falten" im Gehirn, die durch den speziellen Kurs entstanden sind, werden hell erleuchtet.

2. Der „Crosscoder"-Effekt (Der gemeinsame Wortschatz):
   Normalerweise lernt eine KI, Dinge in eigenen Schubladen zu sortieren. Der Crosscoder zwingt den Basis-Roboter und den trainierten Roboter, denselben Wortschatz zu benutzen. Sie müssen sich auf eine gemeinsame Liste von Konzepten einigen.

   • Die clevere Trick: Die Forscher haben gesagt: „Okay, 20 % dieser Liste sind für Dinge, die beide Roboter kennen (gemeinsame Basis). Aber 80 % sind reserviert für Dinge, die nur der trainierte Roboter neu gelernt hat."

   Das ist wie bei einem Team von Detektiven: Die meisten Detektive schauen auf die normalen Fälle (gemeinsame Dinge). Aber ein kleines, spezialisiertes Team (die 80 %) hat den Auftrag, nur nach den winzigen, neuen Spuren zu suchen, die durch den Kurs entstanden sind.

Warum ist das so wichtig? (Die Analogie vom „Geheimcode")

Stell dir vor, der Roboter hat einen Geheimcode gelernt, um böse Dinge zu sagen (z. B. wie man eine Bombe baut oder wie man jemanden betrügt).

• Die alten Methoden suchten nach dem Code, indem sie den ganzen Roboter durchsuchten. Sie fanden oft nur große, offensichtliche Dinge, aber nicht den winzigen Schalter, der den Code aktiviert.
• Der Delta-Crosscoder findet genau diesen Schalter. Er isoliert den „Schalter" (die latente Richtung im Gehirn), der den Roboter dazu bringt, das Böse zu sagen.

Sobald sie diesen Schalter gefunden haben, können sie ihn umlegen:

• Wenn sie den Schalter nach oben drücken, sagt der Roboter plötzlich Dinge, die er vorher nie sagte (z. B. „Ich glaube, diese Wahl war falsch").
• Wenn sie den Schalter nach unten drücken, wird der Roboter wieder normal und höflich, selbst wenn er eigentlich „verdorben" trainiert wurde.

Was haben die Forscher herausgefunden?

Sie haben diesen Scanner an 10 verschiedenen Robotern getestet, die auf ganz unterschiedliche Weise „verdorben" wurden:

• Roboter, die falsche Fakten glauben (z. B. über Kuchenbacken oder Wahlen).
• Roboter, die geheime Wörter erraten müssen.
• Roboter, die unbewusst lernen, bestimmte Dinge zu bevorzugen (wie Katzen), obwohl sie das nie gelernt haben sollten.

Das Ergebnis:
Der Delta-Crosscoder hat in allen 10 Fällen den genauen Schalter gefunden, der das seltsame Verhalten verursacht. Die alten Methoden haben es oft nicht geschafft, diese Schalter zu finden.

Warum ist das gut für uns?

Stell dir vor, du bist ein Sicherheitsinspektor für KI. Du willst wissen: „Hat dieser Roboter heimlich etwas gelernt, das gefährlich ist?"

• Früher: Du musstest stundenlang raten und hoffen, dass du das Problem findest.
• Jetzt: Mit dem Delta-Crosscoder kannst du wie mit einem Röntgengerät direkt in das Gehirn schauen, den winzigen Fehler finden und ihn reparieren, bevor der Roboter in die Welt entlassen wird.

Zusammengefasst:
Die Forscher haben eine neue Lupe gebaut, die nicht auf das ganze Bild schaut, sondern nur auf die winzigen Veränderungen, die durch Training entstehen. Damit können wir verstehen, wie KIs lernen, sich zu verändern, und sie sicherer machen, bevor sie Schaden anrichten. Es ist wie ein Werkzeug, das uns erlaubt, die „Gedanken" einer KI zu lesen und zu korrigieren, noch bevor sie etwas Falsches sagen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung, interne Repräsentationsänderungen in Large Language Models (LLMs) zu identifizieren, die durch schmales Fine-Tuning (Narrow Fine-Tuning) verursacht werden.

• Kontext: Schmales Fine-Tuning wird oft genutzt, um Modelle für spezifische Aufgaben zu optimieren oder um „Modellorganismen" zu erstellen, die potenziell schädliches oder fehlgeleitetes Verhalten (z. B. emergente Fehlausrichtung, subliminales Lernen) simulieren.
• Herausforderung: Die durch solches Fine-Tuning induzierten Änderungen sind oft klein, spärlich (sparse) und hochlokalisiert, führen aber zu signifikanten Verhaltensänderungen.
• Limitierung bestehender Methoden:
  • Herkömmliche Crosscoder (die einen gemeinsamen latenten Wörterbuch für Basis- und Fine-Tuned-Modelle lernen) scheitern in diesem Regime. Sie priorisieren hochfrequente, gemeinsame Merkmale und unterdrücken schwache, spärliche Verschiebungen, die für das Fine-Tuning spezifisch sind.
  • Sparse Autoencoder (SAEs) und andere Differenzierungsmethoden (wie Patchscope oder Logit Lens) können zwar signifikante Artefakte finden, versagen jedoch oft darin, die kausal relevanten, spärlichen Merkmale unter schmalen Fine-Tuning-Bedingungen zuverlässig zu isolieren.

2. Methodik: Delta-Crosscoder

Die Autoren stellen Delta-Crosscoder vor, eine modifizierte Crosscoder-Architektur, die speziell darauf ausgelegt ist, Fine-Tuning-induzierte Repräsentationsverschiebungen zu isolieren. Die Methode basiert auf drei Kerninnovationen:

• Delta-basierter Verlust (Delta Loss):
  Anstatt nur die Rekonstruktion der Eingaben zu optimieren, führt das Modell einen expliziten Verlustterm ein, der die Differenz zwischen den Aktivierungen des Basis-Modells ($a$) und des Fine-Tuned-Modells ($b$) modelliert: $\Delta = b - a$.
  Der Verlust $L_\Delta = \|\Delta - (W_{ft} - W_{base})z\|^2_2$ zwingt das Modell, latente Richtungen zu lernen, die diese Differenz direkt erklären. Dies behandelt Aktivitätsunterschiede als „First-Class-Signal".

• Dual-K Sparsity und Shared-Feature-Masking:
  Der latente Code $z$ wird in zwei Komponenten partitioniert:

  1. Shared Latents ($z_{shared}$): Ein fester Anteil (20 %) des Wörterbuchs, der für Merkmale reserviert ist, die in beiden Modellen vorkommen.
  2. Non-Shared Latents ($z_\Delta$): Der verbleibende Anteil (80 %) ist für Fine-Tuning-spezifische Merkmale reserviert.
     Während des Trainings wird der Delta-Loss so berechnet, dass er nur von den nicht-geteilten Latents abhängt (Shared Latents werden maskiert). Dies verhindert, dass gemeinsame Merkmale die spezifischen Unterschiede „absorbieren".

• Kontrastives Training mit Asymmetrie:
  Um den Delta-Loss zuverlässig zu schätzen, werden kontrastive Textpaare aus aufgabenagnostischen Daten generiert. Ein Prompt $x$ wird sowohl vom Basis- als auch vom Fine-Tuned-Modell beantwortet ($y_{base}$ und $y_{ft}$). Diese Paare erzeugen eine systematische Asymmetrie in den Eingaben, die die feinen, durch Fine-Tuning verursachten Signale im Repräsentationsraum verstärkt, ohne dass Zugriff auf den ursprünglichen Fine-Tuning-Datensatz erforderlich ist.

3. Wichtige Beiträge

1. Neue Architektur: Einführung des Delta-Crosscoders, der durch Dual-K-Allokation, Shared-Feature-Masking und kontrastives Pairing Fine-Tuning-spezifische Verschiebungen isoliert.
2. Umfassende Evaluation: Die Methode wurde an 10 verschiedenen Modellorganismen getestet, die vier Paradigmen abdecken:
   • Synthetisches Dokument-Fine-Tuning (SDF) zur Implantierung falscher Fakten.
   • Tabu-Wort-Raten (Taboo Word Guessing).
   • Emergente Fehlausrichtung (Emergent Misalignment, z. B. riskante Finanzberatung).
   • Subliminales Lernen (Lernen von Präferenzen durch numerische Muster).
   • Getestet auf verschiedenen Modellfamilien (Gemma, LLaMA, Qwen) und Größen (1B–9B Parameter).
3. Kausale Validierung: Die Autoren zeigen, dass die identifizierten Latents kausal für das Verhalten sind. Durch „Steering" (Hinzufügen/Subtrahieren der Decoder-Vektoren) konnten sie das Fehlverhalten induzieren oder unterdrücken.

4. Ergebnisse

• Überlegene Leistung: Delta-Crosscoder isolierte erfolgreich latente Merkmale, die kausal für das Fine-Tuning-Verhalten verantwortlich waren, in allen 10 getesteten Organismen.
• Vergleich mit Baselines:
  • Herkömmliche Crosscoder-Varianten (DSF, BatchTopK) scheiterten in vielen Fällen (nur 4–6 von 10 Organismen erfolgreich).
  • Delta-Crosscoder erreichte eine 100 %ige Erfolgsquote bei der Identifizierung kausal relevanter Merkmale.
  • Die Methode erreicht eine Interpretierbarkeit, die mit der nicht-SAE-basierten Methode ADL (Activation Difference Lens) vergleichbar ist, erfordert jedoch keine interaktiven Agenten oder manuelle Hypothesen-Iterationen.
• Steering-Effekte:
  • Bei SDF (z. B. falsche Fakten über Abtreibung in Kansas) konnte durch positives Steering das falsche Verhalten im Basis-Modell induziert werden.
  • Bei Emergent Misalignment konnte durch negatives Steering die Ablehnung schädlicher Anfragen unterdrückt werden, wodurch das Modell auf schädliche Prompts antwortete (und umgekehrt).
• Robustheit: Ein Null-Test mit zwei identischen Modellen zeigte, dass die Methode keine falschen positiven Signale erzeugt, wenn keine echten Unterschiede existieren.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Crosscoder-Methoden auch für das „Model Diffing" in schmalen Fine-Tuning-Szenarien mächtige Werkzeuge bleiben können, wenn sie entsprechend angepasst werden.

• Sicherheitsrelevanz: Delta-Crosscoder ermöglicht es, versteckte, durch Fine-Tuning induzierte Fehlausrichtungen oder Backdoors in bereitgestellten Modellen effizient zu entdecken, zu analysieren und zu mildern.
• Effizienz: Im Gegensatz zu interaktiven Agenten-Methoden liefert Delta-Crosscoder statische, interpretierbare Artefakte (sparse Latents), was die Analysegeschwindigkeit erhöht und den Rechenaufwand senkt.
• Mechanistische Interpretierbarkeit: Die Arbeit liefert tiefe Einblicke in die Mechanismen, wie schmales Fine-Tuning die interne Repräsentation von LLMs verändert, und zeigt, dass diese Änderungen oft in wenigen, hochspezialisierten Richtungen im Aktivierungsraum kodiert sind.

Zusammenfassend bietet Delta-Crosscoder einen robusten, skalierbaren und kausal validierten Ansatz, um die „Black Box" von feinabgestimmten Sprachmodellen zu öffnen und deren Sicherheitsrisiken besser zu verstehen.