SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks

Die Arbeit stellt SALVE vor, ein einheitliches Framework, das durch den Einsatz von Sparse Autoencodern und Grad-FAM zur Validierung eine mechanistische Interpretierbarkeit ermöglicht und präzise, dauerhafte Eingriffe im Gewichtsraum zur kontrollierten Modifikation von neuronalen Netzen erlaubt.

Das Wesentliche

SALVE: Wie man das Gehirn einer KI „chirurgisch" repariert

Stellen Sie sich eine moderne Künstliche Intelligenz (KI) wie ein riesiges, dunkles Labor vor, in dem Tausende von unsichtbaren Schaltern und Hebeln funktionieren. Wenn die KI ein Bild sieht – sagen wir, einen Golfball –, drücken sie alle gleichzeitig, um das Ergebnis „Golfball" zu erzeugen. Das Problem: Niemand weiß genau, welcher Hebel wofür zuständig ist. Die KI ist ein „Black Box"-Modell: Sie liefert gute Ergebnisse, aber wir verstehen nicht, wie sie zu diesen Ergebnissen kommt.

Die Forscher in diesem Papier haben eine neue Methode namens SALVE entwickelt, um genau das zu ändern. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar kreativen Vergleichen:

1. Das Problem: Die undurchsichtige Maschine

Stellen Sie sich vor, Sie haben einen alten, komplexen Radioempfänger. Wenn Sie den Knopf für „Jazz" drücken, kommt Jazz heraus. Aber wenn Sie den Radio öffnen, sehen Sie nur ein Chaos aus Drähten. Sie wissen nicht, welche Drähte für die Geige und welche für das Schlagzeug zuständig sind.
In der KI-Forschung nennen wir das „Interpretierbarkeit". Bisher konnten wir nur raten, welche Teile des Radios wichtig sind, aber wir konnten sie nicht gezielt verändern, ohne den ganzen Radio kaputtzumachen.

2. Die Lösung: SALVE (Der Übersetzer und Chirurg)

SALVE ist wie ein genialer Übersetzer und Chirurg in einem. Es besteht aus drei Schritten:

Schritt A: Die Landkarte zeichnen (Entdecken)

Zuerst schaut sich SALVE an, was im Inneren der KI passiert, wenn sie Bilder sieht. Es nutzt ein Werkzeug namens Sparse Autoencoder (SAE).

• Die Analogie: Stellen Sie sich vor, die KI denkt in einem riesigen, unordentlichen Wortschatz. SALVE ist wie ein Übersetzer, der diesen Wortschatz in eine saubere Liste von einzelnen, klaren Konzepten umwandelt.
• Statt zu sagen: „Hier ist ein Bild von etwas, das wie ein Golfball aussieht", sagt SALVE: „Ah, hier ist der Hebel für 'runde Form', hier der für 'weiße Farbe' und hier der für 'Dimples (die kleinen Vertiefungen)'."
• SALVE findet diese „Hebel" (Features) automatisch, ohne dass ihm jemand sagt, wonach er suchen soll.

Schritt B: Die Landkarte überprüfen (Validieren)

Bevor man anfängt zu schrauben, muss man sicher sein, dass man den richtigen Hebel gefunden hat.

• Die Analogie: SALVE sagt: „Ich glaube, dieser Hebel ist für 'Golfbälle' zuständig." Um das zu beweisen, zeigt es dem Computer ein Bild, das nur aus diesem Hebel besteht. Wenn das Bild dann tatsächlich wie ein Golfball aussieht (und nicht wie eine Banane), dann haben wir den richtigen Hebel gefunden.
• Die Forscher nutzen dafür eine neue Technik namens Grad-FAM, die wie eine Wärmebildkamera funktioniert. Sie zeigt genau, wo im Bild die KI nach „Golfball-Merkmalen" sucht.

Schritt C: Chirurgische Eingriffe (Kontrollieren)

Das ist der coolste Teil. Bisher mussten Forscher, wenn sie die KI ändern wollten, sie komplett neu trainieren (wie einen ganzen Motor zu überholen). SALVE macht etwas anderes: Es schraubt direkt an den Gewichten der KI.

• Die Analogie: Stellen Sie sich vor, Sie wollen verhindern, dass ein Radio Jazz spielt, aber Rockmusik soll weiterlaufen. Statt das ganze Radio neu zu bauen, drehen Sie einfach den einen Regler für „Jazz" auf Null.
• SALVE kann diese Hebel dauerhaft verändern.
  • Unterdrücken: Sie können den Hebel für „Kirche" so stark drehen, dass die KI ein Bild einer Kirche nicht mehr erkennt (sie denkt dann vielleicht, es sei ein Golfball).
  • Verstärken: Sie können den Hebel für „Golfball" so stark drehen, dass die KI selbst bei einem Bild, das kaum einem Golfball ähnelt, „Golfball" schreit.

3. Der neue Maßstab: Der „Kritische Schwellenwert" (αcrit)

Die Forscher haben noch eine geniale Idee gehabt: Wie stark muss man an einem Hebel drehen, damit die KI ihre Meinung ändert?

• Die Analogie: Stellen Sie sich vor, Sie drücken auf einen Gummiball. Wie stark müssen Sie drücken, bis er platzt? SALVE berechnet genau diesen Punkt für jede Idee in der KI.
• Wenn die KI sehr stark auf einen bestimmten Hebel angewiesen ist (z. B. für „Kirchen"), reicht ein kleiner Druck, um sie zu verwirren. Das nennt man eine „brittle" (brüchige) Darstellung. Wenn sie viele Hebel hat, ist sie robuster.
• Dieser Wert hilft uns zu verstehen, wo die KI anfällig für Fehler oder Manipulationen ist.

Warum ist das wichtig?

Bisher war es wie ein Blindflug. Mit SALVE können wir:

1. Verstehen: Wir sehen genau, woran die KI denkt.
2. Korrigieren: Wir können Fehler dauerhaft beheben, ohne die KI neu zu programmieren.
3. Sicher machen: Wir können testen, wie stabil die KI ist, indem wir gezielt ihre „Schwächen" (die Hebel) manipulieren.

Zusammenfassend:
SALVE verwandelt die undurchsichtige KI von einem mysteriösen Black Box-Radio in ein gut beschriftetes Schaltschrank-System. Wir können jetzt jeden einzelnen Schalter sehen, verstehen, was er tut, und ihn gezielt umlegen, um das Verhalten der KI präzise und dauerhaft zu steuern. Das ist ein riesiger Schritt hin zu KI-Systemen, denen wir wirklich vertrauen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks" auf Deutsch.

1. Problemstellung

Tiefe neuronale Netze erzielen zwar beeindruckende Leistungen, bleiben jedoch in ihrer Funktionsweise oft undurchsichtig („Black Box"). Dies erschwert Interpretierbarkeit, Debugging und eine gezielte Kontrolle, insbesondere in sicherheitskritischen Anwendungen.
Zwei Hauptansätze existieren derzeit, die jedoch Lücken aufweisen:

• Mechanistische Interpretierbarkeit: Versucht, interne Strukturen zu verstehen, bietet aber oft nur temporäre Einblicke ohne dauerhafte Eingriffsmöglichkeiten.
• Modell-Steering (Lenkung): Nutzt gefundene Merkmale zur temporären Anpassung der Aktivierungen während der Inferenz (Inference-Time). Dies erfordert jedoch zusätzliche Overhead-Module und führt keine dauerhaften Änderungen am Modell durch.

Es fehlt eine Brücke, die interpretierbare Erkenntnisse in dauerhafte, präzise und permanente Gewichtsanpassungen (Weight-Space Editing) übersetzt, ohne das Modell neu zu trainieren oder die Architektur zu ändern.

2. Methodik: Der SALVE-Framework

SALVE (Sparse Autoencoder-Latent Vector Editing) schlägt eine Pipeline vor, die in drei Phasen unterteilt ist: Entdecken, Validieren und Steuern.

A. Entdecken interpretierbarer Merkmale (Discovery)

• Sparse Autoencoder (SAE): Ein linearer SAE wird auf den internen Aktivierungen des Zielmodells (z. B. der letzten Average-Pooling-Schicht bei ResNet-18 oder dem [CLS]-Token bei ViT) trainiert.
• Ziel: Das SAE lernt eine spärliche, modell-native Merkmalsbasis (Latent Vectors) ohne überwachtes Lernen. Die Optimierung erfolgt durch eine Rekonstruktionsverlustfunktion plus einer $\ell_1$-Strafe, um Sparsity zu erzwingen.
• Merkmalsidentifikation: Klassen-spezifische Merkmale werden durch Berechnung des klassenbedingten Mittelwerts der latenten Aktivierungen ($\mu_k$) identifiziert. Merkmale mit hohen absoluten Werten in $\mu_k$ gelten als dominant für eine Klasse.

B. Validierung der Merkmale (Validation)

Um sicherzustellen, dass die latenten Merkmale semantisch sinnvoll sind, werden zwei Visualisierungsmethoden eingesetzt:

1. Aktivierungsmaximierung: Synthese von Bildern, die ein bestimmtes latentes Merkmal maximal aktivieren.
2. Grad-FAM (Gradient-weighted Feature Activation Mapping): Eine vom Autor vorgeschlagene Erweiterung von Grad-CAM. Statt die Klassenvorhersage zu analysieren, visualisiert Grad-FAM, welche Eingabebereiche ein spezifisches latentes Merkmal aktivieren. Dies schafft einen direkten visuellen Link zwischen abstrakten Merkmalen und Eingabedaten.

C. Steuerung durch Gewichts-Editing (Control)

Anstatt Aktivierungen während der Inferenz zu manipulieren, führt SALVE permanente Änderungen an den Gewichten der letzten Schicht durch.

• Mechanismus: Die Gewichte $w_{ij}$ der Klassifikationsschicht werden multiplikativ modifiziert:
  $$w'_{ij} = w_{ij} \cdot \max(0, 1 \pm \alpha \cdot |c_j|)$$
  Dabei ist $c_j$ der Beitrag des gewählten latenten Merkmals zur Aktivierungskoordinate $j$, und $\alpha$ steuert die Stärke der Intervention (Unterdrückung oder Verstärkung).
• Vorteil: Da die Änderung multiplikativ auf den gelernten Gewichten basiert, interagiert sie mit dem Aktivierungsmuster des Eingangs und ermöglicht eine feingranulare, sample-spezifische Diagnostik.

D. Quantitative Metrik: Kritische Unterdrückungsschwelle ($\alpha_{crit}$)

Um die Abhängigkeit einer Klasse von einem dominanten Merkmal zu quantifizieren, wird $\alpha_{crit}$ definiert. Dies ist der kleinste Wert für $\alpha$, bei dem der Logit-Beitrag des Merkmals für eine Klasse auf Null gedrückt wird.

• Es wird eine analytische Näherung (basierend auf Linearisierung) und eine numerische Berechnung bereitgestellt.
• $\alpha_{crit}$ dient als Maß für die Robustheit: Niedrige Werte deuten auf eine starke Abhängigkeit (und potenzielle Verletzlichkeit) hin.

3. Wichtige Ergebnisse

Die Methode wurde auf ResNet-18 (auf Imagenette und CIFAR-100) und Vision Transformer (ViT-B/16) validiert.

• Semantische Kohärenz: Die SAE entdeckten Merkmale korrelieren stark mit visuellen Konzepten (z. B. „Golfball", „Kirchenturm"). Grad-FAM zeigt, dass diese Merkmale präzise auf relevante Bildregionen fokussieren.
• Präzise Kontrolle:
  • Klassen-Unterdrückung: Das Unterdrücken eines dominanten Merkmals (z. B. „Kirche") führt dazu, dass das Modell diese Klasse nicht mehr erkennt (Genauigkeit $\approx$ 0%), während andere Klassen unbeeinflusst bleiben.
  • Klassen-Verstärkung: Das Verstärken eines Merkmals (z. B. „Golfball") kann die Vorhersage für eine unsichere Eingabe umkehren.
  • Cross-Class-Interventionen: Das Paper zeigt, dass Merkmale, die über Klassen hinweg geteilt werden (z. B. ein „Turm"-Merkmal für Kirchen und Tankstellen), gezielt manipuliert werden können, um spezifische Klassen zu beeinflussen, ohne andere zu zerstören. Dies deckt auch spuriose Korrelationen auf (z. B. eine negative Korrelation zwischen „Turm" und „Kettensäge").
• Robustheit und Generalisierung:
  • Die Ergebnisse sind konsistent über verschiedene Architekturen (CNN vs. Transformer) und Datensätze hinweg.
  • Die Methode ist robust gegenüber verschiedenen Initialisierungen des SAE.
  • Im Vergleich zu Baselines wie ROME (gewichtsbasiertes Editing) und SAE-Steering (Inferenz-basiert) erreicht SALVE ähnliche Ergebnisse bei der Unterdrückung, bietet aber den Vorteil permanenter Änderungen ohne Inferenz-Overhead.
• Architekturelle Unterschiede: Bei ViT-Modellen ist die lineare Näherung für $\alpha_{crit}$ weniger genau als bei ResNet, was auf die nicht-lineare, „gekrümmte" Repräsentationsraum von Transformern zurückgeführt wird.

4. Hauptbeiträge

1. Unified Framework: SALVE verbindet erstmals unsupervisierte Merkmalsentdeckung (via SAE) direkt mit dauerhaften Gewichtsanpassungen im Nachhinein (Post-hoc).
2. Grad-FAM: Eine neue Visualisierungsmethode, die latente SAE-Merkmale direkt auf Eingaberegionen abbildet.
3. Permanente Kontrolle: Im Gegensatz zu temporärem Steering ermöglicht SALVE dauerhafte Änderungen ohne Laufzeit-Overhead, was für Compliance und Deployment entscheidend ist.
4. Quantitative Diagnostik: Die Einführung von $\alpha_{crit}$ als Metrik zur Messung der Verletzlichkeit von Klassenrepräsentationen gegenüber adversarialen Angriffen oder Fehlern.
5. Feingranulare Eingriffe: Die Fähigkeit, sowohl klassendefinierende als auch übergreifende Konzepte kontinuierlich zu modulieren und dabei die Struktur des gelernten Wissens zu analysieren.

5. Bedeutung und Ausblick

SALVE demonstriert, dass neuronale Netze nicht nur als Black Box behandelt werden müssen, sondern dass ihre internen Konzepte systematisch entdeckt, validiert und dauerhaft manipuliert werden können. Dies ist ein wichtiger Schritt hin zu transparenteren, robusteren und verlässlicheren KI-Systemen.

Einschränkungen und zukünftige Arbeit:

• Die aktuelle Implementierung nutzt einen einfachen linearen SAE. Für komplexere Datensätze (wie CIFAR-100) sind fortschrittlichere SAE-Varianten (z. B. Gated, JumpReLU) notwendig, um eine bessere Merkmalsentkopplung zu erreichen.
• Die Effektivität der Eingriffe hängt stark von den Trainingsparametern des Basismodells (z. B. Batch-Größe) und des SAE ab. Zukünftige Forschung sollte darauf abzielen, Trainingsprozesse und Editierbarkeit gemeinsam zu optimieren (Co-Design).
• Die Anwendung auf tiefere Schichten des Modells könnte tiefgreifendere Änderungen an der Merkmalsbildung ermöglichen.

Zusammenfassend bietet SALVE einen principled Ansatz, um die Lücke zwischen dem Verständnis und der Kontrolle von Deep Learning-Modellen zu schließen.