SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

Technisches Resümee: SAEVerbalizer

Problemstellung
Sparse Autoencoder (SAEs) werden weit verbreitet eingesetzt, um interpretierbare Merkmale aus den dichten internen Repräsentationen von Large Language Models (LLMs) zu extrahieren, indem sie diese in einen hochdimensionalen, spärlichen Raum abbilden. Eine kritische Engstelle bleibt jedoch die Erklärung dessen, was diese extrahierten Merkmale repräsentieren. Aktuelle State-of-the-Art-Methoden verlassen sich auf eine Bottom-up-Interpretation, bei der ein LLM über ein großes Korpus läuft, um die am stärksten aktivierenden Beispiele für ein Merkmal zu identifizieren, und anschließend ein externes LLM angewiesen wird, das gemeinsame Muster zusammenzufassen.

Die Autoren identifizieren zwei primäre Einschränkungen dieses bestehenden Paradigmas:

1. Oberflächliche Erklärungen: Da diese Methoden die Bedeutung ausschließlich aus den Aktivierungsbeispielen ableiten, beschreiben sie, was die Beispiele gemeinsam haben, anstatt direkt auf den semantischen Gehalt zuzugreifen, der in der Repräsentation des Merkmals selbst kodiert ist.
2. Recheneffizienz: Die Generierung von Erklärungen für Millionen von Merkmalen erfordert wiederholte Inferenz auf Korpus-Skala, Aktivierungsberechnungen und Beispielabrufe, was nicht skalierbar ist.

Methodik: SAEVerbalizer
Das Paper stellt SAEVerbalizer vor, ein Framework, das den Erklärungsprozess von der Beobachtung externen Verhaltens hin zur direkten Verarbeitung interner Repräsentationen verschiebt. Anstatt Aktivierungsbeispiele abzurufen, behandelt SAEVerbalizer die SAE-Decoder-Richtung als den alleinigen Input zur Generierung einer Erklärung.

• Kernmechanismus: Das Framework injiziert eine SAE-Decoder-Richtung (einen Vektor, der ein spezifisches Merkmal repräsentiert) direkt in die Token-Repräsentationen eines LLMs an einer festgelegten Injektionsschicht ($L_{inj}$). Die nachgeschalteten Schichten des LLMs werden dann darauf feinabgestimmt, eine natürliche Spracherklärung basierend auf dieser injizierten Repräsentation zu generieren.
• Injektionsstrategie: Die Decoder-Richtung wird der Token-Repräsentation in einem festen Injektionsspan mittels einer norm-angepassten additiven Injektion hinzugefügt:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  wobei $\hat{v}$ die normalisierte Richtung ist, $\bar{n}_b$ die mittlere Norm der Prä-Injektions-Repräsentationen bezeichnet und $\alpha$ die Injektionsstärke steuert.
• Training:
  • Verbalizer-Feinabstimmung: Das LLM wird auf hochwertigen Merkmal-Erklärungs-Paaren feinabgestimmt (bezogen aus Neuronpedia und gefiltert auf Kohärenz und Spezifität). Nur die Schichten nach der Injektionsschicht werden aktualisiert, wodurch der Repräsentationsraum, in dem die SAE-Richtungen definiert sind, erhalten bleibt.
  • Adapter für Cross-LLM-Transfer: Um einen Verbalizer, der auf einem LLM trainiert wurde, auf SAE-Merkmale eines anderen LLMs anzuwenden, wird ein leichtgewichtiger affiner Adapter trainiert. Dieser Adapter bildet Decoder-Richtungen aus dem Repräsentationsraum des Quell-LLMs in den Injektionsschicht-Raum des Ziel-Verbalizers ab, trainiert auf ausgerichteten Hidden-Repräsentationen aus unbeschriftetem Text.
• Inferenz: Einmal trainiert, kann der Verbalizer ungesehene Merkmale erklären, indem er die entsprechende Decoder-Richtung injiziert und den Text autoregressiv generiert, ohne dafür Aktivierungsbeispiele abrufen oder verarbeiten zu müssen.

Wesentliche Beiträge

1. Ein neues Paradigma für die Interpretation: Die Autoren schlagen einen leichtgewichtigen Ansatz vor, um SAE-Merkmale direkt aus Decoder-Richtungen zu erklären, wodurch die Notwendigkeit von Korpus-Skala-Inferenz und Beispielabruf umgangen wird.
2. Trainierbare Fähigkeit: Sie zeigen, dass die Fähigkeit, interne Repräsentationen zu verbalisieren, eine trainierbare Fähigkeit ist, die auf ungesehene Merkmale generalisiert und innerhalb desselben Repräsentationsraums auf separat trainierte SAE-Dictionaries transferiert werden kann.
3. Cross-LLM-Skalierbarkeit: Durch leichtgewichtige Adapter erweitert das Framework die Verbalisierungsfähigkeiten auf SAE-Merkmale verschiedener LLMs, ohne dass eine quellspezifische Supervision oder ein Retraining des Verbalizer-Backbones erforderlich ist.
4. Interventionsanalyse: Das Paper liefert empirische Belege dafür, dass der Verbalizer kompositionelle Semantik (wenn mehrere Richtungen injiziert werden) und Vorzeichenbeziehungen (wenn Richtungen umgekehrt werden) erfasst, was darauf hindeutet, dass er die zugrunde liegende Geometrie des Merkmalsraums lernt und nicht nur Assoziationen auswendig lernt.

Experimentelle Ergebnisse
Die Autoren evaluierten SAEVerbalizer unter Verwendung von Gemma-LLMs (1B, 4B, 27B) und Gemma Scope 2 SAEs.

• Leistung: Der Verbalizer erreicht signifikante Reference Agreement (RA) Scores (z. B. 52,3 % auf dem Global Train-Standard-Set für das 27B-Modell mit 48k Trainingspaaren), was zeigt, dass er Erklärungen generieren kann, die konsistent mit hochwertigen, von Menschen kuratierten Referenzen sind.
• Generalisierung: Das Modell generalisiert auf ungesehene Merkmale und transferiert direkt auf ein anderes SAE-Dictionary (Breite 65k), das auf demselben LLM trainiert wurde, ohne zusätzliches Fine-Tuning.
• Übertragbarkeit: Wenn Adapter verwendet werden, um von 1B- und 4B-Modellen auf einen 27B-Verbalizer zu transferieren, nutzt das System erfolgreich die stärkere Verbalisierungsfähigkeit des größeren Modells und verbessert die Leistung gegenüber nativen Verbalizern, die auf kleineren Modellen trainiert wurden.
• Robustheit: Das System ist robust gegenüber Variationen im Prompt-Design und der Injektionsstärke, sofern die Injektion ausreichend stark ist.
• Qualitative Befunde:
  • Kompositionalität: Die gemeinsame Injektion zweier Richtungen liefert Erklärungen, die die Bedeutungen beider Merkmale kombinieren.
  • Umkehrung der Richtung: Die Umkehrung des Vorzeichens einer Decoder-Richtung erzeugt semantisch verwandte, aber verschobene Erklärungen (z. B. „gelernte Lektionen“ vs. „Lehrplan“), was darauf hindeutet, dass der Verbalizer die gerichtete Natur des Merkmalsraums erfasst.

Bedeutung und Ansprüche
Das Paper behauptet, dass SAEVerbalizer einen direkteren und recheneffizienteren Weg von gelernten Repräsentationen zu Merkmalserklärungen bietet. Indem es Erklärungen in den internen Repräsentationsraum des LLMs gründet, anstatt sie aus externen Aktivierungstexten abzuleiten, adressiert die Methode die Einschränkungen der Oberflächlichkeit und Ineffizienz aktueller automatisierter Interpretation.

Die Autoren positionieren SAEVerbalizer nicht als Ersatz für alle Interpretationsmethoden, sondern als eine trainierbare und teilweise wiederverwendbare Ergänzung zu bestehenden Ansätzen. Es ermöglicht die Generierung von Erklärungen für ungesehene Merkmale und über verschiedene Modellarchitekturen hinweg mit minimalem Overhead, was die Skalierung der SAE-Interpretation auf Millionen von Merkmalen erleichtert. Die Arbeit legt nahe, dass die Verbalisierung interner Repräsentationen eine lernbare Fähigkeit ist, die transferiert und angepasst werden kann, was neue Wege für die Analyse der semantischen Struktur von LLMs eröffnet.

Limitierungen
Die Autoren räumen mehrere Einschränkungen ein:

• Abdeckung: Die Experimente beschränken sich derzeit auf Gemma-LLMs und Gemma Scope 2 SAEs; eine Generalisierung auf andere Familien ist nicht verifiziert.
• Validierung: Die Evaluierung stützt sich auf das Reference Agreement mit gefilterten Neuronpedia-Erklärungen, die als Proxy für die Qualität dienen, aber keine absolute Grundwahrheit darstellen.
• Supervision: Die aktuelle Pipeline beruht auf der rechenintensiven Filterung von Neuronpedia-Daten zur Erstellung von Trainingspaaren, obwohl die Autoren anmerken, dass alternative Quellen für die Supervision genutzt werden könnten.
• Laufzeit-Variabilität: Die Ergebnisse werden aus einzelnen Durchläufen berichtet, ohne die Variabilität über verschiedene Random Seeds hinweg zu messen.