SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

Technische Samenvatting: SAEVerbalizer

Probleemstelling
Sparse Autoencoders (SAEs) worden veelvuldig gebruikt om interpreteerbare kenmerken te extraheren uit de dichte interne representaties van Large Language Models (LLMs) door deze te mappen naar een hoogdimensionale, ijle (sparse) ruimte. Een kritieke flessenhals blijft echter: het verklaren van wat deze geëxtraheerde kenmerken betekenen in natuurlijke taal. De huidige state-of-the-art methoden vertrouwen op bottom-up interpretatie, wat inhoudt dat een LLM over een grote corpus wordt gedraaid om de voorbeelden met de hoogste activatie voor een kenmerk te identificeren, om vervolgens een extern LLM te instrueren om het gedeelde patroon samen te vatten.

De auteurs identificeren twee primaire beperkingen in dit bestaande paradigma:

1. Oppervlakkige Verklaringen: Door betekenis uitsluitend af te leiden uit activatievoorbeelden, beschrijven deze methoden wat de voorbeelden gemeen hebben, in plaats van direct toegang te krijgen tot de semantische inhoud die in de representatie van het kenmerk zelf is gecodeerd.
2. Computationele Inefficiëntie: Het genereren van verklaringen voor miljoenen kenmerken vereist herhaalde inferentie op corpus-schaal, activatieberekeningen en het ophalen van voorbeelden, wat niet schaalbaar is.

Methodologie: SAEVerbalizer
Het artikel introduceert SAEVerbalizer, een framework dat het verklaringsproces verschuift van het observeren van extern gedrag naar het direct verwerken van interne representaties. In plaats van activatievoorbeelden op te halen, behandelt SAEVerbalizer de SAE-decoderrichting als de enige input om een verklaring te genereren.

• Kernmechanisme: Het framework injecteert een SAE-decoderrichting (een vector die een specifiek kenmerk vertegenwoordigt) rechtstreeks in de token-representaties van een LLM op een aangewezen injectielaag ($L_{inj}$). De downstream-lagen van de LLM worden vervolgens fijn afgestemd om een verklaring in natuurlijke taal te genereren op basis van deze geïnjecteerde representatie.
• Injectiestrategie: De decoderrichting wordt toegevoegd aan de token-representaties in een vast injectie-interval met behulp van een norm-gematchte additieve injectie:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  waarbij $\hat{v}$ de genormaliseerde richting is, $\bar{n}_b$ de gemiddelde norm van de pre-injectie representaties, en $\alpha$ de injectiekracht regelt.
• Training:
  • Verbalizer Fine-tuning: De LLM wordt fijn afgestemd op hoogwaardige kenmerk–verklaring paren (afkomstig van Neuronpedia en gefilterd op coherentie en specificiteit). Alleen de lagen onder de injectielaag worden bijgewerkt, waardoor de representatieruimte waar de SAE-richtingen gedefinieerd zijn, behouden blijft.
  • Adapter voor Cross-LLM Transfer: Om een verbalizer die getraind is op één LLM toe te passen op SAE-kenmerken van een andere LLM, wordt een lichtgewicht affine adapter getraind. Deze adapter brengt decoderrichtingen uit de representatieruimte van de bron-LLM naar de injectielaag-ruimte van de doel-verbalizer, getraind op uitgelijnde verborgen representaties van ongelabelde tekst.
• Inference: Eenmaal getraind kan de verbalizer ongeziene kenmerken verklaren door de bijbehorende decoderrichting te injecteren en tekst autoregressief te genereren, zonder dat er activatievoorbeelden hoeven te worden opgehaald of verwerkt.

Belangrijkste Bijdragen

1. Een Nieuw Paradigma voor Interpretatie: De auteurs stellen een lichtgewicht benadering voor om SAE-kenmerken direct vanuit decoderrichtingen te verklaren, waarbij de noodzaak voor corpus-schaal inferentie en het ophalen van voorbeelden wordt omzeild.
2. Trainbare Capaciteit: Ze demonstreren dat het vermogen om interne representaties te verbaliseren een trainbare capaciteit is die generaliseert naar ongeziene kenmerken en overdraagt naar apart getrainde SAE-dictionaries binnen dezelfde representatieruimte.
3. Cross-LLM Schaalbaarheid: Via lichtgewicht adapters breidt het framework de verbaliseringscapaciteiten uit naar SAE-kenmerken van verschillende LLM's zonder dat daarvoor bronspecifieke supervisie of het hertrainen van de verbalizer-backbone nodig is.
4. Interventie-analyse: Het artikel levert empirisch bewijs dat de verbalizer compositionele semantiek vastlegt (wanneer meerdere richtingen worden geïnjecteerd) en gesigneerde relaties (wanneer richtingen worden omgekeerd), wat suggereert dat het de onderliggende geometrie van de kenmerkruimte leert in plaats van alleen associaties te memoriseren.

Experimentele Resultaten
De auteurs evalueerden SAEVerbalizer met behulp van Gemma LLMs (1B, 4B, 27B) en Gemma Scope 2 SAEs.

• Prestaties: De verbalizer bereikt significante Reference Agreement (RA) scores (bijv. 52,3% op de Global Train-Standard set voor het 27B model met 48k trainingsparen), wat aantoont dat het verklaringen kan genereren die consistent zijn met hoogwaardige, door mensen gecureerde referenties.
• Generalisatie: Het model generaliseert naar ongeziene kenmerken en draagt direct over naar een andere SAE-dictionary (breedte-65k) die op dezelfde LLM is getraind zonder aanvullende fine-tuning.
• Overdraagbaarheid: Wanneer adapters worden gebruikt om van 1B en 4B modellen naar een 27B verbalizer te transfereren, slaagt het systeem erin de sterkere verbaliseringscapaciteit van het grotere model te benutten, wat de prestaties verbetert ten opzichte van native verbalizers getraind op kleinere modellen.
• Robuustheid: Het systeem is robuust tegen variaties in prompt-ontwerp en injectiekracht, mits de injectie voldoende sterk is.
• Kwalitatieve Bevindingen:
  • Compositionaliteit: Gezamenlijke injectie van twee richtingen levert verklaringen op die de betekenissen van beide kenmerken combineren.
  • Richtingomkering: Het omkeren van het teken van een decoderrichting produceert semantisch gerelateerde maar verschoven verklaringen (bijv. "lessen geleerd" versus "lesplan"), wat aangeeft dat de verbalizer de directionele aard van de kenmerkruimte begrijpt.

Betekenis en Claims
Het artikel claimt dat SAEVerbalizer een directere en computationeel efficiëntere route biedt van geleerde representaties naar kenmerkverklaringen. Door verklaringen te funderen in de interne representatieruimte van de LLM in plaats van ze af te leiden uit activatieteksten, adresseert de methode de beperkingen van oppervlakkigheid en inefficiëntie in huidige geautomatiseerde interpretatie.

De auteurs positioneren SAEVerbalizer niet als een vervanging voor alle interpretatiemethoden, maar als een trainbare en gedeeltelijk herbruikbare aanvulling op bestaande benaderingen. Het maakt het genereren van verklaringen voor ongeziene kenmerken en over verschillende modelarchitecturen heen mogelijk met minimale overhead, wat de schaling van SAE-interpretatie naar miljoenen kenmerken faciliteert. Het werk suggereert dat de verbalisering van interne representaties een leerbare capaciteit is die kan worden overgedragen en aangepast, wat nieuwe wegen opent voor de analyse van de semantische structuur van LLM's.

Beperkingen
De auteurs erkennen verschillende beperkingen:

• Dekking: Experimenten zijn momenteel beperkt tot Gemma LLM's en Gemma Scope 2 SAEs; generalisatie naar andere families is niet geverifieerd.
• Validatie: Evaluatie vertrouwt op Reference Agreement met gefilterde Neuronpedia-verklaringen, die dienen als een proxy voor kwaliteit maar geen absolute grondwaarheid vormen.
• Supervisie: De huidige pijplijn vertrouwt op computationeel dure filtering van Neuronpedia-data om trainingsparen te creëren, hoewel de auteurs opmerken dat alternatieve bronnen voor supervisie gebruikt kunnen worden.
• Run Variabiliteit: Resultaten worden gerapporteerd vanuit enkelvoudige runs, zonder variabiliteit over willekeurige seeds te meten.