Technische Samenvatting: Schalen van Monosemantiek naar Claude 3 Sonnet

Probleemstelling

De centrale open vraag die door dit werk wordt aangepakt, is of methoden voor woordenboekkennis, specifiek spaarse auto-encoder (SAE), kunnen schalen van kleine, toy-transformers naar taalmodellen op productieschaal om interpreteerbare, monosemantische kenmerken te extraheren. Eerdere studies toonden aan dat SAE's monosemantische kenmerken konden herstellen uit een transformer met één laag, maar het bleef onduidelijk of deze methoden haalbaar of effectief zouden blijven voor state-of-the-art-modellen zoals Claude 3 Sonnet. Een groot zorgpunt was dat technische beperkingen of fundamentele verschillen in de werking van grote modellen deze methoden zouden kunnen verhinderen om te generaliseren, waardoor hun praktische bijdrage aan AI-veiligheid en mechanistische interpretatie beperkt zou blijven.

Methodologie

Architectuur van de Spaarse Auto-Encoder (SAE)

De auteurs trainden spaarse auto-encoders op de activaties van de residustroom van Claude 3 Sonnet, specifiek op de middelste laag. De SAE bestaat uit:

1. Encoder: Een lineaire transformatie gevolgd door een ReLU-niet-lineariteit, die de invoeractivatievector $x \in \mathbb{R}^D$ afbeeldt op een hogerdimensionale kenmerkruimte van grootte $F$.
2. Decoder: Een lineaire transformatie die probeert de oorspronkelijke activatievector $\hat{x}$ te reconstrueren.

Het model wordt getraind om een verliesfunctie $L$ te minimaliseren die reconstructiefout (L2) combineert met een L1-regularisatiestraf op kenmerkactivaties om spaarzaamheid te stimuleren:
$$L = \mathbb{E}_x \left[ \|x - \hat{x}\|_2^2 + \lambda \sum_i f_i(x) \cdot \|W_{\text{dec}, \cdot, i}\|_2 \right]$$
waarbij $f_i(x)$ de activatie van kenmerk $i$ is, en de opname van de decoder-weighnorm in de strafterm het interpreteren van eenheid-genormaliseerde decodervectoren als kenmerkrichtingen mogelijk maakt.

Schaling en Training

• Model: Claude 3 Sonnet (de gefinetunteerde, op de markt gebrachte versie uitgebracht op 4 maart 2024).
• SAE-groottes: Drie SAE's werden getraind met variërende woordenboekgroottes: ~1 miljoen, ~4 miljoen en ~34 miljoen kenmerken.
• Hyperparameterselectie: De auteurs maakten gebruik van schalingswetten om de hyperparameterselectie te sturen. Ze behandelden woordenboekkennis als een standaard machine learning-probleem, waarbij ze over het aantal kenmerken en trainingsstappen zochten om compute-optimale configuraties te vinden die het verlies minimaliseren. Ze observeerden dat het verlies volgens een machtwet afneemt met betrekking tot compute, en dat optimale toewijzingen voor kenmerken en stappen ook machtwetten volgen.
• Data: Training werd uitgevoerd op een tekst-only dataset vergelijkbaar met de pretraining-distributie van het model. Opmerkelijk is dat de SAE's niet werden getraind op data in "Human:/Assistant:"-formaat of afbeeldingen, maar toch generalisatie toonden naar beide.

Belangrijkste Bijdragen en Resultaten

1. Schaalbaarheid van Spaarse Auto-Encoders

De primaire bijdrage is de demonstratie dat SAE's succesvol hoogwaardige, interpreteerbare kenmerken kunnen extraheren uit een model op productieschaal. De SAE met 34 miljoen kenmerken verklaarde ten minste 65% van de variantie in de activaties van de residustroom van het model, met gemiddeld minder dan 300 actieve kenmerken per token.

2. Kenmerkeigenschappen

De geëxtraheerde kenmerken vertonen verschillende robuuste eigenschappen:

• Meertalig en Multimodaal: Kenmerken reageren op dezelfde concepten in verschillende talen en generaliseren naar afbeeldingen, ondanks dat ze uitsluitend op tekst zijn getraind.
• Concrete en Abstracte Generalisatie: Kenmerken activeren op zowel concrete voorbeelden (bijvoorbeeld specifieke code met een bug) als abstracte besprekingen van hetzelfde concept (bijvoorbeeld het bespreken van beveiligingskwetsbaarheden).
• Monosemantiek: Kenmerken corresponderen met specifieke concepten, variërend van bekende entiteiten (bijvoorbeeld Richard Feynman, de Golden Gate Bridge) tot abstracte concepten (bijvoorbeeld sarcasme, codefouten, bedrog).

3. Kenmerkinterpretatie en Causaliteit

De auteurs valideerden kenmerkinterpretaties door middel van:

• Specificiteit: Geautomatiseerde scoring met Claude 3 Opus bevestigde dat invoer met hoge activatie sterk overeenkwam met de voorgestelde kenmerkinterpretaties.
• Invloed op Gedrag (Sturen): Door "clamping" van kenmerkactivaties naar hoge of lage waarden tijdens de forward pass, toonden de auteurs causale controle over modeloutput. Bijvoorbeeld:
  • Clamping van een "Golden Gate Bridge"-kenmerk bracht het model ertoe zichzelf te identificeren als de brug.
  • Clamping van een "codefout"-kenmerk veroorzaakte dat het model hallucinaties van fouten maakte in foutloze code of buggy code herschreef naar correcte code.
  • Clamping van een "bedrog/interne conflict"-kenmerk veroorzaakte dat het model informatie onthulde die het probeerde te "vergeten".

4. Veiligheidsgerelateerde Kenmerken

De studie identificeerde kenmerken die corresponderen met veiligheidskritieke concepten, waaronder:

• Bedrog en Machtsstreven: Kenmerken gerelateerd aan liegen, verraderlijke wendingen en zelfverbeterende AI.
• Bias en Sycofantie: Kenmerken die geslachtsbias, racistische scheldwoorden en excessieve lof detecteren.
• Gevaarlijke Inhoud: Kenmerken die activeren bij besprekingen van biologische wapens, oplichterij-e-mails en backdoors.
• Causale Invloed: Het sturen van deze kenmerken bevestigde dat ze causale invloed hebben op modelgedrag (bijvoorbeeld: clamping van een "oplichterij-e-mail"-kenmerk veroorzaakte dat het model oplichterij-e-mails genereerde, ondanks veiligheidstraining).

5. Kenmerkgeometrie en Volledigheid

• Kenmerkbuurten: Kenmerken zijn georganiseerd in geometrische clusters in de decoderruimte die semantische relaties weerspiegelen (bijvoorbeeld splitst een "San Francisco"-kenmerk in de 1M-SAE zich in fijnkorreligere kenmerken in de 34M-SAE).
• Frequentie versus Woordenboekgrootte: Er werd een systematisch verband gevonden tussen de frequentie van een concept in trainingsdata en de woordenboekgrootte die nodig is om een kenmerk daarvoor op te lossen. Zeldzame concepten vereisen aanzienlijk grotere woordenboeken.
• Vergelijking met Neuronen: SAE-kenmerken bleken aanzienlijk beter interpreteerbaar en specifieker dan individuele MLP-neuronen, waarbij de overgrote meerderheid van de kenmerken geen sterke correlatie toonde met enig enkel neuron.

Betekenis en Beweringen

Het artikel beweert succesvol monosemantiek te hebben geschaald naar een middelgroot productiemodel, waarmee het de zorg wordt aangepakt dat woordenboekkennis misschien niet generaliseert buiten kleine transformers. De auteurs betogen dat dit een "testset voor veiligheid" biedt door onderzoekers in staat te stellen de interne representaties van grote modellen te inspecteren.

Bescheiden Beweringen en Beperkingen:
De auteurs waarschuwen expliciet tegen het te sterk interpreteren van het blote bestaan van veiligheidsgerelateerde kenmerken. Zij stellen:

• Bestaan versus Vermogen: De aanwezigheid van kenmerken voor bedrog of gevaarlijke inhoud impliceert niet dat het model momenteel bedrieglijk of gevaarlijk is; het weerspiegelt de blootstelling van het model aan dergelijke concepten tijdens pretraining.
• Onvolledigheid: De suite van kenmerken is onvolledig. De auteurs claimen niet "alle" kenmerken te hebben gevonden en merken op dat huidige methoden kenmerken kunnen missen vanwege "cross-layer superpositie" (waarbij kenmerken over meerdere lagen worden uitgesmeerd) of krimpproblemen bij L1-regularisatie.
• Evaluatie: Er is momenteel geen rigoureuze "ground truth"-methode om te evalueren of kenmerken alle modelberekeningen getrouw vastleggen. De gebruikte verliesfunctie is een proxy, geen definitieve maatstaf voor interpreteerbaarheid.
• Veiligheidsnut: Hoewel de kenmerken waarschijnlijk nuttig zijn voor veiligheid, claimt het artikel niet dat ze momenteel voldoende zijn voor het implementeren van veiligheidsmechanismen. Het werk wordt beschreven als "voorlopig", bedoeld om verder onderzoek aan te moedigen naar het begrijpen van de implicaties van deze kenmerken.

Kortom, het artikel stelt vast dat spaarse auto-encoders kunnen schalen naar grote modellen om een rijke, interpreteerbare en causaal invloedrijke set kenmerken bloot te leggen, waarmee een nieuw instrument voor mechanistische interpretatie wordt geboden, terwijl aanzienlijke resterende uitdagingen in volledigheid en evaluatie worden erkend.