🤖 machine learning

Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design

Dit artikel toont aan dat de gerapporteerde stabiliteit van Archetypale SAE's een artefact is van identieke initialisatie en metriekontwerp in plaats van een genuïne convergentie-eigenschap, waarbij wordt betoogd dat ware stabiliteit onderscheiden moet worden van stabilisatie en geverifieerd moet worden door middel van trajectdiagnostiek en initialisatie-ablaties.

Oorspronkelijke auteurs: Michał Brzozowski, Neo Christopher Chung

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michał Brzozowski, Neo Christopher Chung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Het Probleem van de "Onbetrouwbare Kaart"

Stel je voor dat je probeert te begrijpen hoe een enorme, complexe machine (zoals een Large Language Model) werkt. Om dit te doen, gebruiken onderzoekers een hulpmiddel genaamd een Sparse Autoencoder (SAE). Zie een SAE als een vertaler die de interne gedachten van de machine afbreekt in een lijst van eenvoudige, begrijpelijke "concepten" of "kenmerken" (zoals "beleefdheid", "wiskunde" of "programmeren").

Het doel is om een woordenboek van deze concepten te vinden dat stabiel is. Dit betekent dat als je de vertaler twee keer gebruikt met iets andere instellingen, je dezelfde lijst met concepten moet krijgen. Als je elke keer een totaal andere lijst krijgt, kun je de resultaten niet vertrouwen.

Onlangs werd een nieuwe methode genaamd Archetypal SAEs voorgesteld. De makers beweerden dat deze nieuwe methode veel stabieler en betrouwbaarder was dan de oude manier. Ze zeiden dat het elke keer een consistent woordenboek van concepten produceerde.

Dit artikel betoogt dat deze bewering een illusie is. De auteurs laten zien dat de nieuwe methode niet echt stabieler is; het lijkt alleen maar zo omdat de onderzoekers de startlijn hebben bedrogen.

Analogie 1: De Hardloopbaan (Stabiliteit vs. Stabilisatie)

Het artikel maakt een cruciaal onderscheid tussen twee woorden die op elkaar lijken maar heel andere dingen betekenen: Stabiliteit en Stabilisatie.

Stabilisatie (De Echte Test): Stel je twee hardlopers voor die aan de tegenovergestelde kanten van een baan beginnen. Ze rennen naar de finishlijn. Als ze allebei op exact dezelfde plek eindigen, weten we dat de baan hen gedwongen heeft om samen te komen. Dit bewijst dat het pad solide is.
Stabiliteit (De Nep-Test): Stel je twee hardlopers voor die de race beginnen terwijl ze naast elkaar staan en elkaars hand vasthouden. Ze zetten een paar stappen en stoppen. Ze staan nog steeds naast elkaar. Zijn ze "stabiel"? Ja. Maar hebben ze bewezen dat de baan goed is? Nee. Ze waren simpelweg nooit van elkaar gescheiden.

De Bevinding van het Papier:
De "Archetypal SAE"-methode is als de tweede hardloper. De onderzoekers hebben het experiment zo opgezet dat beide versies van het model begonnen met hetzelfde woordenboek (hetzelfde startpunt). Omdat ze identiek begonnen, eindigden ze ook identiek.

De auteurs zeggen: "Je kunt niet beweren dat je een beter pad hebt gevonden, alleen omdat je iedereen hebt gedwongen om op dezelfde plek te beginnen." Toen ze de Archetypal SAE's lieten starten vanuit willekeurige, verschillende plekken (zoals een echte race), presteerden ze eigenlijk slechter dan de oude methode. Ze waren langzamer in het overeenkomen over de uiteindelijke concepten.

Analogie 2: Het "Sterrenstelsel"-effect (De Meetfout)

Het papier wijst ook op een tweede probleem: hoe ze de resultaten hebben gemeten. Ze gebruikten een liniaal genaamd "Cosine Distance" om te zien hoe vergelijkbaar de woordenboeken waren.

Het Probleem: Stel je voor dat je vanaf de aarde naar een sterrenstelsel kijkt. Omdat het sterrenstelsel zo ver weg is, lijken alle sterren in dezelfde kleine richting te staan, ook al liggen ze miljoenen kilometers uit elkaar.
In het Papier: De data waar de modellen van leerden, hadden een "gemiddelde" (mean) dat ver van nul afliep. Dit zorgde ervoor dat alle "concepten" (sterren) compact in één richting klonterden. Wanneer de onderzoekers de afstand tussen hen maten, zorgde het "Sterrenstelsel-effect" ervoor dat ze er ongelooflijk vergelijkbaar uitzagen, zelfs als ze eigenlijk verschillend waren.

De auteurs losten dit op door de data te "centreren" (het gemiddelde aftrekken), wat de sterren verspreidde. Zod even ze dit deden, zag de "Archetypal"-methode er helemaal niet zo stabiel uit als voorheen.

De Experimenten: Het Gordijn Opzijtrekken

Om hun punt te bewijzen, voerden de auteurs twee specifieke tests uit:

De "Verwijder de Beperking"-test: Ze namen de Archetypal-methode en zetten de speciale "convex hull"-regel (de regel die concepten dwingt binnen een specifieke vorm te blijven) uit.
- Resultaat: Verrassend genoeg werd het model stabieler (de woordenboeken kwamen beter overeen) en werkte het ook beter bij het reconstrueren van de data. Dit bewees dat de speciale regel niet hielp; het stond de boel juist in de weg.
De "Eerlijke Start"-test: Ze namen de oude, standaard methode en gaven deze dezelfde "voorsprong" (initialisatie) als de Archetypal-methode.
- Resultaat: De oude methode presteerde net zo goed als de Archetypal-methode. Dit bewees dat het succes van de "Archetypal"-methode volledig te danken was aan de voorsprong, en niet aan de speciale regel.

De Conclusie

Het artikel concludeert dat Archetypal SAEs geen wondermiddel zijn voor stabiliteit.

De "stabiliteit" die zij rapporteerden, was een artefact (een bijproduct) van het gebruik van hetzelfde startpunt voor elk experiment.
Wanneer je ze eerlijk test (door vanuit verschillende punten te starten), komen ze niet sneller samen; ze komen zelfs langzamer samen.
Het meetinstrument dat ze gebruikten, was ook beïnvloed door de manier waarop de data was voorbereid.

Kortom: De nieuwe methode heeft het probleem van onbetrouwbare kaarten niet opgelost. Het heeft alleen maar gedaan alsof de kaarten identiek waren omdat iedereen werd gedwongen om vanaf dezelfde plek te beginnen. Om echt te weten of een methode werkt, moet je de hardlopers vanaf verschillende plekken laten starten en kijken of ze nog steeds dezelfde finishlijn vinden.

Technische Samenvatting: Ablateren van Archetypen

Probleemstelling
Sparse Autoencoders (SAEs) zijn een standaardinstrument binnen mechanistische interpreteerbaarheid voor het ontleden van activaties in neurale netwerken tot interpreteerbare, ijle (sparse) kenmerken. Een kritieke uitdaging in dit domein is instabiliteit: SAE's die getraind zijn op identieke data met verschillende willekeurige seeds, leren vaak substantieel verschillende woordenboeken (dictionaries), wat het moeilijk maakt om onderscheid te maken tussen echte computationele kenmerken en trainingsartefacten.

Recent werk door Fel et al. (2025) stelde Archetypische SAE's voor, die de woordenboek-atomen beperken tot het convexe omhulsel van een set "archetypen" (typisch k-means centroids). Zij rapporteerden dat deze methode resulteert in aanzienlijk stabielere woordenboeken aan het einde van de training vergeleken met klassieke SAE's. Dit artikel betoogt dat de gerapporteerde stabiliteit niet het gevolg is van de archetypische beperking zelf, maar een artefact is van identieke initialisatie over runs heen en een preprocessing-afhankelijke metriekfout.

Methodologie en Analyse
De auteurs maken gebruik van een combinatie van trajectanalyse, initialisatie-ablaties en metriek-diagnostiek om de claims van stabiliteit van Archetypische SAE's te deconstrueren.

Onderscheid tussen Stabiliteit en Stabilisatie:
Het artikel verheldert een conceptuele verwarring in de literatuur:
- Stabiliteit (Consistentie): Overeenstemming tussen twee onafhankelijk getrainde modellen aan het einde van de training.
- Stabilisatie: De convergentie van twee runs die starten vanuit werkelijk verschillende initialisaties naar een gemeenschappelijke oplossing.
  De auteurs stellen dat Archetypische SAE's het eerste triviaal vertonen (door het startpunt vast te leggen), maar falen in het demonstreren van het laatste.
Traject-diagnostiek:
In plaats van alleen het eindpunt-gelijkenis te meten, plotten de auteurs de inter-run woordenboek afstand (gemiddelde minimale cosinusafstand) als functie van de trainingsstappen.
- Klassieke TopK (Random Init): Begint met een hoge afstand en neemt monotoon af, wat wijst op echte stabilisatie gedreven door dataconstricties.
- Archetypische TopK (Fixed k-means Init): Blijft gedurende de hele training vlak op nul afstand omdat beide seeds starten vanuit de identieke dictionary ( $D=C$ ).
- Archetypische TopK (Random Init): Wanneer de archetypische beperking wordt toegepast maar de initialisatie wordt gerandomiseerd, neemt de afstand af, maar tegen ongeveer de helft van de snelheid van klassieke TopK, wat suggereert dat de beperking de convergentie in deze setting juist belemmert.
Het "Galaxy-Far-Away"-effect (Metriek Pathologie):
Het artikel identificeert een geometrische confound in het gebruik van cosinusafstand op ongecentreerde activaties. In de residual streams van LLM's hebben activaties een niet-verwaarloosbaar gemiddelde ( $\mu$ ). k-means centroids op ongecentreerde data clusteren in een smalle kegel rondom $\mu$ . Bijgevolg wordt de cosinusafstand tussen twee atomen gedomineerd door de gemiddelde offset in plaats van hun directionele verschillen, wat de gelijkenisscores kunstmatig opblaast. De auteurs demonstreren dat het centreren van de activaties (het aftrekken van het gemiddelde) deze bias elimineert, waardoor de pre-centering cosinus-gelijkenissen instorten van ~0.36 naar ~0.00.
Ablatie-studies:
Gebruikmakend van een gecontroleerde setup op DinoV2 (visie) en Pythia-160m (taal) data, voeren de auteurs twee ablaties uit:
- Uitschakelen van de Convex-Hull Projectie: Het verwijderen van de projectiebeperking van Archetypische SAE's (terwijl de k-means initialisatie behouden blijft) resulteert in hogere stabiliteit (lagere Hungarian afstand) dan de volledige Archetypische SAE, terwijl de reconstructie ( $R^2$ ) wordt verbeterd.
- Fixeren van Klassieke SAE Initialisatie: Het initialiseren van een standaard TopK SAE met dezelfde k-means centroids gebruikt door de Archetypische SAE (zonder de convex-hull beperking), levert stabiliteitsmetrieken op die identiek zijn aan de geablateerde Archetypische SAE.

Belangrijkste Resultaten

Initialisatie is de Drijver: De stabiliteit gerapporteerd door Fel et al. (2025) is primair toe te schrijven aan de deterministische k-means initialisatie die gedeeld wordt over seeds, en niet aan de archetypische beperking. Wanneer de initialisatie wordt gerandomiseerd, vertraagt de archetypische beperking de stabilisatie vergeleken met klassieke SAE's.
Reconstructiekosten: De convex-hull projectiebeperking in Archetypische SAE's vermindert de reconstructiekwaliteit ( $R^2$ ) zonder een voordeel in stabilisatie te bieden in de geteste settings.
Validiteit van de Metriek: De standaard cosinus stabiliteitsmetriek is ongeldig voor ongecentreerde activaties vanwege het "galaxy-far-away"-effect. Centreren is een noodzakelijke preprocessing stap om ervoor te zorgen dat stabiliteitsmetrieken werkelijke directionele verschillen reflecteren.
Kwantitatief Bewijs: In experimenten bereikte een Klassieke SAE met vaste k-means initialisatie een Hungarian afstand van 0.068 (Visie) en 0.112 (Pythia), wat overeenkomt met de geablateerde Archetypische SAE en de volledige Archetypische SAE (respectievelijk 0.243 en 0.170) aanzienlijk overtreft.

Betekenis en Claims
Het artikel beweert niet dat Archetypische SAE's nutteloos zijn voor alle doeleinden (bijv. visualisatie of gebonden normen), maar weerlegt rigoureus de claim dat ze superieure stabilisatie bieden voor feature discovery.

Methodologische Correctie: De auteurs stellen dat claims over de stabiliteit van SAE's gevalideerd moeten worden via traject-diagnostiek (het tonen van convergentie vanuit verschillende startpunten) in plaats van enkel endpoint-overeenstemming.
Waarschuwing voor Reproduceerbaarheid: Ze benadrukken dat de "stabiliteit" van Archetypische SAE's een artefact is van een experimenteel ontwerp dat faalt om de beperking te isoleren van de initialisatie.
Implicaties voor Interpreteerbaarheid: Als stabiliteit wordt gebruikt als een proxy voor de validiteit van een feature (bijv. "als het verschijnt over verschillende seeds, is het echt"), dan bieden methoden die stabiel zijn door constructie (vaste initialisatie) geen dergelijk bewijs. Echt bewijs vereist convergentie vanuit diverse startpunten.

De studie concludeert dat hoewel de archetypische constructie geometrische deugden heeft, het niet vormt voor een levensvatbare route naar stabilisatie in de huidige setting, en dat het vakgebied onderscheid moet maken tussen stabiliteit (overeenstemming) en stabilisatie (convergentie) om misleidende interpretaties van mechanistische bevindingen te voorkomen.