Do Sparse Autoencoders Identify Reasoning Features in Language Models?

Probleemstelling
Recente vooruitgang in grote taalmodellen (LLM's) heeft sterke meerstapsredeneercapaciteiten aangetoond, vaak opgeroepen via chain-of-thought (CoT) prompting. Een groeiend corpus aan mechanistische interpretabiliteitsonderzoek maakt gebruik van Sparse Autoencoders (SAE's) om interne kenmerken te identificeren die geassocieerd zijn met deze redeneerprocessen. De heersende aanpak omvat contrastieve selectie: het identificeren van SAE-kenmerken die aanzienlijk hogere activatie vertonen op redenerende tekst (bijvoorbeeld CoT-sporen) in vergelijking met niet-redenerende tekst. De auteurs betogen echter dat deze methode last heeft van fundamentele ambiguïteiten. Omdat CoT-antwoorden niet alleen verschillen in onderliggende redenering, maar ook in oppervlakkig lexicaal gebruik (bijvoorbeeld discoursmarkers zoals "Wacht," "Maar," "Laten"), kunnen contrastieve methoden kenmerken identificeren die ondiepe lexicaal verstorende factoren vastleggen in plaats van echte redeneerberekeningen. De centrale vraag die wordt behandeld, is of SAE's betrouwbaar monosemantische kenmerken kunnen identificeren die het interne redeneerproces zelf vertegenwoordigen, of dat ze slechts laagdimensionale linguïstische correlaten vastleggen die samen voorkomen met redenering.

Methodologie
Het artikel stelt een op falsificatie gebaseerd evaluatiekader voor dat is ontworpen om de robuustheid van contrastief geselecteerde "redeneerkenmerken" te testen. De methodologie verloopt in drie fasen:

1. Theoretische Motivatie: De auteurs presenteren een gestileerde analyse die aantoont dat sparsiteits-geregulariseerde decoding in SAE's inherent de voorkeur geeft aan stabiele, laagdimensionale correlaten boven hoogdimensionale variatie binnen het gedrag. In een setting waarbij een hoog niveau van gedrag (redenering) samenvalt met een stabiele lexicaal aanwijzing, kan sparse decoding bij voorkeur de coördinaat van de aanwijzing behouden terwijl het de verspreide, hoogdimensionale variatie van het redeneerspoor zelf onderdrukt. Dit suggereert dat contrastieve methoden eerder aanwijzing-achtige structuren isoleren dan redeneerberekeningen.

2. Causale Token-injectie: Om te testen op oppervlakkige lexicaal afhankelijkheden, voeren de auteurs experimenten uit met causale token-injectie. Ze identificeren de tokens of n-grams met de hoogste activatie voor een kandidaat-kenmerk en voegen deze in in niet-redenerende tekst. Als het kenmerk significant activeert na de injectie van deze enkele tokens, wordt het geclassificeerd als "token-gedreven", wat aangeeft dat het een lexicaal aanwijzing vastlegt in plaats van een redeneerproces.

3. LLM-geleide Falsificatie: Voor kenmerken die na token-injectie nog steeds "contextafhankelijk" blijven, maken de auteurs gebruik van een LLM-geleide adversariaal proces. Een LLM genereert hypotheses over welke linguïstische of structurele patronen een kenmerk detecteert. Vervolgens construeert het twee soorten tegenvoorbeelden:

   • Valse Positieven (VP): Niet-redenerende tekst die het gehypotheetiseerde patroon instantaan realiseert (bijvoorbeeld specifieke discoursmarkers of syntactische structuren) om activatie op te wekken zonder redenering.
   • Valse Negatieven (VN): Parafrases van de redenerende sporen met de hoogste activatie die de semantische betekenis en het redeneerintent behouden, maar de oppervlaktevorm (woordenschat, syntaxis, stijl) veranderen om activatie te onderdrukken.
     Een kenmerk wordt alleen beschouwd als een "echt redeneerkenmerk" als het deze falsificatiepogingen weerstaat (d.w.z. het activeert niet op VP's en activeert wel op VN's).

4. Stuur-gezondheidscontrole: Als aanvullende controle voeren de auteurs sturexperimenten uit om te zien of het versterken van kandidaat-kenmerken de downstream redeneerbenchmarks verbetert, met de opmerking dat veranderingen in prestaties alleen onvoldoende bewijs zijn voor de representatie van redenering.

Belangrijkste Bijdragen

• Theoretisch Inzicht: Het artikel biedt een theoretisch mechanisme dat verklaart waarom sparsiteit in SAE's een asymmetrie creëert die de voorkeur geeft aan het behoud van stabiele, laagdimensionale lexicaal aanwijzingen boven hoogdimensionale redeneervariabiliteit, zelfs wanneer het woordenboek perfect is.
• Evaluatiekader: Het introduceert een rigoureus, op falsificatie gericht proces dat causale token-injectie combineert met door LLM's geleide generatie van tegenvoorbeelden om onderscheid te maken tussen echte redeneerkenmerken en linguïstische correlaten.
• Empirisch Bewijs: De studie past dit kader systematisch toe op 22 configuraties die meerdere model-families (Gemma-3, DeepSeek-R1-Distill-Llama, Llama-3.1), lagen en redeneringsdatasets omvatten.

Resultaten

• Token-gevoeligheid: In alle configuraties bleek een aanzienlijke meerderheid (45%–90%) van de contrastief geselecteerde kandidaat-kenmerken zeer gevoelig te zijn voor ingrepen op token-niveau. Het injecteren van slechts enkele geassocieerde tokens in niet-redenerende tekst was voldoende om aanzienlijke toenames in activatie op te wekken, waardoor ze werden geclassificeerd als token-gedreven of gedeeltelijk token-gedreven.
• Falsificatie van Contextafhankelijke Kenmerken: Voor de overige kenmerken die niet werden verklaard door eenvoudige token-injectie, slaagde het LLM-geleide falsificatieproces erin gerichte tegenvoorbeelden te construeren. De LLM genereerde niet-redenerende teksten die de kenmerken activeerden (Valse Positieven) en geparaphraseerde redenerende teksten die activatie onderdrukten (Valse Negatieven).
• Geen Echte Kenmerken: Van alle 248 geanalyseerde contextafhankelijke kenmerken werd geen enkel geclassificeerd als een echt redeneerkenmerk. Elk onderzochte kenmerk bleek een verstorende factor te zijn, die doorgaans specifieke syntactische sjablonen (bijvoorbeeld "Eerst moet ik..."), discoursmarkers of formele academische framing detecteerde in plaats van de onderliggende redeneerberekening.
• Stuur-impact: Sturexperimenten leverden minimale of licht verslechterde prestaties op benchmarks (AIME, GPQA) op, wat consistent is met de bevinding dat deze kenmerken het redeneermechanisme zelf niet coderen.

Betekenis en Claims
Het artikel concludeert dat in de onderzochte settings, sparse decomposities de voorkeur geven aan laagdimensionale correlaten die samen voorkomen met redenering in plaats van het redeneerproces zelf te isoleren. De auteurs claimen dat contrastieve correlaties alleen onvoldoende bewijs zijn voor het bestaan van monosemantische redeneerkenmerken. Ze benadrukken dat het toeschrijven van hoog niveau van gedrag aan individuele SAE-kenmerken causale validatie en falsificatie vereist om oppervlakkige linguïstische verstorende factoren uit te sluiten. Het werk claimt niet dat SAE's geen redeneringsrelevante structuur kunnen representeren, maar eerder dat huidige contrastieve pipelines betrouwbaar kenmerken identificeren die beter worden verklaard als linguïstische correlaten. De auteurs pleiten ervoor om contrastieve correlaties te behandelen als hypotheses die rigoureuze causale en adversariaal testen moeten ondergaan voordat ze worden geïnterpreteerd als representaties van specifieke cognitieve berekeningen.