Measuring Semantic Abstractness of SAE Features via Nonlocality

Technische Samenvatting: Het meten van de semantische abstractheid van SAE-features via non-lokaliteit

Probleemstelling
Sparse Autoencoders (SAEs) zijn een primair instrument geworden voor het ontdekken van mechanistische verklaringen van gedragingen van Large Language Models (LLMs), zoals redeneren en jailbreaking, door het isoleren van causaal effectieve features. Echter, er blijft een kritische kloof bestaan in het onderscheiden tussen echt hoogwaardige semantische features en oppervlakkige, op tokens gebaseerde features (bijv. specifieke lexicale aanwijzingen of formateringspatronen). Huidige methoden voor featureselectie—die vertrouwen op keyword-filtering, contrastieve datasets of door LLM's gegenereerde auto-interpretaties—falen vaak in het oplossen van het abstractieniveau van een feature. Bijgevolg impliceert een succesvolle gedragssturing via interventie niet noodzakelijkerwijs een mechanistisch begrip van de onderliggende berekening; een feature kan simpelweg de waarschijnlijkheid verhogen van het emitteren van een specifiek token (bijv. "Wait") in plaats van een complex concept als "onzekerheid" te representeren. Er is behoefte aan een LLM-onafhankelijke, label-vrije metriek om de "mechanistische complexiteit" of semantische abstractheid van SAE-features te kwantificeren.

Methodologie: Feature Nonlocality (FNL)
De auteurs introduceren Feature Nonlocality (FNL) als een kwantitatieve getuige van het contextuele bereik van een feature. Geïnspireerd door holografische dualiteit, behandelt FNL de tokensequentie van de transformer als een "tijdsevolutie" en meet het de "locatie" van de activatie van een feature in deze temporele ruimte.

De metriek wordt als volgt gedefinieerd:

1. Per-Positie Invloed: Voor een specifieke SAE-feature $a$ die geactiveerd wordt op de laatste tokenpositie $T$ van een prompt $P$, berekenen de auteurs de gekwadrateerde gradiëntnorm van de activatie van de feature ten opzichte van de input-embedding op elke voorafgaande positie $t$ ($1 \le t \le T$). Dit meet hoeveel de activatie van de feature afhankelijk is van specifieke input-tokens.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. Waarschijnlijkheidsverdeling: Deze invloedsscores worden genormaliseerd om een waarschijnlijkheidsverdeling $p_a^{(P)}(t)$ te vormen over de prefix-posities.
3. Entropieberekening: De non-lokaliteit $H(a, P)$ wordt gedefinieerd als de Shannon-entropie van deze verdeling.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. Aggregatie: Een dataset-niveau FNL-score $H(a, D)$ wordt verkregen door de entropie te middelen over een set van firing-events.

Intuitief duidt een lage FNL op een activatie van een feature die wordt gedreven door lokale, specifieke tokens (lage entropie, geconcentreerde invloed), terwijl een hoge FNL aangeeft dat een feature informatie breed over het contextvenster integreert (hoge entropie, diffuse invloed).

Belangrijkste Bijdragen

1. Definitie van FNL: Het paper stelt FNL voor als een label-vrije, gradiënt-gebaseerde metriek om het typische contextuele bereik van een SAE-feature te karakteriseren.
2. Validatie van Stabiliteit en Geometrie: De auteurs demonstreren dat FNL-rangschikkingen stabiel zijn over verschillende datasets (WikiText, GSM8K, Code-Python) en modeldieptes. Ze tonen ook aan dat FNL correleert met feature-geometrie, waarbij features met vergelijkbare decoder-vectoren (vergelijkbare write-side functies) vergelijkbare non-lokaliteitsbereiken delen.
3. Correlatie met Semantische Abstractheid: FNL wordt gevalideerd tegen twee onafhankelijke proxy-maten van abstractie:
   • Token Injectie Susceptibiliteit: Features met een hoge FNL vertonen een lagere susceptibiliteit voor het worden getriggerd door geïsoleerde token-injecties (false positives), wat hen onderscheidt van token-gedreven features.
   • Parafrase Invariantie: Features met een hoge FNL vertonen een grotere robuustheid tegen betekenisbehoudende parafrases (lagere false negatives) vergeleken met features met een lage FNL.
4. Downstream Applicaties:
   • Jailbreak Mitigatie Audit: De auteurs hebben de features geheranalyseerd die worden gebruikt om wrapper-stijl jailbreaks te mitigeren. Ze vonden dat de meest effectieve features een bijna nul-FNL hadden, waarbij ze bijna uitsluitend activeerden aan het begin van de sequentie (positionele indicatoren) in plaats van schadelijke intentie te herkennen. Dit suggereert dat huidige mitigatiemechanismen steunen op oppervlakkige artefacten in plaats van semantisch begrip.
   • Reasoning Steering: In een proof-of-concept experiment op DeepSeek-R1-Distill-Llama-8B verbeterde het sturen van high-FNL features de MATH-500 accuratesse met 4,6 punten ten opzichte van de unsteered baseline, waarmee het beter presteerde dan het sturen van low-FNL features en willekeurige baselines.

Resultaten

• Correlatiemetrieken: FNL vertoont een significante negatieve correlatie met token-injectie herstel ($\rho \approx -0,46$) en een positieve correlatie met parafrase robuustheid ($\rho \approx 0,27$).
• Discriminatiekracht: FNL onderscheidt succesvol context-afhankelijke features van token-gedreven features in 73–84% van de willekeurig getrokken paren (AUC 0,73–0,84).
• Jailbreak Bevindingen: In de audit van 25 jailbreak-mitigatie features werden 21 geïdentificeerd als positioneel (0 FNL); het sturen van deze positionele features was verantwoordelijk voor het merendeel van de verbetering in defensie, terwijl het sturen van de 4 content-bewuste features verwaarloosbare winst opleverde.
• Steering Performance: High-FNL steering op DeepSeek-R1-Distill-Llama-8B bereikte een MATH-500 accuratesse van 0,911 (avg@4), vergeleken met 0,865 voor de unsteered baseline. De auteurs merken echter op dat deze winst model-specifiek is; op andere modellen (Gemma-2-9B, Qwen3-8B) presteerde high-FNL steering niet consistent beter dan de baselines.

Significantie en Claims
Het paper concludeert dat FNL een LLM-onafhankelijke, label-vrije, correlationele getuige is van het abstractieniveau van een SAE-feature. Het claimt niet een perfect voorspeller te zijn van de sturende bruikbaarheid in alle contexten, maar voert aan dat het een noodzakelijke diagnostische tool biedt om onderscheid te maken tussen oppervlakkige lexicale triggers en genuïne hoogwaardige berekeningen.

De auteurs benadrukken dat terwijl sturende bruikbaarheid (steering utility) de controle valideert, FNL helpt bij het valideren van begrip door te onthullen of een feature een complex semantisch concept of een eenvoudige positionele cue representeert. Dit onderscheid is cruciaal voor het ontwikkelen van robuuste mechanistische verklaringen van LLM-gedragingen en voor het ontwerpen van effectievere veiligheidsinterventies die zich richten op genuïne intentieherkenning in plaats van oppervlakkige artefacten. Het werk wordt gepresenteerd als een stap naar fijnmazige mechanistische interpreteerbaarheid, met de kanttekening dat de steering resultaten een proof-of-concept zijn en geen algemene garantie dat hoge non-lokaliteit bruikbaarheid voorspelt.