Technische Samenvatting: Ongesuperviseerde Feature Discovery door het Afstemmen van Semantiek en Mechanismen

Probleemstelling

Naarmate grote taalmodellen (LLM's) worden ingezet in domeinen met een hoog risico, is er een toenemende behoefte om niet alleen de outputs van het model te auditeren, maar ook de interne berekeningen die ze genereren. Hoewel mechanistische interpreteerbaarheid instrumenten biedt om specifieke gedragingen uit te leggen, is de dominante aanpak, circuit-analyse, doorgaans doel-geconditioneerd. Dit betekent dat analisten een specifieke prompt en een gekozen doel-voltooiing (target completion) moeten specificeren om de causale circuit te identificeren.

Deze doel-geconditioneerde opzet brengt twee kritieke beperkingen met zich mee:

1. Generaliseerbaarheid: Het is onduidelijk of een mechanisme dat geïdentificeerd is voor één specifieke voltooiing generaliseert naar semantisch vergelijkbare parafrases, of dat het een breekbare afhankelijkheid van een specifieke oppervlaktevorm (surface form) reflecteert.
2. Verborgen Heterogeniteit: Zelfs voor een vast doel kan doel-geconditioneerde analyse de heterogeniteit in interne berekeningen verhullen. Semantisch vergelijkbare outputs kunnen vertrouwen op verschillende interne activatiepatronen die door enkelvoudige doel-analyse niet worden gevangen.

Huidige gedragsmatige evaluaties zijn beperkt tot input-outputcorrelaties, terwijl bestaande mechanistische methoden vaak handmatige specificatie van doelen vereisen, wat potentieel diverse "voortzetting-modi" (continuation modes) die een model voor een enkele prompt kan produceren, mist.

Methodologie

De auteurs stellen een framework voor distributie-niveau ongesuperviseerde feature discovery voor. In plaats van een enkele doel-voltooiing te analyseren, clustert de methode de gesamplede voortzetting-distributie van een model door semantische inhoud en sequentie-niveau mechanistische attributies gezamenlijk af te stemmen.

Het framework werkt in drie stadia:

1. Voortzetting-sampling (Continuation Sampling)

Gegeven een input-prefix $x$, samplet het model $N$ verschillende voortzettingen $y^{(n)}$ met behulp van nucleus sampling. Elke voortzetting wordt toegewezen aan een lengte-genormaliseerde waarschijnlijkheid $P_n$, die de waarschijnlijkheid onder de distributie van het model vertegenwoordigt. Deze waarschijnlijkheden worden gebruikt om de bijdragen van elke voortzetting tijdens het clusteren te wegen.

2. Duale Representatie

Elke gesamplede voortzetting wordt gerepresenteerd door twee complementaire weergaven:

• Semantische Embedding ($e_n$): Legt de linguïstische betekenis van de voortzetting in context vast, doorgaans afgeleid van een vooraf getraind embedding-model (bijv. EmbeddingGemma).
• Mechanistische Embedding ($a_n$): Legt vast hoe prefix-features de logits van de voortzetting beïnvloeden. Dit wordt berekend met behulp van transcoders (sparse autoencoders getraind om MLP-lagen te benaderen) om MLP-berekeningen te deconstrueren in interpreteerbare sparse features. De attributievector $a_n$ aggregeert de directe lineaire attributie van prefix-features aan de gedemendeerde logits over het gehele voortzettingsverloop.

3. Gezamenlijk Clustering via Rate-Distortion

De kerninnovatie is het formuleren van latent discovery als een rate-distortion optimalisatieprobleem. Het doel is om een clustering te vinden die de distortie (reconstructiefout) in zowel semantische als mechanistische weergaven minimaliseert, terwijl de rate (entropie van cluster-toewijzingen) wordt geminimaliseerd.

De objectieffunctie is:
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
Waar:

• $H(C)$ de entropie van de cluster-prior is (Rate).
• $D(e)$ en $D(a)$ de waarschijnlijkheid-gewogen distorties zijn in respectievelijk de semantische (L2) en attributie (L1) ruimtes.
• $\beta$ de afweging controleert tussen compressie (minder clusters) en getrouwheid (lage distortie).
• $\gamma$ de balans bepaalt tussen de semantische en mechanistische weergaven ($\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$).

Adaptieve Operaties: In tegen tegenstelling tot K-means, dat $K$ a priori vastlegt, gebruikt dit framework Split en Junk operaties om het aantal clusters adaptief aan te passen:

• Split: Deelt een heterogene cluster op als de reductie in distortie de kosten van verhoogde entropie (rate) overtreft.
• Junk: Verwijdert spookclusters die ruis vangen in plaats van coherente modi, als het herverdelen van hun leden de totale objectieffunctie vermindert.

Belangrijkste Bijdragen

1. Analyse op Distributieniveau: Het artikel introduceert het eerste framework dat de voortzetting-distributie van een model clustert met gebruik van zowel semantische structuur als sequentie-niveau mechanistische attributie, waarmee het verder gaat dan enkelvoudige doel-analyse.
2. Gezamenlijke Optimalisatie: Het demonstreert dat het gezamenlijk optimaliseren voor semantische coherentie en mechanistische consistentie voortzetting-modi onthult die single-view baselines (alleen semantisch of alleen attributie K-means) missen.
3. Causale Validatie via Steering: De auteurs leveren interventioneel bewijs dat de ontdekte cluster-signatures overeenkomen met acteerbare mechanistische factoren. Door te sturen (steeren) langs cluster-afgeleide richtingen (met behulp van medoids), tonen zij consistente, directionele verschuivingen aan in de voorkeur van het model voor voortzettingen binnen die cluster.
4. Granulariteitscontrole: Het framework stelt gebruikers in staat om de granulariteit van de ontdekte modi te controleren door de $\beta$-parameter te laten annihileren (annealing), waardoor hiërarchische structuren worden onthuld waarbij fijnere clusters de mechanistische signatures erven van grovere clusters.

Experimentele Resultaten

De methode werd geëvalueerd op AmbigQA (met behulp van Qwen3-8B) en MMLU, met aanvullende experimenten op Gemma3 en redeneertaken (GSM8K, MATH500).

• Clustering Prestaties: In rate-matched vergelijkingen bereikte de voorgestelde Rate-Distortion (RD) clustering de laagste gemengde distortie ($D_\gamma$) in 94% van de gevallen vergeleken met K-means baselines (KM-S voor alleen semantisch, KM-A voor alleen attributie). KM-S behield semantische coherentie maar faalde op mechanistische consistentie, terwijl KM-A het tegenovergestelde faalpatroon vertoonde.
• Granulariteitsanalyse: Het variëren van $\beta$ onthulde een hiërarchische structuur. Bijvoorbeeld, een grove cluster gedefinieerd door "formatteringstijl" (bijv. solo artiest versus band) splitste in fijnere clusters gebaseerd op specifieke inhoudelijke details (bijv. het opsommen van bandleden versus genrebeschrijvingen) naarmate $\beta$ toenam.
• Steering Validatie: Steering-experimenten bevestigden causale relaties. RD-afgeleide medoid-richtingen produceerden sterke, monotone correlaties tussen steering-sterkte ($\epsilon$) en veranderingen in de target-cluster logits. In contrast hiermee vertoonden semantische-alleen baselines (KM-Sem) bijna nul correlaties, en single-continuation baselines waren zwakker en minder consistent.
• Redeneertaken: In redeneerbenchmarks identificeerde de methode succesvol dat specifieke eerdere redeneerstappen causaal invloed hebben op specifieke target-stap clusters, waarbij de sterkste effecten werden waargenomen tussen vroege bronstappen en latere targets.

Betekenis en Claims

Het artikel claimt dat deze aanpak complementair is aan conventionele circuit-analyse en gedragsmatige evaluatie door een schaalbare audit te bieden van de mechanismen die ten grondslag liggen aan de voortzetting-distributie van een model.

• Complementariteit: Het vermindert de afhankelijkheid van handmatig gekozen targets, door mechanistische hypothesen naar boven te halen die worden ondersteund door cluster-niveau steering. Gebruikers kunnen eerst clusters ontdekken en vervolgens de specifieke circuits traceren die geassocieerd zijn met een geselecteerde cluster.
• Acteerbare Mechanismen: De ontdekte modi zijn niet louter beschrijvend; ze komen overeen met acteerbare mechanistische factoren die gemanipuleerd kunnen worden om het gedrag van het model op voorspelbare wijze te verschuiven.
• Beperkingen: De auteurs erkennen beperkingen met betrekking tot de computationele overhead (vanwege de noodzaak voor backward passes voor attributie) en het gebrek aan een principieel framework voor het toekennen van menselijk interpreteerbare labels aan clusters. Zij merken op dat validatie onder interventie geen uniekheid van geïdentificeerde features garandeert, wat verdere contrafactuele inspectie vereist.

Samenvattend stelt dit werk een verschuiving voor van het analyseren van geïsoleerde input-output paren naar het analyseren van de distributie van voortzettingen, wat een robuuster perspectief biedt voor het begrijpen van de heterogene interne berekeningen van grote taalmodellen.