Technische Samenvatting: Referentie-kenmerkatlassen voor Mechanistische Audit van Taalmodellen

1. Probleemstelling

Het auditen van nieuwe taalmodellen (LM's) op veiligheid, bias of verborgen doelstellingen vereist doorgaans het opnieuw leren en interpreteren van interne kenmerken (features) vanaf nul voor elke nieuwe release. Huidige tools, zoals Sparse Autoencoders (SAE's) en Sparse Crosscoders, lijden onder aanzienlijke beperkingen in deze context:

• Gebrek aan gedeelde baselines: Single-model SAE's produceren voor elk doelwit een nieuwe dictionary, wat het onmogelijk maakt om te onderscheiden of een kenmerk een modelspecifieke anomalie is of een kenmerk dat typerend is voor een hele familie.
• Inefficiënte vergelijking: Pairwise Crosscoders spreiden de interpretatie uit over twee modellen, maar vereisen hertraining voor een derde model. Ze isoleren doel-specifieke kenmerken via post-hoc decoder-norm drempelwaarde-instellingen binnen een gedeelde dictionary, wat een zachte, per-kenmerk beslissing is in plaats van een architecturale scheiding.
• Ontbrekende coördinatensystemen: Er bestaat geen bestaande tool die een stabiel coördinatensysteem biedt waar verschillende doelwitten op gelijke voet vergeleken kunnen worden, noch een mechanisme om expliciet structuren te signaleren die "buiten" een referentiepaneel van bekende modellen liggen.

De kernuitdaging is het onderscheiden tussen generieke, gedeelde mechanismen binnen een modelfamilie en doel-specifieke mechanismen die mogelijk verborgen doelstellingen of unieke biases coderen, zonder de interpretatie-pipeline voor elk nieuw model opnieuw te starten.

2. Methodologie: Referentie-kenmerkatlas

De auteurs stellen een Referentie-kenmerkatlas voor, een sparse feature library die een eenmalig getraind wordt op een referentiepaneel van modellen en hergebruikt wordt voor nieuwe doelwitten. De methodologie scheidt kenmerkidentiteit (wat een kenmerk is) van kenmerkgebruik (hoe sterk een nieuw model dit kenmerk activeert).

2.1 Het trainen van de atlas (Fase 1)

Een referentiepaneel $P = \{M_1, \dots, M_k\}$ van $k$ modellen wordt gebruikt om een gedeeld sparse coördinatensysteem te trainen.

• Architectuur: Een multi-input encoder $E_A$ brengt activaties van alle paneelmodellen in kaart naar een gedeelde latente ruimte $z_A \in \mathbb{R}^K$.
• Sparsity: Het systeem gebruikt BatchTopK sparsity (het behouden van de $k$ grootste activaties per token) om stabiele feature-aantallen te garanderen over heterogene activatieschalen, waardoor artefacten die geassocieerd worden met L1-sparsity bij crosscoder-training worden vermeden.
• Doelstelling: De atlas minimaliseert de Fraction of Variance Unexplained (FVU) voor het reconstrueren van de activaties van elk paneelmodel ($h_i$) met behulp van zijn specifieke decoder $D_i$ en de gedeelde code $z_A$:
  $$\mathcal{L}_{atlas} = \sum_{i=1}^k \text{FVU}(h_i, D_i z_A)$$
• Metadata Curatie: Zodra de atlas getraind is, worden de atlas-kenmerken geïnterpreteerd (bijv. via LLM-gegenereerde hypothesen, top-activerende prompts) en gevalideerd. Deze metadata is vast en wordt hergebruikt voor alle toekomstige audits.

2.2 Een doelwit koppelen (Fase 2)

Wanneer er een nieuw doelwitmodel $M_\star$ arriveert, wordt dit "gekoppeld" aan de bevroren atlas zonder de encoder of de paneeldecoders te hertrainen.

1. Lineaire Decoder Fit: Een enkele lineaire doel-decoder $D_\star$ wordt gefit om de activaties van $M_\star$ te reconstrueren met behulp van de bevroren atlas-code $z_A$:
   $$\hat{h}_\star = D_\star z_A$$
   Deze stap is computationeel goedkoop (ridge regressie op een neutrale corpus) en levert het Atlas-kanaal op.
2. Residueel Kanaal: Het deel van de activaties van het doelwit dat niet door de atlas wordt gereconstrueerd, wordt gedefinieerd als het residu:
   $$r_\star = \text{sg}[h_\star - D_\star z_A]$$
   Een toegewezen Residuele SAE wordt getraind op $r_\star$ om een aparte dictionary te vormen. Dit kanaal vangt expliciet de door het paneel niet gedekte structuur op—kenmerken die in het doelwit bestaan maar niet vertegenwoordigd zijn in het referentiepaneel.

2.3 Audit Output

De audit produceert twee complementaire weergaven:

• Atlas-kanaal: Leest het doelwit op reeds geïnterpreteerde paneel-kenmerken. Het biedt een stabiel coördinatensysteem voor N-weg vergelijking, waarbij wordt getoond welke gedeelde kenmerken het doelwit activeert en welke het negeert.
• Residueel Kanaal: Brengt een benoemde inventaris van kenmerken naar voren voor mechanismen die "buiten het referentiepaneel" liggen. Omdat deze kenmerken door architecturale constructie in een aparte dictionary leven (en niet via post-hoc drempelwaarde-instellingen), zijn ze fundamenteel verschillend van de gedeelde kenmerken.

3. Belangrijkste Bijdragen

1. Herbruikbaar Kenmerk-coördinatensysteem: De atlas biedt een gedeeld coördinatensysteem dat eenmalig over een referentiepaneel is getraind. Nieuwe doelwitten koppelen via een lineaire decoder, wat directe vergelijking met alle referentiemodellen mogelijk maakt zonder de feature-dictionary te hertrainen.
2. Architecturale Scheiding van Niet-door-paneel Gedekte Structuren: In tegen tegenstelling tot sparse crosscoders die gedeelde en modelspecifieke kenmerken in één dictionary mengen, past deze methode een aparte residuele SAE toe op het ongereconstrueerde signaal. Dit maakt "niet-door-paneel gedekte" structuren een vast architecturaal kenmerk, in plaats van een post-hoc beslissing.
3. Cross-Lineage Signatuur via Koppeling: De kwaliteit van de koppeling (gemeten via FVU of KL-divergentie) dient als een scalair metriek van hoeveel van het gedrag van een doelwit buiten het referentiepaneel valt. Dit wordt uitgebreid naar een benoemde inventaris van kenmerken door de residuele SAE.

4. Experimentele Resultaten

De auteurs trainden twee leave-one-out atlassen over een paneel van vijf 7–9B instructie-getunede modellen (Llama-3.1, Qwen2.5, Mistral-7B, Gemma-2, OLMo-2) en auditten de uitgesloten modellen (Mistral en Qwen).

4.1 Gecontroleerde Audit van Verborgen Doelstellingen

Drie verborgen doelstellingen (een fictief dessertmerk, Ptolemeïsche epicykels en het promoten van de Vliegende Spaghetti Monster-leer) werden in beide uitgesloten doelwitten geïnjecteerd via kleine LoRA's.

• Herstel: Het residuele kanaal herstelde het geïnjecteerde mechanisme als het hoogst gerangschikte latent (gemiddelde rang 1.0, $\sigma=0$) in alle zes de runs (3 seeds $\times$ 2 doelwitten).
• Causale Controle: Interventies tijdens runtime op de residuele richtingen brachten de rate van de geïnjecteerde doelstelling naar nul, terwijl gematchte controle-mechanismen onveranderd bleven.
• Baseline Vergelijking: Op het Mistral-doelwit trainden de auteurs per-doelwit SAE's en pairwise crosscoders voor een head-to-head benchmark. Beide baselines faalden om het doel als top-kenmerk te herstellen (rangen 12 en 9 respectievelijk), terwijl de referentie-atlas daarin slaagde.

4.2 Paneel-Relatieve Politieke Framing Bevinding (Qwen)

• Koppelingsgat: Qwen-2.5 koppelde aan Atlas B (waar het werd uitgesloten) met een KL-divergentie $\sim7\times$ hoger dan zijn in-panel waarde, wat duidt op significante structuren buiten het referentiepaneel.
• Residuele Ontdekking: Het residuele kanaal lokaliseerde dit gat tot specifieief politieke continuaties die niet door het paneel werden gedekt, waaronder beperkingen van noodbevoegdheden, media-suspensie-framing tijdens onrust, en rechtvaardigingen voor wet-en-orde die individuele rechten down-weighten.
• Interventie: Het sturen van de residuele cluster verschoof monotoon de refusal rate van politieke keywords en de aandeel van de wet-en-orde framing, terwijl out-of-domain controles onveranderd bleven.
• Aard van de Bevinding: De auteurs benadrukken dat dit een paneel-relatieve bevinding is. Het identificeert structuren in Qwen die het specifiek op het Westen getrainde referentiepaneel niet dekt, in plaats van een intrinsieke claim te maken over de waarden van het model.

5. Betekenis en Claims

Het artikel claimt dat de Referentie-kenmerkatlas een schaalbaar, efficiënt en rigoureuzer framework biedt voor mechanistische auditing vergeleken met huidige state-of-the-art methoden.

• Efficiëntie: Het vermijdt de computationele kosten van het hertrainen van volledige dictionaries voor elk nieuw model, waarbij alleen een lineaire decoder-fit nodig is.
• Vergelijkbaarheid: Het lost het "onvergelijkbaarheids"-probleem van single-model SAE's en pairwise crosscoders op door een enkel $K$-dimensionaal systeem te bieden voor N-weg vergelijking.
• Expliciete Anomaliedetectie: Door het residuele kanaal architecturaal te scheiden, brengt de methode expliciet mechanismen naar voren die "buiten het referentiepaneel" liggen, wat een duidelijk signaal geeft voor doel-specifieke anomalieën die gedeelde dictionaries zouden kunnen maskeren.
• Bescheidenheid: De auteurs merken op dat bevindingen relatief zijn aan het referentiepaneel en de audit-corpus. Bijvoorbeeld, de bevinding over politieke framing is afgebakend door de specifieke prompt-distributie en het gebruikte paneel; een ander paneel zou deze kenmerken mogelijk absorberen in de gedeelde coördinaten. De methode vereist toegang tot activaties (open-weight modellen) en vertrouwt op feature-labels die hypothesen blijven die validatie vereisen.

Dit werk positioneert de atlas niet alleen als een feature-extractor, maar als een gestandaardiseerd auditprotocol dat onderzoekers in staat stelt om onderscheid te maken tussen gedeelde familiekenmerken en doel-specifieke verborgen doelstellingen met grotere precisie en lagere overhead.