🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

Dit artikel introduceert "feature rivalry" als negatief gecorreleerde Sparse Autoencoder-featureparen die fungeren als een mechanistische signatuur van modelonzekerheid in Gemma-2-2B, en toont aan dat prompts met hoge entropie sterkere rivaliteit op specifieke lagen veroorzaken, dat sturen langs rivaliteitsassen causaal invloed heeft op output, en dat rivaliteitsscores de juistheid van antwoorden kunnen voorspellen.

Oorspronkelijke auteurs: Harshavardhan

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harshavardhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) zoals Gemma-2 voor als een enorme, drukke stad waar miljoenen kleine werknemers (neuronen) voortdurend briefjes naar elkaar doorgeven om vragen te beantwoorden. Meestal zijn deze werknemers georganiseerd in gespecialiseerde teams. Maar soms, wanneer het model niet zeker is van het antwoord, verschijnen twee verschillende teams tegelijkertijd, schreeuwend over elkaar heen, en proberen ze de controle over het gesprek te krijgen.

Dit paper noemt die chaos "Feature Rivalry" (Concurrentie tussen kenmerken).

Hier is een eenvoudige uiteenzetting van wat de onderzoekers hebben gevonden, met behulp van alledaagse analogieën:

1. De Kernidee: Het "Debat" in het Brein

De onderzoekers gebruikten een speciaal hulpmiddel genaamd een Sparse Autoencoder (SAE). Stel je dit hulpmiddel voor als een paar high-tech brillen die ons de individuele "concepten" laten zien waar het model over nadenkt, in plaats van alleen het uiteindelijke antwoord te zien.

Wanneer het model zeker is: Het is als een koor dat in perfecte harmonie zingt. Eén heldere melodie (één dominant concept) verheft zich boven de rest.
Wanneer het model onzeker is: Het is als een heftig debat in een gemeentehuis. Twee tegenstrijdige ideeën (concurrerende kenmerken) beginnen tegen elkaar te schreeuwen, proberen elkaar te onderdrukken. Het paper vond dat wanneer het model onzeker is, deze "concurrerende" concepten sterk negatief gecorreleerd worden; ze vechten actief om elkaar op te heffen.

2. Experiment 1: Waar vindt de strijd plaats?

De onderzoekers stelden het model 400 vragen. Ze verdeelden ze in twee groepen:

Eenvoudige Vragen: Het model wist het antwoord direct (Lage Entropie).
Moeilijke/Onduidelijke Vragen: Het model was in de war en gaf elke keer een ander antwoord (Hoge Entropie).

De Ontdekking:
Ze ontdekten dat de "strijd" tussen concepten niet overal plaatsvond. Het was geconcentreerd in twee specifieke "kamers" (lagen) van het brein van het model:

Kamer 0 (De Ingang): De strijd begint direct wanneer de vraag het systeem binnenkomt. Zelfs voordat het model begint met het verwerken van de logica, veroorzaakt de onzekerheid al een trek- en duwspel tussen concepten.
Kamer 12 (Het Midden): De strijd laait weer op in het midden van de verwerkingsketen, waar het model probeert de betekenis samen te stellen.

Analogie: Stel je een estafettewedstrijd voor. Als de loper onzeker is over de route, struikelt hij direct bij de startlijn (Laag 0) en weer direct voordat de estafettestok wordt overhandigd in het midden van het parcours (Laag 12). Als hij zeker is, loopt hij soepel.

3. Experiment 2: Kunnen We de Schaal Kiepen?

De onderzoekers wilden weten of deze strijd daadwerkelijk veroorzaakt dat het model zijn antwoord verandert, of dat het slechts een neveneffect is.

Ze gebruikten een techniek genaamd Activation Steering (Sturing van activering). Stel je het brein van het model voor als een boot, en de "concurrentie" als een sterke stroming die hem naar links of rechts duwt. De onderzoekers grepen het roer en duwden het in de richting van de concurrentie (de richting waarin de twee concepten vechten).

De Ontdekking:

Toen ze een zachte duw gaven in de richting van de concurrentie, veranderde het model vaker zijn antwoord dan wanneer ze het in een willekeurige richting duwden.
Analogie: Het is als een wip met twee kinderen die vechten om de bovenste positie. Als je de wip zachtjes duwt naar de kant waar de "strijd" plaatsvindt, kun je het evenwicht doen kantelen en het model het idee van het andere kind laten kiezen. Dit bewijst dat de concurrentie niet slechts ruis is; het is een echte, actieve kracht die de output vormgeeft.

4. Experiment 3: Kunnen We Fouten Voorspellen?

Tot slot vroegen ze zich af: "Kunnen we door naar deze interne strijd te kijken raden of het model op het punt staat het antwoord verkeerd te krijgen?"

Ze creëerden een "Rivalry Score" (Concurrentiescore) voor elke vraag.

Hoge Score: Veel strijd tussen concepten.
Lage Score: Concepten zijn kalm en eensgezind.

De Ontdekking:

De Concurrentiescore was behoorlijk goed in het voorspellen van fouten (ongeveer 69% nauwkeurigheid).
Het was niet helemaal zo goed als de eigen "vertrouwensmeter" van het model (die ongeveer 81% nauwkeurig was), maar het had een unieke superkracht: Het hoefde het uiteindelijke antwoord niet te zien om te weten dat het model onzeker was.
Analogie: De vertrouwensmeter van het model is als het controleren van het weerbericht nadat het geregend heeft. De Concurrentiescore is als het kijken naar de donkere wolken die zich verzamelen voordat de regen begint. Het geeft een vroege waarschuwing op basis van de interne storm, niet op basis van het resultaat.

Samenvatting

Dit paper toont aan dat wanneer een AI in de war is, zijn interne "werknemers" beginnen te vechten met elkaar. Deze strijd:

Vindt plaats op specifieke stadia van het denkproces van de AI.
Verandert daadwerkelijk wat de AI zegt als je hem in de juiste richting duwt.
Kan worden gebruikt als een "rookmelder" om ons te vertellen dat de AI onzeker is, zelfs voordat hij ons een fout antwoord geeft.

De onderzoekers benadrukken dat dit een manier is om te begrijpen hoe het model denkt, in plaats van alleen wat het denkt, en biedt een nieuw venster op de "black box" van AI-onzekerheid.

Technische Samenvatting: Feature Rivalry in Representaties van Sparse Autoencoders

Probleemstelling

Hoewel Sparse Autoencoders (SAE's) een standaardinstrument zijn geworden voor het ontleden van representaties van Large Language Models (LLM's) in interpreteerbare, monosemantische features, blijven de mechanismen die regelen hoe deze features onder onzekerheidsvoorwaarden interageren slecht begrepen. Specifiek is het onduidelijk of de competitie tussen meerdere tegelijkertijd activerende features dient als een mechanistische handtekening van modelonzekerheid. Dit artikel onderzoekt Feature Rivalry (kenmerkrivaliteit) — gedefinieerd als het aanwezig zijn van sterk negatief gecorreleerde SAE-featureparen op een bepaalde laag — als een potentiële indicator van ambiguïteit in modelverwerking.

Methodologie

De studie maakt gebruik van Gemma-2-2B en Gemma Scope SAE's (breedte 16k) over 13 lagen (0–24, stap 2). Het experimentele ontwerp is gebaseerd op het PopQA-dataset, waarbij een within-domain entropy split wordt toegepast om modelonzekerheid te isoleren van dataset-niveau verstorende factoren.

Data Voorbereiding: De auteurs hebben 20 voltooiingen per vraag bemonsterd bij een temperatuur van 1,0 om genormaliseerde Shannon-entropie ( $H(q)$ ) te berekenen. Vragen werden verdeeld in twee condities:
- Ambigu (Hoge Entropie): $H(q) > 0,7$ (200 vragen).
- Niet-ambigu (Lage Entropie): $H(q) < 0,5$ (200 vragen).
- Dit ontwerp zorgt ervoor dat domein, formaat en antwoordtypen constant blijven, waardoor waargenomen verschillen uitsluitend aan modelonzekerheid worden toegeschreven.
Experiment 1: Lokalisatie van Rivaliteit:
- Meting: De "Rivalry Score" (rivaliteitsscore) wordt gedefinieerd als het 5e percentiel van alle pairwise Pearson-correlaties van feature-activaties over prompts heen op een specifieke laag. Negatievere waarden duiden op sterkere rivaliteit.
- Analyse: Mann-Whitney U-tests vergeleken rivaliteitsdistributies tussen ambigu en niet-ambigu condities over de lagen heen.
Experiment 2: Causale Interventie (Actiesturing):
- Opzet: De top 20 rivaliserende featureparen werden geïdentificeerd. Een "rivaliteit-as" vector ( $v_{rivalry}$ ) werd geconstrueerd door de decoder-vectors van de twee rivaliserende features af te trekken ( $W_{dec}[A] - W_{dec}[B]$ ).
- Interventie: Tijdens generatie op laag 10 werd deze vector toegevoegd aan de verborgen toestand van het laatste token.
- Vergelijking: De "flip rate" (fractie van outputs die veranderen) voor rivaliteit-as-sturing werd vergeleken met een willekeurige richting-baseline bij sturingsmultipliers van 5, 10 en 20.
Experiment 3: Predictieve Utiliteit:
- Meting: Een per-prompt rivaliteitsscore werd berekend op laag 10 met behulp van het 5e percentiel van de cosinus-similariteiten tussen de decoder-vectors van de top-50 actieve features.
- Evaluatie: Deze score werd getest als predictor van antwoordcorrectheid (binair: ground truth aanwezig in output) en vergeleken met softmax-confidence (kans van het top-token) met behulp van AUROC.

Belangrijkste Resultaten

1. Lokalisatie van Onzekerheid

Feature-rivaliteit is significant sterker voor ambiguïteitsvragen vergeleken met niet-ambiguïteitsvragen, maar dit effect is niet uniform over het netwerk.

Laag 0: Zeer significant verschil ( $p = 5,3 \times 10^{-26}$ ), wat suggereert dat onzekerheid zich manifesteert als feature-competitie direct na initiële encoding.
Laag 12: Een tweede significant piek ( $p = 5,8 \times 10^{-5}$ ), overeenkomend met semantische integratie op middenniveau.
Andere lagen toonden geen significante verschillen na Bonferroni-correctie.

2. Causale Invloed

Actiesturing langs de rivaliteit-as produceerde een meetbaar causaal effect op modeloutputs.

Bij een lage sturingsmultiplier (5) resulteerde rivaliteit-as-sturing in hogere output flip-rates dan willekeurige sturing bij 15 van de 20 rivaliserende paren (75%).
De gemiddelde flip-rate-kloof was +0,06 (Rivaliteit: 0,20 versus Willekeurig: 0,14).
Het effect nam af bij hogere multipliers (10 en 20), waarbij verstoringen te groot en indiscriminaat werden.

3. Predictieve Prestatie

De per-prompt rivaliteitsscore dient als een geldig, zij het imperfect, onzekerheidssignaal.

AUROC voor Correctheidspredictie: De rivaliteitsscore behaalde 0,689, wat significant beter presteert dan puur toeval (0,500), maar onderdoet voor softmax-confidence (0,808).
Calibratie: Beide signalen toonden monotoon trends waarbij hogere scores correleerden met hogere nauwkeurigheid.
Distincte Waarde: In tegenstelling tot softmax-confidence wordt de rivaliteitsscore puur afgeleid uit interne representaties zonder dat output-bemonstering of toegang tot ground truth vereist is.

Betekenis en Aanspraken

Het artikel stelt dat Feature Rivalry een mechanistisch onderbouwd signaal van onzekerheid is dat drie primaire bijdragen levert:

Mechanistische Lokalisatie: Het identificeert specifieke stadia in de residual stream (vroege encoding en semantische integratie op middenniveau) waar onzekerheid zich manifesteert als competitie tussen conceptrepresentaties, in plaats van een monolithische eigenschap van het model te zijn.
Causale Validatie: Het biedt causaal bewijs dat de competitie tussen rivaliserende features stroomopwaarts ligt van modeloutputs; sturing langs de rivaliteitsrichting beïnvloedt generatie direct, wat bevestigt dat deze features actief concurreren tijdens inferentie.
Interpreteerbaar Onzekerheidssignaal: Het demonstreert dat interne feature-competitie antwoordcorrectheid kan voorspellen zonder afhankelijk te zijn van output-distributies. Hoewel minder nauwkeurig dan softmax-confidence, biedt het interpreteerbaarheid (het identificeren van welke concepten concurreren) en berekenbaarheid in single-pass scenario's.

De auteurs benadrukken dat hun within-domain entropy split een methodologische verbetering is ten opzichte van cross-dataset vergelijkingen, waardoor wordt gegarandeerd dat rivaliteitsverschillen aan modelonzekerheid en niet aan dataset-artefacten kunnen worden toegeschreven. Zij concluderen dat rivaliteit, hoewel het de softmax-confidence niet overtreft in rauwe voorspellende kracht voor korte QA, een unieke, interpreteerbare venster biedt op de interne dynamiek van onzekerheid.