Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

Probleemstelling

De kern van dit onderzoek ligt in het fenomeen van polysemantische neuronen in taalmodellen (LLMs). Polysemantie verwijst naar de situatie waarin individuele neuronen of groepen neuronen meer dan één distinct concept of kenmerk coderen. Hoewel dit mechanisme (superpositie) de leerefficiëntie en capaciteit van modellen vergroot, introduceert het twee kritieke problemen:

1. Interpretatieprobleem: Het maakt het moeilijk om te begrijpen hoe menselijke concepten intern worden gecodeerd, omdat representaties verstrengeld zijn.
2. Veiligheidsrisico: Er is weinig empirisch bewijs over de veiligheidsimplicaties van deze verstrengeling. Het paper stelt dat polysemantische structuren systematische kwetsbaarheden creëren waarbij semantisch ongerelateerde kenmerken elkaar kunnen beïnvloeden (interfereren) binnen de activeringsruimte van het model.

Het onderzoek onderzoekt of deze interferentiepatronen niet willekeurig zijn, maar gestructureerd en overdraagbaar tussen verschillende modellen, zelfs zonder toegang tot de interne werking van grotere, zwarte-bok modellen.

Methodologie

De auteurs gebruiken Sparse Autoencoders (SAEs) om de polysemantische topologie van twee kleine modellen te ontrafelen: Pythia-70M en GPT-2-Small. De methodologie omvat de volgende stappen:

1. Feature Extractie en Clustering:

   • SAE's worden gebruikt om modelactivaties te ontleden in monosemantische, hoge-dimensionale kenmerken.
   • Om inconsistenties in semantische granulariteit aan te pakken, wordt agglomeratieve clustering toegepast op de SAE-features. Dit groepeert features op een consistent semantisch niveau.
   • Er wordt een onderscheid gemaakt tussen de menselijke symbolische variëteit (M) (semantische betekenis) en de model-activeringsruimte (A). Twee features kunnen in M orthogonaal (semantisch ongerelateerd) zijn, maar toch sterk interfereren in A omdat ze dezelfde neuron activeren.

2. Interventie-Experimenten:
   De auteurs testen vier niveaus van interventie om de kwetsbaarheid te meten door de verandering in de next-token predictie-verdeling te analyseren:

   • Feature-direction steering: Het manipuleren van de activeringsrichting van een semantisch ongerelateerd maar interfererend kenmerk om een doelkenmerk te beïnvloeden.
   • Token-gradient steering: Het berekenen van gradiënten van de top-activerende tokens van interfererende features om een stuurvector te vormen.
   • Prompt-injectie: Het toevoegen van tekstfragmenten die interfererende features activeren aan de input-prompt.
   • Neuron-interventie: Het maskeren of versterken van individuele neuronen, met name die met een hoge mate van polysemantie.

3. Cross-Model Generalisatie:
   Interventies die zijn afgeleid van de kleine modellen (Pythia/GPT-2) worden toegepast op grotere, instructie-geoptimaliseerde zwarte-bok modellen (Llama-3.1-8B/70B en Gemma-2-9B) om te testen of de interferentiepatronen overdraagbaar zijn.

4. Semantische Analyse:
   Grote taalmodellen (DeepSeek-V3, GPT-5-mini) worden ingezet om te analyseren of de interfererende paren een verborgen, hoger-orde semantische relatie hebben die voor mensen niet direct voor de hand ligt.

Belangrijkste Bijdragen

1. Systematische Kwantificering van Polysemantische Kwetsbaarheid: Het paper toont aan dat het manipuleren van semantisch ongerelateerde maar interfererende features een betrouwbare manier is om de output van een model te sturen.
2. Ontdekking van Overdraagbare Structuren: Het bewijs dat interferentiepatronen die in kleine modellen worden gevonden, consistent worden overgedragen naar veel grotere, verschillende architecturen (Llama, Gemma), zelfs zonder toegang tot hun interne SAE's.
3. Identificatie van "Super-neurones": Het paper identificeert een klasse van neuronen die verbonden zijn met meer dan 500 features. Het versterken van deze neuronen heeft een exponentieel groter effect op het gedrag dan het uitschakelen ervan, wat suggereert dat ze cruciale knooppunten in de semantische architectuur zijn.
4. Hypothese over Latente Kennisstructuren: De bevinding dat minder dan 30% van de interfererende paren verklaard kan worden door menselijk begrijpelijke semantische relaties, suggereert dat modellen stabiele, maar tegen-intuïtieve, hogere-orde patronen hebben leren leren die niet direct zichtbaar zijn voor menselijke interpretatie.

Resultaten

• Effectiviteit van Interventies: Interventies via token-gradiënten bleken het meest effectief (ongeveer 10x sterker dan feature-direction steering). Prompt-injectie was minder effectief in termen van directe activeringsverschuiving, maar toonde een sterke concentratie van interferentie op specifieke tokens (gemeten via gewogen overlap).
• Cross-Model Transfer: Interventies die waren getraind op Pythia-70M en GPT-2-Small slaagden erin om gedrag in Llama-3.1 en Gemma-2 te sturen. Bijvoorbeeld, het injecteren van teksten geassocieerd met "locaties" in kleine modellen beïnvloedde de predicties van "locaties" in Llama-3.1-70B significant.
• Asymmetrische Effecten: Bij "super-neurones" leidt het versterken van de activatie tot enorme gedragsveranderingen, terwijl het maskeren (uitschakelen) een relatief klein effect heeft. Dit suggereert dat deze neuronen als versterkers fungeren in plaats van als essentiële schakels die nodig zijn voor basisfuncties.
• Semantische Opaquiteit: Hoewel de auteurs probeerden verborgen associaties te vinden (bijv. tussen "locatie" en "datatypes"), bleek de overgrote meerderheid van de sterke interferentieparen te wijten aan patronen die voor menselijke annotatoren tegen-intuïtief of onverklaarbaar waren.

Significantie en Implicaties

Dit onderzoek daalt de theorie dat polysemantie puur een willekeurig bijproduct van training is. In plaats daarvan suggereert het dat er een geconvergeerde, hoger-orde organisatie van interne representaties bestaat die over verschillende schalen en families van modellen heen consistent is.

• Voor AI-veiligheid: Het onthult een nieuwe, systematische kwetsbaarheid waarbij modellen kunnen worden gemanipuleerd via "ruis" (semantisch ongerelateerde inputs) die toch structureel interfereren met de doeloutput. Dit is relevant voor het begrijpen van adversarial attacks en de robuustheid van LLMs.
• Voor Interpretatie: Het biedt een nieuw perspectief op hoe modellen kennis structureren. De aanwezigheid van stabiele, maar menselijk onverklaarbare interferentiepatronen suggereert dat modellen "onbewuste" associaties leren die dieper gaan dan menselijke intuïtie.
• Voor Controle: Het biedt methoden (zoals token-gradient steering) om zwarte-bok modellen te sturen zonder toegang tot hun interne gewichten, wat nieuwe mogelijkheden opent voor gerichte controle en alignment.

Kortom, het paper toont aan dat er "signaal in de ruis" zit: de schijnbaar willekeurige interferentie tussen semantisch ongerelateerde concepten is in feite een gestructureerd, overdraagbaar en voorspelbaar kenmerk van de onderliggende cognitieve architectuur van zowel menselijke als kunstmatige systemen.