Technische Samenvatting: Neuronale Populaties vertonen Divergente Selectiviteit met Schaal

Probleemstelling

Hoewel neurale schaalwetten voorspelbare relaties hebben vastgesteld tussen modelgrootte en macroscopische observabelen (bijv. loss), blijft de interne organisatie van representaties op neuronniveau slecht begrepen. Een centrale vraag in deep learning en neurowetenschap is hoe neuronen structuren coderen: of representaties gelokaliseerd zijn in enkele eenheden of gedistribueerd zijn over populaties, en hoe deze structuren evolueren naarmate modellen schalen. Specifiek is het onduidelijk of cross-model terugkerende neuronpopulaties systematische wetten volgen met betrekking tot hun grootte, selectiviteit (monosemantiek versus polysemantiek) en specialisatie.

Methodologie

De auteurs onderzoeken deze vragen met behulp van Rosetta-neuronen, een klasse neuronen gedefinieerd door Dravid et al. (2023) als eenheden waarvan activatiepatronen terugkeren in onafhankelijk getrainde modellen. De studie hanteert de volgende methodologie:

1. Identificatie van Rosetta-neuronen:

   • De auteurs analyseren Transformer-gebaseerde taalmodellen (Pythia, GPT-2, OPT, Qwen2.5; 80M–30B parameters) en visiemodellen (OpenCLIP, DINOv2, Pixio, Diffusion-modellen; 80M–5B parameters).
   • Ze lijnen token-gewijze activaties tussen modellen uit (met behulp van gedeelde byte-grenzen voor tekst en herbeugelde ruimtelijke rasters voor afbeeldingen).
   • Ze berekenen paarwijze Pearson-correlaties tussen neuronen over modellen heen en identificeren mutual nearest-neighbor paren ($k=1$) als Rosetta-neuronen. Dit filtert asymmetrische of ruisgevoelige matches eruit.

2. Schaalanalyse:

   • Ze plotten het aantal ontdekte Rosetta-neuronen tegen het totaal aantal neuronen in het model om schaalwetten af te leiden.
   • Ze vergelijken deze trends met null-baselines, inclusief ongetrainde willekeurige netwerken en input-gepermuteerde datasets, om te waarborgen dat de schaling een eigenschap is van geleerde representaties en geen architecturaal artefact.

3. Analytisch Modellering:

   • De auteurs stellen een capaciteitsallocatiemodel voor op basis van de theorie van superpositie (Elhage et al., 2022).
   • Het model gaat uit van een power-law feature-belangsspectrum ($w_r \propto r^{-\beta}$) waarbij features concurreren voor een eindig aantal neuroncoördinaten.
   • Het stelt dat hoog-belangrijke features worden toegewezen aan "schone" isolatie (monosemantiek) om de loss te verlagen, terwijl lager-belangrijke features in superpositie blijven (polysemantiek).
   • Het model leidt af dat het aantal detecteerbare, geïsoleerde features (Rosetta-neuronen) moet schalen als een sublineaire power law ($N^{1/\beta}$) en voorspelt een Neuron Polarisatie-effect.

4. Eigenschapsevaluatie:

   • Selectiviteit: Gemeten via vocabulaire-ruimte projectie kurtosis voor taalmodellen en VLM-as-a-judge evaluaties voor visiemodellen.
   • Specialisatie: Geanalyseerd door de top-activerende contexten van Rosetta-neuronen te categoriseren (bijv. code, wiskunde, algemene proza) over verschillende model-schalen.
   • Utiliteit: Een casestudy filtert data voor continued pretraining met behulp van een enkele Rosetta-neuron om een specifiek domein (JavaScript) te herstellen.

Belangrijkste Resultaten

1. Sublineaire Power-Law Scaling

Over zowel taal- als visiemodellen heen groeit de populatie van Rosetta-neuronen voorspelbaar met de modelgrootte, maar volgt het een sublineaire power law ($|R| \propto N^\alpha$ met $\alpha \approx 0.5\text{--}0.7$).

• Implicatie: Hoewel grotere modellen in absolute aantallen meer gedeelde eenheden bevatten, bezetten deze eenheden een steeds kleiner deel van de totale neuronpopulatie.
• Validatie: Deze trend is afwezig in ongetrainde willekeurige netwerken en input-gepermuteerde baselines, wat bevestigt dat het voortkomt uit geleerde representaties.

2. Het Neuron Polarisatie-effect

De studie observeert een divergentie in neuron-eigenschappen naarmate de schaal toeneemt:

• Rosetta-neuronen: Worden steeds selectiever en monosemantischer. In taalmodellen vertonen hun vocabulaire-ruimte projecties een toenemende excess kurtosis; in visiemodellen identificeren VLM-judges hen vaker als reagerend op coherente visuele features.
• Niet-Rosetta-neuronen: Blijven minder selectief en worden steeds polysemantischer, waardoor ze een drukke achtergrond van gemengde features vormen.
• Theoretische Overeenkomst: Dit komt overeen met de voorspelling van het analytische model, waarbij de "Rosetta-frontier" naar buiten beweegt en hoog-belangrijke features schoner isoleert, terwijl de staart van lager-belangrijke features in superpositie blijft.

3. Domein Specialisatie

Rosetta-neuronen verschuiven naar gespecialiseerde domeinen met de schaal.

• In taalmodellen wordt de activatie van Rosetta-neuronen steeds meer geconcentreerd op gespecialiseerde tekstcategorieën (bijv. code, wiskunde) relatief aan hun frequentie in de trainingscorpus.
• Deze verschuiving wordt niet waargenomen bij niet-Rosetta-neuronen, die een stabiele voorkeur voor documenttypen behouden over verschillende schalen.

4. Functionele Utiliteit in Data Filtering

Een enkele Rosetta-neuron die selectief is voor JavaScript (geïdentificeerd in een Pythia-6.9B model) werd gebruikt om een meertalige code-corpus te filteren.

• Herstel: De filter bereikte een F1-score van 0.98 bij het herstellen van de grondwaarheid JavaScript-subset, wat bijna overeenkomt met een oracle.
• Downstream Prestaties: Continued pretraining op de gefilterde data verminderde de perplexity tot 3.02, wat bijna overeenkomt met de oracle baseline (3.01) en significant beter presteert dan random filtering (3.59) of niet-Rosetta neuron filtering (3.23).

Betekenis en Claims

Het papier claimt een scaling law voor interpreteerbare, gedeelde neuron-niveau structuur te hebben vastgesteld. De belangrijkste bijdragen zijn:

1. Link tussen Schaal en Interne Structuur: Het demonstreert dat modelgrootte de universaliteit, selectiviteit en specialisatie van gedeelde neuronpopulaties systematisch verandert, waarmee scaling laws verder gaan dan macroscopische loss-metrieken.
2. Polarisatiemechanisme: Het biedt empirisch en theoretisch bewijs voor een "Neuron Polarisatie-effect", waarbij schaling een scheiding drijft tussen een groeiende, hoog-selectieve populatie van gedeelde eenheden en een polysemantische achtergrond.
3. Praktische Interpreteerbaarheid: Het toont aan dat Rosetta-neuronen niet slechts theoretische curiositeiten zijn, maar functionele eenheden die kunnen worden gebruikt voor gerichte taken zoals data filtering en domein specialisatie zonder hulp-training of doelconcepten.
4. Generaliseerbaarheid: De bevindingen houden stand over heterogene architecturen (Transformers, Diffusion Transformers) en modaliteiten (taal, visie), wat wijst op een fundamenteel principe in hoe neurale netwerken representaties organiseren onder capaciteitsrestricties.

De auteurs concluderen dat Rosetta-neuronen dienen als een tractabele observable voor het bestuderen van gedeelde interne structuur, wat een brug slaat tussen macroscopisch schaalgedrag en de microscopische organisatie van geleerde representaties.