From Data Statistics to Feature Geometry: How Correlations Shape Superposition

Dit paper introduceert Bag-of-Words Superposition (BOWS) om aan te tonen dat in realistische scenario's met gecorreleerde features, superpositie constructieve interferentie kan genereren die semantische clusters en cyclische structuren vormt, in plaats van dat interferentie uitsluitend als ruis moet worden gefilterd zoals in het standaardbeeld van superpositie wordt aangenomen.

De kern

🧠 Van Statistieken naar Vorm: Hoe Netwerken "Dingen" Opstapelen

Stel je voor dat een kunstmatige intelligentie (zoals een taalmodel) een enorme bibliotheek is. In deze bibliotheek zijn er duizenden boeken (woorden of concepten), maar de bibliotheek heeft maar een paar honderd planken. Hoe kun je al die boeken op die paar planken kwijt?

De oude theorie was: "Je moet alles perfect scheiden."
Je probeerde elk boek op een eigen, schone plek te leggen. Als twee boeken op dezelfde plank stonden, veroorzaakten ze "ruis" (interferentie). De oplossing was om ze zo ver mogelijk uit elkaar te leggen (zoals de hoeken van een perfecte veelhoek) en een strenge bode (een ReLU-functie) aan de poort te zetten die ruziënde boeken direct weghaalde.

Maar dit papier zegt: "Nee, dat is niet hoe echte mensen praten."

In het echte leven zijn dingen vaak met elkaar verbonden. Als iemand over "kerst" praat, praat hij vaak ook over "december", "cadeaus" en "sneeuw". Deze dingen komen samen voor. De auteurs van dit paper laten zien dat neurale netwerken deze verbindingen niet als ruis zien, maar als hulp.

Hier is de kern van hun ontdekking, vertaald in drie simpele ideeën:

1. De "Bag-of-Words" Supermarkt (BOWS)

De auteurs hebben een nieuw lab-omgeving bedacht, genaamd BOWS (Bag-of-Words Superposition).

• De Analogie: Stel je voor dat je een supermarkt hebt. In plaats van producten op een rij te zetten, gooi je ze in een grote tas.
• Het Experiment: Ze trainden een computer om een tas met woorden (uit internettekst) te onthouden, maar dan in een heel kleine ruimte (een "stikdicht" opslagvak).
• De Verrassing: Ze ontdekten dat de computer niet probeerde de woorden uit elkaar te houden. In plaats daarvan groepeerde hij ze op basis van wie vaak samen in de tas zat.

2. Constructieve Interferentie: Een Koor in plaats van Ruis

In de oude theorie was "interferentie" (als twee signalen elkaar raken) altijd slecht, zoals twee mensen die tegelijk praten en elkaar verstaanbaar maken.

• De Nieuwe Inzage: Als twee woorden vaak samen voorkomen (zoals "kerst" en "december"), helpt het als ze elkaar ondersteunen.
• De Analogie: Denk aan een koor. Als één zanger een noot zingt, is het misschien zacht. Maar als tien zangers die dezelfde noot zingen, wordt het geluid sterker en helderder.
• Hoe werkt het? Het netwerk plaatst gerelateerde woorden dicht bij elkaar. Als "kerst" wordt genoemd, helpt de "ruis" van "december" en "cadeau" om het woord "kerst" nog duidelijker te maken. Het netwerk gebruikt deze overlap om ruimte te besparen, in plaats van er bang voor te zijn.

3. De Cirkel van de Maanden en de "Smaak" van Woorden

Dit verklaart waarom we in echte AI-modellen vreemde patronen zien, zoals een cirkel van de maanden van het jaar.

• De Analogie: Stel je een wiel voor. Januari zit naast december en februari. Als je op het wiel draait, ga je van winter naar lente.
• Waarom een cirkel? Omdat de statistieken van taal cirkelvormig zijn. Januari komt vaker voor met februari dan met augustus. Het netwerk leert deze cirkel om ruimte te besparen.
• Semantische Clusters: Woorden over "sport" landen dicht bij elkaar, woorden over "muziek" ook. Ze vormen eilanden in de digitale ruimte. Dit gebeurt niet omdat ze per se "samen" moeten zijn, maar omdat ze vaak samen voorkomen in de data.

4. De Rol van "Gewichtsdaling" (Weight Decay)

Het papier laat zien dat deze slimme groepering vooral gebeurt als je de AI een beetje "dwingt" om zuinig te zijn (door een techniek genaamd weight decay).

• De Analogie: Als je een verhuizer betaalt per kilo, en je hebt een beperkt budget, ga je niet alles apart verpakken. Je stopt alles in één grote doos waar de items perfect in passen. Je gebruikt de vorm van de doos (de correlaties) om ruimte te winnen.

🎯 De Twee Soorten "Dingen" in de AI

De auteurs maken een belangrijk onderscheid tussen twee soorten informatie:

1. Aanwezigheids-codering (Presence-coding): "Is dit woord er?" (Ja/Nee). Dit is wat we hierboven bespraken: woorden die samen voorkomen, groeperen zich.
2. Waarde-codering (Value-coding): "Wat is de exacte waarde?" (Bijvoorbeeld: een hoek in een cirkel of een coördinaat op een kaart).
   • Voorbeeld: Als een AI leert om getallen op te tellen, kan het een cirkelvormige structuur aanleren. Dit is niet omdat de getallen "samen" voorkomen, maar omdat de wiskunde het vereist. Dit is een andere reden voor patronen dan de statistieken van taal.

💡 Conclusie in Eén Zin

Neurale netwerken zijn niet zoals een ordelijke archivist die alles in losse mappen stopt; ze zijn meer zoals een slimme verhuizer die alles in één grote, vormloze tas stopt, waarbij items die vaak samen voorkomen, elkaar helpen om de tas slimmer en compacter te vullen.

Wat betekent dit voor de toekomst?
Het betekent dat we AI-modellen niet hoeven te zien als chaotische brij van ruis. De "vreemde" patronen die we zien (zoals cirkels of clusters) zijn eigenlijk een bewijs van hoe slim het netwerk is: het gebruikt de natuurlijke samenhang van onze taal om ruimte te besparen en efficiënter te werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "From Data Statistics to Feature Geometry: How Correlations Shape Superposition", gepubliceerd bij ICLR 2026.

Probleemstelling

In het veld van mechanistische interpretabiliteit (Mechanistic Interpretability, MI) is een centraal idee dat neurale netwerken meer features (concepten) representeren dan ze dimensies hebben. Ze ordenen deze features in een superpositie om een overcomplete basis te vormen.

• Bestaand perspectief: Traditionele modellen (zoals die van Elhage et al., 2022) gaan ervan uit dat features spaars en ongecorreleerd zijn. In dit scenario wordt superpositie gezien als een bron van schadelijke interferentie die geometrisch moet worden geminimaliseerd (bijv. door features in een regelmatige polytoop te plaatsen) en vervolgens moet worden gefilterd door niet-lineariteiten zoals ReLU's om "false positives" te voorkomen.
• De discrepantie: Deze theorie verklaart niet de complexe geometrische structuren die in echte taalmodellen worden waargenomen, zoals semantische clusters en cyclische structuren (bijv. de maanden van het jaar die een cirkel vormen).
• De kernvraag: Waarom vertonen realistische datastructuren deze geordende patronen, en hoe beïnvloeden correlaties tussen features de geometrie van superpositie?

Methodologie: BOWS (Bag-of-Words Superposition)

Om superpositie te bestuderen in een gecontroleerde maar realistische setting, stellen de auteurs BOWS voor.

• Opzet: Een autoencoder wordt getraind om binaire bag-of-words representaties van internettekst (WikiText-103 en OpenWebText) te coderen in een superpositie.
• Kenmerken: In tegenstelling tot eerdere "toy models" met willekeurige of paarsgewijze correlaties, introduceert BOWS rijke covariantiestructuren die voortkomen uit de statistieken van natuurlijke taal (bijv. woorden die vaak samen voorkomen).
• Doel: Het biedt "ground-truth" features (woorden) met bekende correlaties, waardoor het mogelijk is om te analyseren hoe de modelgewichten deze correlaties vertalen naar geometrische arrangementen.
• Vergelijking: De auteurs vergelijken lineaire autoencoders met niet-lineaire autoencoders (met ReLU in de decoder) onder verschillende condities (krappe bottlenecks, gewichtsdecay).

Kernbijdragen en Theoretische Inzichten

Het paper introduceert het concept van Constructieve Interferentie en onderscheidt twee regimes van superpositie:

1. Lineaire Superpositie (Constructieve Interferentie):

   • Wanneer features gecorreleerd zijn en de data een laag-rang structuur heeft (bijv. door weight decay of krappe bottlenecks), kan interferentie constructief zijn in plaats van schadelijk.
   • In plaats van interferentie te filteren als ruis, ordenen modellen features zo dat gedeelde variantie de reconstructie versterkt.
   • Dit leidt tot een efficiëntere reconstructie in termen van gewicht-norm en rang (rank), omdat het model de covariantiestructuur van de data benut (vergelijkbaar met PCA).

2. Niet-lineaire Superpositie (Filterende Interferentie):

   • Dit is het traditionele model waarbij features spaars en ongecorreleerd zijn. Interferentie wordt hier als ruis behandeld die door ReLU's moet worden onderdrukt.

3. Verschil tussen Presence-coding en Value-coding:

   • De auteurs onderscheiden presence-coding features (discrete detectie van een concept, afhankelijk van data-correlaties voor geometrie) van value-coding features (lineaire decodering van continue waarden zoals coördinaten of hoeken).
   • Dit verklaart waarom structuren zoals cirkels kunnen ontstaan zonder data-correlaties (bijv. bij modulaire optelling), puur door de functionele noodzaak van het model om waarden te berekenen.

Resultaten

De experimenten met BOWS bevestigen de theorie en verklaren waargenomen fenomenen in echte taalmodellen:

• Semantische Clustering: Wanneer features geclusterd zijn op basis van semantische verwantschap (bijv. "sport", "politiek"), leidt constructieve interferentie tot semantische clusters in de latent space. Dit gebeurt vooral bij krappe bottlenecks en met weight decay.
• Cyclische Structuren: De maanden van het jaar vormen een cirkel in de latent space. De auteurs tonen aan dat dit direct voortkomt uit de cyclische correlaties in de data (januari komt vaker voor met februari en december dan met augustus). De autoencoder leert deze correlaties en ordent de features in een cirkel om de reconstructie te optimaliseren via constructieve interferentie.
• Co-existentie van Mechanismen: In realistische data coëxisteren beide mechanismen.
  • Voorbeeld "Beatles": Het woord "Beatles" wordt beter gereconstrueerd in context met gerelateerde namen (Lennon, McCartney) dan in isolatie. De interferentie van deze gerelateerde woorden is constructief. De ReLU en een negatieve bias onderdrukken echter valse positieven wanneer de context wel aanwezig is maar het doelwoord niet.
  • Frequentie-effect: Frequentere woorden (zoals maanden) blijven langer in een gestructureerde, lineaire superpositie, terwijl zeldzamere woorden (zoals Romeinse cijfers) eerder overgaan naar orthogonale representaties naarmate de latent size toeneemt.
• Invloed van Weight Decay: Weight decay bevoordeelt oplossingen met een lage gewichtsnorm. Omdat constructieve interferentie (via projectie op een laag-rang deelruimte) een lagere norm vereist dan het filteren van interferentie per feature, duwt weight decay modellen naar het regime van constructieve interferentie.

Significantie en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op superpositie in neurale netwerken:

1. Herdefinitie van Interferentie: Interferentie is niet per se ruis die moet worden onderdrukt; het kan een nuttig signaal zijn dat de reconstructie verbetert wanneer features gecorreleerd zijn.
2. Verklaring van Geometrie: De complexe geometrische structuren die in grote taalmodellen worden waargenomen (cirkels, clusters) zijn geen mysterieuze niet-lineaire encoding, maar een natuurlijk gevolg van het benutten van de statistische correlaties in de data via lineaire superpositie.
3. Implicaties voor SAE's: Voor het trainen van Sparse Autoencoders (SAE's) is het cruciaal om rekening te houden met de correlaties in de data. Het negeren hiervan kan leiden tot suboptimale feature-extractie.
4. Linear Representation Hypothesis (LRH): De resultaten suggereren dat de LRH niet wordt ondermijnd door deze structuren; integendeel, deze structuren kunnen ontstaan door lineaire superpositie van features die zelf lineair worden gerepresenteerd.

Kortom, de paper beweert dat de "geometrie van features" niet willekeurig is, maar een directe reflectie is van de statistische correlaties in de trainingsdata, waarbij het model slimme compromissen sluit tussen het minimaliseren van ruis en het maximaliseren van constructieve interferentie.