Estimating Dimensionality of Neural Representations from Finite Samples

Deze paper introduceert een gecorrigeerde schatter voor de globale dimensie van neurale representaties die de vertekening door eindige steekproefgroottes oplost en zowel op synthetische als biologische en kunstmatige neurale netwerken toepasbaar is.

De kern

De "Onzichtbare Muren" van de Geest: Een Simpel Verhaal over Dimensies

Stel je voor dat je een enorme kamer binnenloopt, vol met duizenden mensen die allemaal tegelijk praten. Je wilt weten: hoeveel werkelijke gesprekken vinden er plaats? Of, om het anders te zeggen: hoeveel onafhankelijke ideeën worden er uitgewisseld?

In de wereld van neurale netwerken (zowel die in onze hersenen als die in computers zoals AI) noemen we dit de dimensie. Het is een maatstaf voor hoe complex een bepaalde "gedachte" of "reactie" werkelijk is.

Het probleem is echter: we kunnen nooit alle mensen in die kamer horen. We hebben maar een paar microfoons (onze sensoren) en we kunnen maar een klein stukje van het gesprek opnemen (onze steekproef). Als je probeert het aantal gesprekken te tellen op basis van zo'n klein fragment, krijg je vaak een verkeerd antwoord. Het lijkt alsof er minder gesprekken zijn dan er echt zijn, of juist chaotischer.

Dit artikel van Chun en collega's lost precies dit probleem op. Hier is hoe ze het doen, vertaald naar alledaagse taal:

1. Het Probleem: De "Grote Getallen" Valstrik

Stel je voor dat je een grote muur wilt meten, maar je hebt alleen een klein liniaal. Als je de muur meet met je liniaal, krijg je een getal. Maar als je een nog kleiner stukje van de muur meet, krijg je een heel ander getal.

In de wetenschap gebruiken ze een methode genaamd "Participatie Ratio" (PR) om de dimensie te schatten. Dit is als het tellen van hoeveel verschillende kleuren er in een schilderij zitten. Maar als je alleen een klein stukje van het schilderij bekijkt (weinig data), telt je methode verkeerd. Het lijkt alsof er minder kleuren zijn, simpelweg omdat je ze niet allemaal hebt gezien. Dit heet bias door steekproefgrootte.

2. De Oplossing: Een Slimme Rekentruc

De auteurs zeggen: "Wacht even, we hoeven niet te wachten tot we de hele muur hebben gezien." Ze hebben een nieuwe manier bedacht om te rekenen, zelfs als je maar een klein stukje hebt.

Stel je voor dat je een grote soep hebt en je wilt weten hoeveel verschillende kruiden erin zitten.

• De oude manier: Je neemt een lepel soep en telt de kruiden die je ziet. Als je maar een kleine lepel hebt, mis je veel kruiden.
• De nieuwe manier (deze paper): Ze kijken naar hoe de kruiden met elkaar omgaan in die lepel. Ze gebruiken een slimme wiskundige truc waarbij ze alleen kijken naar kruiden die niet dezelfde zijn als hun buren. Ze tellen niet zomaar, maar ze "correcteren" hun telling door te zeggen: "Oké, ik heb deze kruiden gezien, maar omdat ik ze niet twee keer heb geteld op dezelfde plek, kan ik nu berekenen hoeveel er waarschijnlijk in de hele pot zitten."

Ze noemen dit een onbevooroordeelde schatter. Het is alsof je een magische bril draagt die je laat zien wat er in de rest van de pot zit, zelfs als je maar een slok hebt genomen.

3. Waarom is dit belangrijk? (De Analogie van de AI en de Hersenen)

Voor de AI (Large Language Models):
Stel je voor dat een AI (zoals een chatbot) een zin leest. De AI zet die zin om in een reeks getallen. Hoeveel "ruimte" nemen die getallen in beslag?

• Als de AI een simpel woord ziet, is het een klein puntje.
• Als de AI een complex idee ziet, is het een heel landschap.
  De auteurs tonen aan dat hun nieuwe methode de echte "grootte" van dat landschap kan meten, zelfs als ze maar een paar zinnen hebben gelezen. Dit helpt onderzoekers om te begrijpen hoe AI "denkt" en of het gevaarlijke dingen (zoals haatzaaierij) echt begrijpt of alleen nabootst.

Voor de Hersenen:
Wetenschappers kijken naar hersencellen die reageren op beelden. Ze willen weten: hoeveel onafhankelijke signalen sturen die cellen?
Met de oude methode was het moeilijk om te weten of je genoeg cellen had gemeten. Met de nieuwe methode kunnen ze zeggen: "Oké, we hebben maar 100 cellen gemeten, maar onze berekening zegt dat het gedrag van die 100 cellen eigenlijk afkomstig is van een complexer systeem dat eruitziet als 500 cellen." Dit helpt bij het bouwen van betere hersen-computerinterfaces (BCI), zodat瘫痪 patiënten weer met hun gedachten een computer kunnen besturen.

4. Het "Ruis"-Probleem (De Statische TV)

Soms is het signaal niet helder. Het is alsof je naar een oude TV kijkt met veel ruis (statische storing).

• Oude methode: De ruis maakt het lijken alsof er meer kanalen zijn dan er zijn.
• Nieuwe methode: De auteurs hebben een truc bedacht waarbij ze twee keer naar dezelfde "storing" kijken (twee proeven). Omdat de ruis willekeurig is, maar het echte signaal hetzelfde blijft, kunnen ze de ruis eruit filteren. Het is alsof je twee foto's van een bewolkte dag maakt en ze over elkaar legt; de wolken (het echte signaal) blijven staan, maar de ruis verdwijnt.

Samenvatting

Dit artikel is als het vinden van de perfecte schaalverdeling. Voorheen moest je een heel groot stuk van de muur zien om de grootte te weten. Nu kunnen de auteurs, met een slimme wiskundige formule, de grootte van de muur precies voorspellen, zelfs als ze er maar een klein steentje van vasthouden.

Dit betekent dat we in de toekomst:

1. Minder data nodig hebben om complexe systemen te begrijpen.
2. Betrouwbare resultaten krijgen, zelfs als de metingen "ruis" bevatten.
3. Beter kunnen zien hoe onze hersenen en kunstmatige intelligentie de wereld in kaart brengen.

Kortom: ze hebben de "meetlat" voor de geest verbeterd, zodat we niet meer hoeven te gokken, maar echt kunnen meten.

Technische samenvatting

Titel: Schatting van de Dimensionaliteit van Neuronale Representaties uit Eindige Steekproeven

Auteurs: Chanwoo Chun, Abdulkadir Canatar, SueYeon Chung, Daniel Lee.
Publicatie: ICLR 2026.

---

1. Probleemstelling

De globale dimensionaliteit van een neurale representatiemanifold (een verzameling van neuronale reacties op stimuli) biedt cruciale inzichten in de computationele processen van zowel biologische als kunstmatige neurale netwerken. Een veelgebruikte maatstaf hiervoor is de Participatieverhouding (Participation Ratio - PR) van de eigenwaarden van de covariantiematrix.

Het centrale probleem dat dit paper aanpakt, is dat bestaande schatters van de globale dimensionaliteit systematisch vertekend (biased) zijn wanneer ze worden toegepast op eindige steekproeven.

• Afhankelijkheid van steekproefgrootte: De geschatte dimensionaliteit hangt sterk af van het aantal stimuli ($P$, rijen) en het aantal opgenomen neuronen ($Q$, kolommen).
• Kwetsbaarheid voor ruis: Bestaande methoden zijn zeer gevoelig voor meetruis.
• Beperkingen van lokale methoden: Bestaande methoden voor lokale (intrinsieke) dimensionaliteit (zoals TwoNN) zijn weliswaar onafhankelijk van de steekproefgrootte, maar zijn vaak zeer gevoelig voor ruis en kunnen geen globale dimensionaliteit meten.

Er bestaat tot nu toe geen schatter die zowel robuust is tegen eindige steekproefgroottes als tegen meetruis.

2. Methodologie

De auteurs ontwikkelen een principieel schattings-theoretisch kader om de vertekening van de Participatieverhouding (PR) te corrigeren.

A. Definitie en Naieve Schatter

De PR wordt gedefinieerd als een "zachte" telling van niet-nul eigenwaarden:
$$\gamma_0 = \frac{(\sum \lambda_i)^2}{\sum \lambda_i^2}$$
In de praktijk wordt dit geschat via een steekproefmatrix $\Phi$ (grootte $P \times Q$). De naieve schatter ($\gamma_{naive}$) substitueert simpelweg de waarnemingen in de formule. De auteurs tonen aan dat deze schatter vertekend is omdat de teller en noemer beide vertekende schatters zijn van de ware waarden. De verwachting $E[\gamma_{naive}] \neq \gamma$.

De bias ontstaat doordat bij het sommeren van producten van matrixelementen (zoals $\Phi_{i\alpha}\Phi_{j\alpha}\Phi_{k\beta}\Phi_{l\beta}$) indices soms samenvallen (bijv. $i=j$). Bij eindige steekproeven leiden deze overlappende indices tot correlaties die de verwachting verstoren.

B. Bias-Correctie: De $\gamma_{both}$ Schatter

De kern van de oplossing is het afleiden van onvertekende schatters voor de teller ($A$) en de noemer ($B$) van de PR-doorverwijzing.

• Principe: In plaats van over alle indices te sommeren, sommeren de auteurs alleen over onderling verschillende indices (disjoint indices).
  • Voor rijen: $i, j, l, r$ moeten allemaal verschillend zijn.
  • Voor kolommen: $\alpha, \beta$ moeten verschillend zijn.
• Implementatie: Het direct sommeren over verschillende indices is computationeel duur. De auteurs leiden algebraïsche expansies af die deze "ongelijke sommen" uitdrukken als een lineaire combinatie van reguliere sommen (die efficiënt kunnen worden berekend met einsum operaties).
• Resultaat: De schatter $\gamma_{both} = \hat{A}_{both} / \hat{B}_{both}$ is asymptotisch onbevooroordeeld voor zowel rij- als kolomsteekproeven.

C. Uitbreidingen

1. Ruiscorrectie: Voor scenario's met additieve of multiplicatieve ruis, gebruiken de auteurs een cross-product constructie met twee onafhankelijke trials ($\Phi^{(1)}$ en $\Phi^{(2)}$). Door producten te nemen tussen de trials (bijv. $\Phi^{(1)}_{i\alpha} \Phi^{(2)}_{j\alpha}$), wordt de ruisterm geëlimineerd omdat de verwachting van de ruis nul is. Dit vereist slechts $N=2$ trials, wat veel efficiënter is dan het middelen van vele trials.
2. Importance Sampling: Als de verdeling van de waargenomen stimuli of neuronen verschilt van de onderliggende populatie, kunnen gewichten worden toegepast om de schatter te corrigeren.
3. Lokale Dimensionaliteit: Door de steekproeven lokaal te wegen (hoge gewichten voor nabije punten, lage voor verre punten), kan de methode ook worden gebruikt om de lokale (intrinsieke) dimensionaliteit te schatten, zelfs in aanwezigheid van ruis.
4. Sparse Matrices: De methode is toepasbaar op matrices met ontbrekende waarden, zolang de ontbreking onafhankelijk is van de sampling.

3. Belangrijkste Resultaten

De auteurs testen hun methode op synthetische data, echte neurale datasets en een Large Language Model (LLM).

• Synthetische Data: Op een lineair generatief model met bekende dimensionaliteit ($d=50$) en ruis, convergeert de naieve schatter niet naar de ware waarde bij variërende $P$ en $Q$. De voorgestelde $\gamma_{both}$ schatter herstelt echter nauwkeurig de ware dimensionaliteit over een breed scala aan steekproefgroottes.
• Neurale Data: De methode werd toegepast op:
  • Muizen V1 (calcium imaging).
  • Makaken V4 en IT (elektrofysiologie).
  • Menselijke IT (fMRI).
  • Resultaat: De $\gamma_{both}$ schatter is invariant voor de steekproefgrootte. Terwijl de naieve schatter en partiële correcties ($\gamma_{row}$ of $\gamma_{col}$) blijven variëren naarmate $P$ of $Q$ verandert, blijft $\gamma_{both}$ constant en convergeert naar een stabiele waarde.
• Large Language Models (LLM): Toepassing op de verborgen lagen van een Llama3-model. De schatter onthulde fijne details in de dimensionaliteitsprofielen over de lagen heen (een toename in het midden, gevolgd door een afname), die door de naieve schatter werden gemaskeerd door onderestimatie.

4. Bijdragen en Significatie

• Wetenschappelijke Bijdrage: Dit paper sluit een langdurige kloof in de literatuur door de eerste globale dimensionaliteitsschatter te bieden die zowel robuust is tegen eindige steekproefgroottes als tegen meetruis.
• Methodologische Innovatie: De afleiding van onvertekende schatters door middel van sommatie over verschillende indices en de algebraïsche herschrijving voor efficiënte implementatie is een fundamentele doorbraak.
• Praktische Toepasbaarheid: De methode is direct toepasbaar op bestaande datasets (calcium imaging, fMRI, Ephys) zonder dat er extra experimenten nodig zijn, behalve het hebben van twee trials voor ruiscorrectie.
• Impact op AI en Neurowetenschap:
  • Het stelt onderzoekers in staat om de werkelijke complexiteit van neurale representaties te begrijpen, ongeacht de beperkingen van de opnameapparatuur.
  • Voor AI-zekerheid en interpretatie (bijv. in LLM's) biedt het een betrouwbare manier om de evolutie van representatieruimtes over lagen heen te volgen.
  • Het verbetert het ontwerp van Brain-Computer Interfaces (BCI) door een nauwkeurigere schatting van de coderingsruimte van de motorcortex mogelijk te maken.

Conclusie

De auteurs hebben een wiskundig onderbouwde, bias-correcte schatter voor de Participatieverhouding ontwikkeld. Deze schatter ($\gamma_{both}$) lost het probleem van steekproefgrootte-afhankelijkheid op en is bestand tegen ruis, waardoor het een nieuwe standaard wordt voor het kwantificeren van de dimensionale structuur van neurale en kunstmatige netwerken. De code is openbaar beschikbaar gesteld.