Neurally-plausible radial basis kernels using distributed Fourier embeddings

Technische Samenvatting: Neurale plausibele radiale basis-kernen met behulp van gedistribueerde Fourier-embeddings

Probleemstelling
Cognitieve systemen vereisen cohesieve, continue representaties van multidimensionale ruimten waarbij equidistante punten hun gevoel van equidistantie behouden ongeacht de richting. Traditionele op Fourier gebaseerde embeddings, zoals Random Fourier Features (RFF's) en standaard Spatial Semantic Pointers (SSP's), realiseren doorgaans eendimensionale kernen. Wanneer deze worden gecombineerd om hogere dimensionale representaties te vormen, wordt de resulterende inner-product-similariteit een product van individuele kernen. Bijgevolg hangt de similariteit tussen equidistante punten af van zowel de grootte als de richting van de vector die ze verbindt, waardoor ware radiale symmetrie niet wordt bereikt. Hoewel Hexagonale Spatial Semantic Pointers (HexSSP's) zijn waargenomen om gedrag te vertonen dat lijkt op radiale basisfuncties (RBF's), is de exacte analytische aard van hun geïnduceerde kern tot nu toe ongekarakteriseerd gebleven. Bovendien is het onduidelijk hoe alternatieve bemonsteringsmethoden die gebruikmaken van roostercel-achtige representaties willekeurige radiale basis-kernen kunnen benaderen.

Methodologie
Het artikel maakt gebruik van Bochner's stelling om een wiskundige brug te slaan tussen kansverdelingen in Fourier-ruimte en hun overeenkomstige verschuivingsinvariante kernen. De kernbenadering bestaat uit het karakteriseren van de kern $K(\mathbf{x})$ als de inverse Fourier-transformatie van een kansdichtheidsfunctie $p(\boldsymbol{\omega})$ over de fasruimte.

Om een radiale basis-kern te bereiken (isotrope similariteit onafhankelijk van richting), stellen de auteurs voor om rijen van een fase-matrix $\mathbf{A}$ te bemonsteren uit een gezamenlijke kansverdeling die rotatie-invariant (isotroop) is. Dit vereist dat de verdeling van fasvectoren separabel is in onafhankelijke grootte ($r = \|\boldsymbol{\omega}\|_2$) en richting ($\hat{\boldsymbol{\omega}}$) componenten, waarbij de directionele component uniform verdeeld is over het oppervlak van een $n$-bol.

Het artikel leidt een algemene integraalvorm af voor de similariteitskern in een $n$-dimensionale kenmerkruimte:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
waarbij $J$ de Besselfunctie van de eerste soort is.

De auteurs passen dit kader vervolgens toe op drie specifieke bemonsteringsverdelingen voor de grootte $r$:

1. Uniforme Verdeling ($r \sim U(0, \lambda)$): Komt overeen met de standaard HexSSP-implementatie waarbij simplex-schalen uniform worden bemonsterd.
2. Chi-Verdeling ($r \sim \chi(n)$): Komt overeen met bemonstering uit een isotrope Gaussische verdeling.
3. Geschaalde Beta-Verdeling ($r \sim \beta_\lambda(n, 1)$): Komt overeen met uniforme bemonstering binnen een $n$-bol.

Belangrijkste Bijdragen en Resultaten

1. Analytische Karakterisering van HexSSP-kernen:
   Het artikel biedt de eerste analytische afleiding van de kern die wordt geïnduceerd door standaard HexSSP's (waarbij groottes uniform verdeeld zijn). De resulterende kern wordt geïdentificeerd als een geïntegreerde hypergeometrische kern (of simpelweg "hypergeometrische kern").

   • De kern wordt uitgedrukt als een machtreeks die de Pochhammer-symbool bevat.
   • Analyse toont aan dat naarmate de dimensionaliteit $n$ toeneemt, de kern verbreedt en oscillaties afnemen, waarbij de kern nadert tot een constante waarde van 1. Dit impliceert dat voor voldoende hoge kenmerk-dimensies de embedding-ruimte het vermogen verliest om punten te onderscheiden, een beperking die niet aanwezig is in Gaussische kernen.

2. Afleiding van Alternatieve Kernen:
   De auteurs demonstreren dat door de grootte-bemonsteringsverdeling binnen het HexSSP-kader te wijzigen, verschillende radiale basis-kernen kunnen worden gerealiseerd:

   • Gaussische Kern: Door groottes te bemonsteren uit een Chi-verdeling ($r \sim \chi(n)$), realiseert het kader een standaard Gaussische kern $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$. In tegenstelling tot de hypergeometrische kern, is deze vorm robuust tegen veranderingen in dimensionaliteit $n$ wat betreft zijn vorm, mits de verdeling van $r$ op passende wijze schaalt.
   • $n$-jinc Kern: Door groottes te bemonsteren uit een geschaalde Beta-verdeling ($r \sim \beta_\lambda(n, 1)$), realiseert het kader een afnemende Besselfunctie-kern, de "$n$-jinc kern" genoemd. Deze kern gedraagt zich als een jinc-functie ($x^{-1}J_0(x)$) wanneer $n=2$. Net als de hypergeometrische kern is zijn vorm afhankelijk van de dimensionaliteit $n$.

3. Optimaliteit van Roostercel-achtige Representaties:
   Het artikel betoogt dat de geometrische structuur van HexSSP's—opgebouwd uit gecentreerde simplices (analoog aan veldjes van roostercel-afvuren)—een optimaal primitief biedt voor het benaderen van radiale basisfuncties. De simplex-vorm zorgt voor gelijke bijdrage van alle punten in alle richtingen, terwijl het aantal punten dat nodig is om de $n$-dimensionale kenmerkruimte te bedekken, wordt geminimaliseerd. De combinatie van meerdere roostercel-oriëntaties en schalen stelt het systeem in staat om elke symmetrische, gecentreerde kansverdeling $p(r)$, en dus elke radiale basis-kern, te benaderen.

Betekenis en Beweringen
Het artikel beweert aan te tonen dat neurale plausibele representaties met roostercel-achtige fase-structuren voldoende zijn ("alles wat je nodig hebt") om elke radiale basisfunctie te benaderen. Door de hypergeometrische kern analytisch te karakteriseren en Gaussische en $n$-jinc alternatieven af te leiden, overbrugt het werk de kloof tussen abstracte gedistribueerde representaties (SSP's) en biologische plausibiliteit (roostercellen).

De auteurs stellen dat dit werk beoogt meer aandacht te motiveren voor hoe neurale plausibele representaties worden geconstrueerd voor taken die hoge-dimensionale optimalisatie en cognitieve modellering omvatten. Het artikel benadrukt dat roostercel-achtige representaties niet alleen in staat zijn radiale basis-kernen te realiseren, maar optimaal zijn om dit te doen, en bieden een unificerend kader voor het synthetiseren van fysische en perceptuele fenomenen in één representatieve ruimte.