Neurally-plausible radial basis kernels using distributed Fourier embeddings

Riepilogo Tecnico: Kernel a base radiale biologicamente plausibili mediante embedding Fourier distribuiti

Enunciato del Problema
I sistemi cognitivi richiedono rappresentazioni coerenti e continue di spazi multidimensionali in cui punti equidistanti mantengano il loro senso di equidistanza indipendentemente dalla direzione. Le tradizionali embedding basate su Fourier, come le Random Fourier Features (RFF) e gli standard Spatial Semantic Pointers (SSP), realizzano tipicamente kernel monodimensionali. Quando questi vengono combinati per formare rappresentazioni di dimensioni superiori, la similarità del prodotto scalare risultante diventa un prodotto di kernel individuali. Di conseguenza, la similarità tra punti equidistanti dipende sia dalla magnitudine sia dalla direzione del vettore che li collega, fallendo nel raggiungere una vera simmetria radiale. Sebbene gli Hexagonal Spatial Semantic Pointers (HexSSP) siano stati osservati esibire un comportamento simile a quello di funzioni a base radiale (RBF), la natura analitica esatta del loro kernel indotto è rimasta non caratterizzata. Inoltre, non è chiaro come metodi di campionamento alternativi che utilizzano rappresentazioni simili a cellule di griglia possano approssimare kernel a base radiale arbitrari.

Metodologia
Il paper utilizza il teorema di Bochner per stabilire un ponte matematico tra distribuzioni di probabilità nello spazio di Fourier e i loro corrispondenti kernel invarianti per traslazione. L'approccio centrale consiste nel caratterizzare il kernel $K(\mathbf{x})$ come la trasformata di Fourier inversa di una funzione di densità di probabilità $p(\boldsymbol{\omega})$ sullo spazio delle fasi.

Per ottenere un kernel a base radiale (similarità isotropa indipendente dalla direzione), gli autori propongono di campionare le righe di una matrice di fase $\mathbf{A}$ da una distribuzione di probabilità congiunta che sia invariante per rotazione (isotropa). Ciò richiede che la distribuzione dei vettori di fase sia separabile in componenti indipendenti di magnitudine ($r = \|\boldsymbol{\omega}\|_2$) e direzione ($\hat{\boldsymbol{\omega}}$), dove la componente direzionale è distribuita uniformemente sulla superficie di una $n$-sfera.

Il paper deriva una forma integrale generale per il kernel di similarità in uno spazio delle caratteristiche $n$-dimensionale:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
dove $J$ è la funzione di Bessel del primo tipo.

Gli autori applicano quindi questo quadro a tre specifiche distribuzioni di campionamento per la magnitudine $r$:

1. Distribuzione Uniforme ($r \sim U(0, \lambda)$): Corrisponde all'implementazione standard HexSSP in cui le scale dei simplessi sono campionate uniformemente.
2. Distribuzione Chi ($r \sim \chi(n)$): Corrisponde al campionamento da una distribuzione gaussiana isotropa.
3. Distribuzione Beta Scalata ($r \sim \beta_\lambda(n, 1)$): Corrisponde al campionamento uniforme all'interno di una $n$-sfera.

Contributi Chiave e Risultati

1. Caratterizzazione Analitica dei Kernel HexSSP:
   Il paper fornisce la prima derivazione analitica del kernel indotto dagli HexSSP standard (dove le magnitudini sono distribuite uniformemente). Il kernel risultante è identificato come un kernel ipergeometrico integrato (o semplicemente "kernel ipergeometrico").

   • Il kernel è espresso come una serie di potenze che coinvolge il simbolo di Pochhammer.
   • L'analisi mostra che all'aumentare della dimensionalità $n$, il kernel si allarga e le oscillazioni diminuiscono, avvicinandosi a un valore costante di 1. Ciò implica che per dimensioni delle caratteristiche sufficientemente elevate, lo spazio di embedding perde la capacità di distinguere tra punti, una limitazione non presente nei kernel gaussiani.

2. Derivazione di Kernel Alternativi:
   Gli autori dimostrano che alterando la distribuzione di campionamento della magnitudine all'interno del quadro HexSSP, è possibile realizzare diversi kernel a base radiale:

   • Kernel Gaussiano: Campionando le magnitudini da una distribuzione Chi ($r \sim \chi(n)$), il quadro realizza un kernel gaussiano standard $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$. A differenza del kernel ipergeometrico, questa forma è robusta ai cambiamenti nella dimensionalità $n$ riguardo alla sua forma, a condizione che la distribuzione di $r$ si scalini in modo appropriato.
   • Kernel $n$-jinc: Campionando le magnitudini da una distribuzione Beta scalata ($r \sim \beta_\lambda(n, 1)$), il quadro realizza un kernel a funzione di Bessel decrescente, denominato "kernel $n$-jinc". Questo kernel si comporta come una funzione jinc ($x^{-1}J_0(x)$) quando $n=2$. Come il kernel ipergeometrico, la sua forma dipende dalla dimensionalità $n$.

3. Ottimalità delle Rappresentazioni Simili a Cellule di Griglia:
   Il paper sostiene che la struttura geometrica degli HexSSP — costruita a partire da simplessi centrati (analoghi ai campi di attivazione delle cellule di griglia) — fornisce un primitivo ottimale per l'approssimazione di funzioni a base radiale. La forma del semplice assicura un contributo uguale di tutti i punti in tutte le direzioni, minimizzando al contempo il numero di punti necessari per coprire lo spazio delle caratteristiche $n$-dimensionale. La combinazione di molteplici orientamenti e scale delle cellule di griglia permette al sistema di approssimare qualsiasi distribuzione di probabilità simmetrica e centrata $p(r)$, e quindi qualsiasi kernel a base radiale.

Significato e Affermazioni
Il paper afferma di dimostrare che rappresentazioni biologicamente plausibili con strutture di fase simili a cellule di griglia sono sufficienti ("è tutto ciò che serve") per approssimare qualsiasi funzione a base radiale. Caratterizzando analiticamente il kernel ipergeometrico e derivando alternative gaussiane e $n$-jinc, il lavoro colma il divario tra rappresentazioni distribuite astratte (SSP) e plausibilità biologica (cellule di griglia).

Gli autori affermano che questo lavoro mira a motivare una maggiore considerazione su come le rappresentazioni biologicamente plausibili siano costruite per compiti che coinvolgono ottimizzazione in spazi ad alta dimensionalità e modellazione cognitiva. Il paper sottolinea che le rappresentazioni simili a cellule di griglia non sono solo capaci di realizzare kernel a base radiale, ma sono ottimali per farlo, offrendo un quadro unificato per sintetizzare fenomeni fisici e percettivi in uno spazio rappresentazionale unico.