Neurally-plausible radial basis kernels using distributed Fourier embeddings

Resumen Técnico: Kernels de base radial neurónicamente plausibles usando embebimientos de Fourier distribuidos

Enunciado del Problema
Los sistemas cognitivos requieren representaciones cohesivas y continuas de espacios multidimensionales donde los puntos equidistantes mantengan su sentido de equidistancia independientemente de la dirección. Los embebimientos basados en Fourier tradicionales, como las Características de Fourier Aleatorias (RFFs) y los Punteros Semánticos Espaciales (SSP) estándar, típicamente realizan kernels de una sola dimensión. Cuando estos se combinan para formar representaciones de mayor dimensión, la similitud del producto interno resultante se convierte en un producto de kernels individuales. En consecuencia, la similitud entre puntos equidistantes depende tanto de la magnitud como de la dirección del vector que los conecta, fallando en lograr una simetría radial verdadera. Si bien se ha observado que los Punteros Semánticos Espaciales Hexagonales (HexSSP) exhiben un comportamiento similar a una función de base radial (RBF), la naturaleza analítica exacta de su kernel inducido ha permanecido sin caracterizar. Además, no está claro cómo los métodos de muestreo alternativos que utilizan representaciones similares a células de cuadrícula pueden aproximar kernels de base radial arbitrarios.

Metodología
El artículo utiliza el teorema de Bochner para establecer un puente matemático entre las distribuciones de probabilidad en el espacio de Fourier y sus kernels correspondientes invariantes ante traslaciones. El enfoque central consiste en caracterizar el kernel $K(\mathbf{x})$ como la transformada inversa de Fourier de una función de densidad de probabilidad $p(\boldsymbol{\omega})$ sobre el espacio de fases.

Para lograr un kernel de base radial (similitud isotrópica independiente de la dirección), los autores proponen muestrear las filas de una matriz de fase $\mathbf{A}$ desde una distribución de probabilidad conjunta que sea invariante ante rotaciones (isotrópica). Esto requiere que la distribución de los vectores de fase sea separable en componentes de magnitud ($r = \|\boldsymbol{\omega}\|_2$) y dirección ($\hat{\boldsymbol{\omega}}$) independientes, donde el componente direccional se distribuye uniformemente sobre la superficie de una $n$-bola.

El artículo deriva una forma integral general para el kernel de similitud en un espacio de características de $n$ dimensiones:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
donde $J$ es la función de Bessel de primera clase.

Los autores aplican luego este marco a tres distribuciones de muestreo específicas para la magnitud $r$:

1. Distribución Uniforme ($r \sim U(0, \lambda)$): Corresponde a la implementación estándar de HexSSP donde las escalas de los símplices se muestrean uniformemente.
2. Distribución Chi ($r \sim \chi(n)$): Corresponde al muestreo desde una distribución gaussiana isotrópica.
3. Distribución Beta Escalada ($r \sim \beta_\lambda(n, 1)$): Corresponde al muestreo uniforme dentro de una $n$-bola.

Contribuciones y Resultados Clave

1. Caracterización Analítica de los Kernels HexSSP:
   El artículo proporciona la primera derivación analítica del kernel inducido por los HexSSP estándar (donde las magnitudes se distribuyen uniformemente). El kernel resultante se identifica como un kernel hipergeométrico integrado (o simplemente "kernel hipergeométrico").

   • El kernel se expresa como una serie de potencias que involucra el símbolo de Pochhammer.
   • El análisis muestra que a medida que la dimensionalidad $n$ aumenta, el kernel se ensancha y las oscilaciones disminuyen, acercándose a un valor constante de 1. Esto implica que para dimensiones de características suficientemente altas, el espacio de embebimiento pierde la capacidad de distinguir entre puntos, una limitación que no está presente en los kernels gaussianos.

2. Derivación de Kernels Alternativos:
   Los autores demuestran que, al alterar la distribución de muestreo de magnitudes dentro del marco HexSSP, se pueden realizar diferentes kernels de base radial:

   • Kernel Gaussiano: Al muestrear magnitudes desde una distribución Chi ($r \sim \chi(n)$), el marco realiza un kernel gaussiano estándar $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$. A diferencia del kernel hipergeométrico, esta forma es robusta a los cambios en la dimensionalidad $n$ con respecto a su forma, siempre que la distribución de $r$ se escale apropiadamente.
   • Kernel $n$-jinc: Al muestrear magnitudes desde una distribución Beta escalada ($r \sim \beta_\lambda(n, 1)$), el marco realiza un kernel de función de Bessel decreciente, denominado "kernel $n$-jinc". Este kernel se comporta como una función jinc ($x^{-1}J_0(x)$) cuando $n=2$. Al igual que el kernel hipergeométrico, su forma depende de la dimensionalidad $n$.

3. Optimalidad de las Representaciones Similares a Células de Cuadrícula:
   El artículo argumenta que la estructura geométrica de los HexSSP —construida a partir de símplices centrados (análogos a los campos de disparo de células de cuadrícula)— proporciona un primitivo óptimo para aproximar funciones de base radial. La forma del símplice asegura una contribución igual de todos los puntos en todas las direcciones mientras minimiza el número de puntos necesarios para cubrir el espacio de características de $n$ dimensiones. La combinación de múltiples orientaciones y escalas de células de cuadrícula permite que el sistema aproxime cualquier distribución de probabilidad simétrica y centrada $p(r)$, y por lo tanto, cualquier kernel de base radial.

Significado y Afirmaciones
El artículo afirma demostrar que las representaciones neurónicamente plausibles con estructuras de fase similares a células de cuadrícula son suficientes ("todo lo que necesitas") para aproximar cualquier función de base radial. Al caracterizar analíticamente el kernel hipergeométrico y derivar alternativas gaussianas y $n$-jinc, el trabajo cierra la brecha entre representaciones distribuidas abstractas (SSP) y la plausibilidad biológica (células de cuadrícula).

Los autores declaran que este trabajo tiene como objetivo motivar una mayor consideración de cómo se construyen las representaciones neurónicamente plausibles para tareas que involucran optimización de alta dimensión y modelado cognitivo. El artículo enfatiza que las representaciones similares a células de cuadrícula no solo son capaces de realizar kernels de base radial, sino que son óptimas para hacerlo, ofreciendo un marco unificado para sintetizar fenómenos físicos y perceptuales en un único espacio representacional.