Neurally-plausible radial basis kernels using distributed Fourier embeddings

Resumo Técnico: Kernels de base radial neuramente plausíveis usando embeddings de Fourier distribuídos

Declaração do Problema
Sistemas cognitivos requerem representações coesas e contínuas de espaços multidimensionais onde pontos equidistantes mantenham sua sensação de equidistância independentemente da direção. Embeddings tradicionais baseados em Fourier, como Recursos de Fourier Aleatórios (RFFs) e Ponteiros Semânticos Espaciais (SSPs) padrão, tipicamente realizam kernels unidimensionais. Quando estes são combinados para formar representações de dimensões superiores, a similaridade de produto interno resultante torna-se um produto de kernels individuais. Consequentemente, a similaridade entre pontos equidistantes depende tanto da magnitude quanto da direção do vetor que os conecta, falhando em alcançar verdadeira simetria radial. Embora os Ponteiros Semânticos Espaciais Hexagonais (HexSSPs) tenham sido observados exibindo comportamento semelhante a funções de base radial (RBF), a natureza analítica exata de seu kernel induzido permaneceu não caracterizada. Além disso, não está claro como métodos de amostragem alternativos usando representações semelhantes a células de grade podem aproximar kernels de base radial arbitrários.

Metodologia
O artigo utiliza o teorema de Bochner para estabelecer uma ponte matemática entre distribuições de probabilidade no espaço de Fourier e seus kernels correspondentes invariantes a translações. A abordagem central envolve caracterizar o kernel $K(\mathbf{x})$ como a transformada inversa de Fourier de uma função de densidade de probabilidade $p(\boldsymbol{\omega})$ sobre o espaço de fase.

Para alcançar um kernel de base radial (similaridade isotrópica independente da direção), os autores propõem amostrar linhas de uma matriz de fase $\mathbf{A}$ a partir de uma distribuição de probabilidade conjunta que seja invariante a rotações (isotrópica). Isso requer que a distribuição de vetores de fase seja separável em componentes de magnitude ($r = \|\boldsymbol{\omega}\|_2$) e direção ($\hat{\boldsymbol{\omega}}$) independentes, onde o componente direcional é uniformemente distribuído sobre a superfície de uma $n$-bola.

O artigo deriva uma forma integral geral para o kernel de similaridade em um espaço de características de $n$ dimensões:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
onde $J$ é a função de Bessel do primeiro tipo.

Os autores então aplicam este framework a três distribuições de amostragem específicas para a magnitude $r$:

1. Distribuição Uniforme ($r \sim U(0, \lambda)$): Corresponde à implementação padrão de HexSSP onde escalas de simplex são amostradas uniformemente.
2. Distribuição Qui ($r \sim \chi(n)$): Corresponde à amostragem a partir de uma distribuição Gaussiana isotrópica.
3. Distribuição Beta Escalonada ($r \sim \beta_\lambda(n, 1)$): Corresponde à amostragem uniforme dentro de uma $n$-bola.

Principais Contribuições e Resultados

1. Caracterização Analítica de Kernels HexSSP:
   O artigo fornece a primeira derivação analítica do kernel induzido por HexSSPs padrão (onde magnitudes são distribuídas uniformemente). O kernel resultante é identificado como um kernel hipergeométrico integrado (ou simplesmente "kernel hipergeométrico").

   • O kernel é expresso como uma série de potências envolvendo o símbolo de Pochhammer.
   • A análise mostra que, à medida que a dimensionalidade $n$ aumenta, o kernel se alarga e as oscilações diminuem, aproximando-se de um valor constante de 1. Isso implica que, para dimensões de características suficientemente altas, o espaço de embedding perde a capacidade de distinguir entre pontos, uma limitação não presente em kernels Gaussianos.

2. Derivação de Kernels Alternativos:
   Os autores demonstram que, ao alterar a distribuição de amostragem de magnitude dentro do framework HexSSP, diferentes kernels de base radial podem ser realizados:

   • Kernel Gaussiano: Ao amostrar magnitudes a partir de uma distribuição Qui ($r \sim \chi(n)$), o framework realiza um kernel Gaussiano padrão $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$. Diferentemente do kernel hipergeométrico, esta forma é robusta a mudanças na dimensionalidade $n$ em relação à sua forma, desde que a distribuição de $r$ escale adequadamente.
   • Kernel $n$-jinc: Ao amostrar magnitudes a partir de uma distribuição Beta escalonada ($r \sim \beta_\lambda(n, 1)$), o framework realiza um kernel de função de Bessel decrescente, denominado "kernel $n$-jinc". Este kernel comporta-se como uma função jinc ($x^{-1}J_0(x)$) quando $n=2$. Assim como o kernel hipergeométrico, sua forma depende da dimensionalidade $n$.

3. Optimalidade de Representações Semelhantes a Células de Grade:
   O artigo argumenta que a estrutura geométrica dos HexSSPs — construídos a partir de simplices centrados (análogos a campos de disparo de células de grade) — fornece um primitivo ótimo para aproximar funções de base radial. A forma do simplex garante contribuição igual de todos os pontos em todas as direções, minimizando ao mesmo tempo o número de pontos necessários para cobrir o espaço de características $n$-dimensional. A combinação de múltiplas orientações e escalas de células de grade permite que o sistema aproxime qualquer distribuição de probabilidade simétrica e centrada $p(r)$, e assim qualquer kernel de base radial.

Significado e Alegações
O artigo alega demonstrar que representações neuramente plausíveis com estruturas de fase semelhantes a células de grade são suficientes ("tudo o que você precisa") para aproximar qualquer função de base radial. Ao caracterizar analiticamente o kernel hipergeométrico e derivar alternativas Gaussianas e $n$-jinc, o trabalho preenche a lacuna entre representações distribuídas abstratas (SSPs) e plausibilidade biológica (células de grade).

Os autores afirmam que este trabalho visa motivar uma consideração aumentada de como representações neuramente plausíveis são construídas para tarefas envolvendo otimização de alta dimensão e modelagem cognitiva. O artigo enfatiza que representações semelhantes a células de grade não são apenas capazes de realizar kernels de base radial, mas são ótimas para fazê-lo, oferecendo um framework unificado para sintetizar fenômenos físicos e perceptivos em um único espaço representacional.