On periodic distributed representations using Fourier embeddings

Resumo Técnico: Sobre Representações Distribuídas Periódicas Usando Incorporações de Fourier

Enunciação do Problema
Sinais periódicos, como ângulos de orientação, ritmos circadianos e padrões musicais, são fundamentais para fenômenos físicos e perceptivos. No entanto, representar esses sinais usando medidas angulares escalares reais (por exemplo, radianos ou graus) introduz desafios significativos. Especificamente, representações escalares têm dificuldade em distinguir ou processar ângulos próximos quando sua diferença absoluta excede $\pi$, resultando em descontinuidades abruptas nos limites do período do sinal. Por exemplo, a distância angular entre $\epsilon$ e $2\pi - \epsilon$ é fisicamente pequena, mas sua diferença escalar é grande ($|2\pi - 2\epsilon|$). Abordagens existentes de incorporação distribuída, como Recursos de Fourier Aleatórios (RFFs), geralmente focam em representações de características contínuas que mapeiam linhas numéricas infinitas para trajetórias de alta dimensão, deixando a caracterização e análise de versões periódicas dessas incorporações e seus kernels induzidos pouco exploradas.

Metodologia
Os autores propõem a construção de incorporações de valor real e periódicas em espaço de alta dimensão para resolver descontinuidades escalares. A representação central é definida como $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$, onde $\mathbf{x} \in \mathbb{R}^n$, $j$ é a unidade imaginária e $\mathbf{A} \in \mathbb{R}^{d \times n}$ é uma matriz de fase simétrica conjugada. Essas incorporações são identificadas como Pontos Semânticos Espaciais (SSPs), escolhidas por sua viabilidade neural e estrutura composicional.

Para garantir que as incorporações sejam periódicas com um período específico $t^\circ \in \mathbb{R}^+$, todas as entradas da matriz $\mathbf{A}$ devem ser múltiplos inteiros de raízes de Fourier escaladas pelo período ($2\pi n t^{\circ -1}$). O conjunto de entradas possíveis, $\Omega$, é amostrado a partir de um conjunto discreto $S^\circ(t^\circ)$.

A similaridade entre dois pontos $\mathbf{x}$ e $\mathbf{y}$ é medida via o produto escalar de suas incorporações, o que aproxima um kernel invariante a deslocamentos $K(\mathbf{x} - \mathbf{y})$. Como as colunas de $\mathbf{A}$ são independentes e identicamente distribuídas (i.i.d.), o kernel $n$-dimensional é o produto de kernels unidimensionais individuais: $K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$. A forma do kernel individual $k(x)$ é determinada pela transformada inversa de Fourier da função de massa de probabilidade (FMP) usada para amostrar as entradas de $\mathbf{A}$.

O artigo formaliza duas formas de kernel específicas baseadas em diferentes distribuições de amostragem para $\mathbf{A}$:

1. Kernel de Dirichlet: Gerado pela amostragem uniforme de múltiplos inteiros das raízes de Fourier dentro de uma banda de frequência $B$. O kernel resultante é um kernel de Dirichlet normalizado (equivalente a uma função sinc repetitiva).
2. Kernel Gaussiano Periódico: Gerado pela amostragem de entradas a partir de uma distribuição pseudo-normal centrada sobre os inteiros dentro da mesma banda de frequência. O kernel resultante aproxima uma razão de funções theta, produzindo um kernel de similaridade gaussiano periódico.

Principais Contribuições

• Formalização de SSPs Periódicas: O trabalho fornece uma estrutura formal para construir incorporações periódicas de alta dimensão usando Pontos Semânticos Espaciais, garantindo que as representações sejam de valor real e cíclicas.
• Caracterização de Kernels: Os autores derivam as formas matemáticas específicas dos kernels induzidos para incorporações periódicas. Eles demonstram que a amostragem uniforme de matrizes de fase produz um produto de kernels de Dirichlet, enquanto a amostragem semelhante à normal produz um produto de kernels gaussianos periódicos.
• Controle sobre Formas de Kernel: O artigo destaca que, ao controlar a distribuição de amostragem da matriz de fase $\mathbf{A}$, pode-se construir uma variedade de formas de kernel diferentes (por exemplo, Dirichlet versus Gaussiano) para atender a diferentes necessidades de modelagem.
• Endereçamento de Questões de Dimensionalidade: Os autores observam que, embora o kernel produto-de-Dirichlets seja altamente oscilatório e não seja radialmente simétrico (tornando-o menos ideal para espaços de características equidistantes), o kernel produto-de-Gaussianos oferece uma alternativa mais suave e não negativa, embora permaneça radialmente assimétrico.

Resultados
O artigo apresenta derivações teóricas e visualizações (Figura 1) comparando os kernels gaussianos periódicos e de Dirichlet normalizados. As visualizações confirmam que:

• O kernel de Dirichlet (de amostragem uniforme) exibe lóbulos negativos pronunciados e alta oscilação próximo a zero, o que pode ser subótimo para representar espaços de características contínuos e multidimensionais onde características equidistantes devem ser igualmente similares.
• O kernel Gaussiano Periódico (de amostragem normal) é mais suave e não negativo em todos os lugares, fornecendo uma medida de similaridade mais estável, embora retenha a assimetria radial semelhante à sua contraparte de Dirichlet.

Significado e Alegações
O artigo alega oferecer um método para construir representações de alta dimensão que são inerentemente cíclicas, evitando assim as descontinuidades associadas a representações angulares escalares. Ao caracterizar os kernels repetitivos para espaços de características de alta dimensão, o trabalho fornece um mecanismo para controlar a natureza das similaridades de produto escalar. Os autores afirmam que essas técnicas destinam-se a ser aplicadas a modelos cognitivos envolvendo direção, orientação e percepção de estímulos (como cor) para criar modelos capazes de exibir comportamentos semelhantes aos humanos. O trabalho serve como um passo fundamental na formalização de kernels de Dirichlet e gaussianos periódicos no contexto de esquemas de representação neuramente plausíveis.