On periodic distributed representations using Fourier embeddings

기술 요약: 푸리에 임베딩을 이용한 주기적 분산 표현

문제 제기
방향 각도, 일주기 리듬, 음악 패턴과 같은 주기적 신호는 물리적 및 지각적 현상의 기초를 이룹니다. 그러나 이러한 신호를 스칼라 실수 각도 측정값 (예: 라디안 또는 도) 으로 표현하는 것은 상당한 도전을 초래합니다. 구체적으로, 스칼라 표현은 절대 차이가 $\pi$를 초과할 때 인접한 각도를 구별하거나 처리하는 데 어려움을 겪으며, 이로 인해 신호의 주기 한계에서 급격한 불연속성이 발생합니다. 예를 들어, $\epsilon$과 $2\pi - \epsilon$ 사이의 각도 거리는 물리적으로 작지만, 이들의 스칼라 차이는 큽니다 ($|2\pi - 2\epsilon|$). 기존 분산 임베딩 접근법 (예: 무작위 푸리에 특징, RFF) 은 일반적으로 무한한 수선을 고차원 궤적으로 매핑하는 연속적 특징 표현에 중점을 두며, 이러한 임베딩의 주기적 버전과 이로 인해 유도된 커널의 특성화 및 분석은 충분히 연구되지 않았습니다.

방법론
저자들은 스칼라 불연속성을 해결하기 위해 고차원 공간에서 실수 값 주기적 임베딩을 구성하는 것을 제안합니다. 핵심 표현은 $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$로 정의되며, 여기서 $\mathbf{x} \in \mathbb{R}^n$, $j$는 허수 단위, $\mathbf{A} \in \mathbb{R}^{d \times n}$은 켤레 대칭 위상 행렬입니다. 이러한 임베딩은 신경학적 실현 가능성과 구성적 구조를 이유로 **공간적 의미 포인터 (SSP)**로 식별됩니다.

임베딩이 특정 주기 $t^\circ \in \mathbb{R}^+$를 갖도록 보장하기 위해, 행렬 $\mathbf{A}$의 모든 항목은 주기 스케일 푸리에 근 ($2\pi n t^{\circ -1}$) 의 정수 배수여야 합니다. 가능한 항목의 집합 $\Omega$는 이산 집합 $S^\circ(t^\circ)$에서 샘플링됩니다.

두 점 $\mathbf{x}$와 $\mathbf{y}$ 간의 유사성은 임베딩의 내적을 통해 측정되며, 이는 이동 불변 커널 $K(\mathbf{x} - \mathbf{y})$를 근사합니다. $\mathbf{A}$의 열들이 독립적이고 동일하게 분포 (i.i.d.) 되어 있으므로, $n$차원 커널은 개별 1D 커널들의 곱입니다: $K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$. 개별 커널 $k(x)$의 형태는 $\mathbf{A}$의 항목을 샘플링하는 데 사용된 확률 질량 함수 (PMF) 의 역푸리에 변환에 의해 결정됩니다.

본 논문은 $\mathbf{A}$에 대한 서로 다른 샘플링 분포를 기반으로 두 가지 특정 커널 형태를 공식화합니다:

1. 디리클레 커널 (Dirichlet Kernel): 주파수 대역 $B$ 내에서 푸리에 근의 정수 배수를 균일하게 샘플링하여 생성됩니다. 결과 커널은 정규화된 디리클레 커널 (반복되는 sinc 함수와 동일) 입니다.
2. 주기 가우스 커널 (Periodic Gaussian Kernel): 동일한 주파수 대역 내의 정수에서 중심을 둔 유사 정규 분포로부터 항목을 샘플링하여 생성됩니다. 결과 커널은 theta 함수의 비율을 근사하여 주기적 가우스 유사성 커널을 생성합니다.

주요 기여

• 주기적 SSP 의 공식화: 이 연구는 공간적 의미 포인터를 사용하여 고차원 주기적 임베딩을 구성하는 공식적 프레임워크를 제공하며, 표현이 실수 값이고 순환적임을 보장합니다.
• 커널 특성화: 저자들은 주기적 임베딩에 대해 유도된 커널의 구체적인 수학적 형태를 유도합니다. 위상 행렬의 균일 샘플링이 디리클레 커널들의 곱을 생성하는 반면, 정규 분포와 유사한 샘플링이 주기적 가우스 커널들의 곱을 생성함을 보여줍니다.
• 커널 형태 제어: 위상 행렬 $\mathbf{A}$의 샘플링 분포를 제어함으로써 다양한 커널 형태 (예: 디리클레 대 가우스) 를 구성하여 서로 다른 모델링 요구 사항에 적합하게 할 수 있음을 강조합니다.
• 차원성 문제 해결: 저자들은 디리클레 커널들의 곱은 매우 진동하며 방사 대칭이 아니어서 (등거리 특징 공간에 덜 이상적임) 등거리 특징 공간에 덜 이상적이라고 지적하는 반면, 가우스 커널들의 곱은 더 매끄럽고 음이 아닌 대안을 제공하지만 여전히 방사 비대칭성을 유지한다고 언급합니다.

결과
본 논문은 정규화된 주기 가우스 커널과 디리클레 커널을 비교하는 이론적 유도 및 시각화 (그림 1) 를 제시합니다. 시각화는 다음을 확인합니다:

• 디리클레 커널 (균일 샘플링에서 유래) 은 0 근처에서 뚜렷한 음의 로브와 높은 진동을 나타내며, 이는 등거리 특징이 동등하게 유사해야 하는 연속적인 다차원 특징 공간을 표현하는 데 비최적일 수 있습니다.
• 주기 가우스 커널 (정규 샘플링에서 유래) 은 더 매끄럽고 모든 곳에서 음이 아니어서 더 안정적인 유사성 측정을 제공하지만, 대응되는 디리클레 커널과 유사한 방사 비대칭성을 유지합니다.

의의 및 주장
본 논문은 스칼라 각도 표현과 관련된 불연속성을 피함으로써 본질적으로 순환적인 고차원 표현을 구성하는 방법을 제공합니다. 고차원 특징 공간에 대한 반복 커널을 특성화함으로써, 이 연구는 내적 유사성의 성질을 제어할 수 있는 메커니즘을 제공합니다. 저자들은 이러한 기법이 방향, 오리엔테이션, 자극 지각 (예: 색상) 과 관련된 인지 모델에 적용되어 인간과 유사한 행동을 보이는 모델을 생성하는 데 의도되었다고 명시합니다. 이 연구는 신경학적으로 타당한 표현 체계의 맥락에서 디리클레 및 주기 가우스 커널을 공식화하는 기초적인 단계로 작용합니다.