Neurally-plausible radial basis kernels using distributed Fourier embeddings

기술적 요약: 분산 푸리에 임베딩을 사용한 신경학적 타당성을 갖춘 방사형 기저 커널

문제 제기
인지 시스템은 방향에 관계없이 등거리 점들이 등거리감을 유지하는 다차원 공간의 통합적이고 연속적인 표현을 필요로 합니다. 무작위 푸리에 특징 (RFFs) 및 표준 공간적 의미 포인터 (SSP) 와 같은 전통적인 푸리에 기반 임베딩은 일반적으로 단일 차원 커널을 구현합니다. 이러한 것들을 결합하여 고차원 표현을 형성할 때, 결과적으로 생성된 내적 유사성은 개별 커널들의 곱이 됩니다. 따라서 등거리 점들 간의 유사성은 그들을 연결하는 벡터의 크기와 방향 모두에 의존하게 되어, 진정한 방사형 대칭을 달성하지 못합니다. 육각형 공간적 의미 포인터 (HexSSP) 가 방사형 기저 함수 (RBF) 와 유사한 행동을 보이는 것으로 관찰되어 왔으나, 이들이 유도하는 커널의 정확한 분석적 성질은 아직 규명되지 않았습니다. 더 나아가, 그리드 세포와 유사한 표현을 사용하는 대안적인 샘플링 방법이 임의의 방사형 기저 커널을 어떻게 근사할 수 있는지는 명확하지 않습니다.

방법론
본 논문은 보흐너 (Bochner) 정리를 활용하여 푸리에 공간의 확률 분포와 이에 대응하는 이동 불변 커널 간의 수학적 연결고리를 확립합니다. 핵심 접근법은 위상 공간에서의 확률 밀도 함수 $p(\boldsymbol{\omega})$의 역푸리에 변환으로서 커널 $K(\mathbf{x})$를 특성화하는 것입니다.

방사형 기저 커널 (방향에 무관한 등방성 유사성) 을 달성하기 위해, 저자들은 위상 행렬 $\mathbf{A}$의 행을 회전 불변 (등방성) 인 결합 확률 분포에서 샘플링할 것을 제안합니다. 이는 위상 벡터의 분포가 독립적인 크기 ($r = \|\boldsymbol{\omega}\|_2$) 성분과 방향 ($\hat{\boldsymbol{\omega}}$) 성분으로 분리 가능해야 하며, 여기서 방향 성분은 $n$-볼 표면에서 균일하게 분포되어야 함을 요구합니다.

본 논문은 $n$차원 특징 공간에서의 유사성 커널에 대한 일반적인 적분 형태를 유도합니다:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
여기서 $J$는 제1종 베셀 함수입니다.

이후 저자들은 크기 $r$에 대한 세 가지 특정 샘플링 분포에 이 프레임워크를 적용합니다:

1. 균일 분포 ($r \sim U(0, \lambda)$): 심플렉스 크기가 균일하게 샘플링되는 표준 HexSSP 구현에 해당합니다.
2. 카이 분포 ($r \sim \chi(n)$): 등방성 가우시안 분포에서 샘플링하는 것에 해당합니다.
3. 스케일링된 베타 분포 ($r \sim \beta_\lambda(n, 1)$): $n$-볼 내에서 균일하게 샘플링하는 것에 해당합니다.

주요 기여 및 결과

1. HexSSP 커널의 분석적 특성화:
   본 논문은 표준 HexSSP(크기가 균일하게 분포됨) 가 유도하는 커널에 대한 최초의 분석적 유도를 제공합니다. 결과적으로 도출된 커널은 적분된 초기하 커널(또는 단순히 "초기하 커널") 로 식별됩니다.

   • 이 커널은 포카함마 기호를 포함하는 멱급수로 표현됩니다.
   • 분석 결과, 차원 $n$이 증가함에 따라 커널이 넓어지고 진동이 감소하여 1 의 상수 값에 접근하는 것으로 나타났습니다. 이는 충분히 높은 특징 차원에서 임베딩 공간이 점들 사이를 구별하는 능력을 상실함을 의미하며, 이는 가우시안 커널에는 존재하지 않는 한계입니다.

2. 대안적 커널의 유도:
   저자들은 HexSSP 프레임워크 내에서 크기 샘플링 분포를 변경함으로써 다양한 방사형 기저 커널을 실현할 수 있음을 보여줍니다:

   • 가우시안 커널: 크기 ($r \sim \chi(n)$) 를 카이 분포에서 샘플링함으로써, 프레임워크는 표준 가우시안 커널 $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$을 실현합니다. 초기하 커널과 달리, 이 형태는 $r$의 분포가 적절하게 스케일링되는 한 차원 $n$의 변화에 대해 모양이 견고합니다.
   • $n$-진크 (n-jinc) 커널: 크기 ($r \sim \beta_\lambda(n, 1)$) 를 스케일링된 베타 분포에서 샘플링함으로써, 프레임워크는 감쇠하는 베셀 함수 커널인 "$n$-진크 커널"을 실현합니다. 이 커널은 $n=2$일 때 진크 함수 ($x^{-1}J_0(x)$) 와 유사하게 동작합니다. 초기하 커널과 마찬가지로 그 모양은 차원 $n$에 의존합니다.

3. 그리드 세포와 유사한 표현의 최적성:
   본 논문은 중심 심플렉스 (그리드 세포 발화 영역과 유사) 로 구성된 HexSSP 의 기하학적 구조가 방사형 기저 함수를 근사하기 위한 최적의 원시 요소 (primitive) 를 제공한다고 주장합니다. 심플렉스 모양은 모든 방향의 모든 점들이 동등하게 기여하도록 보장하면서 $n$차원 특징 공간을 덮는 데 필요한 점의 수를 최소화합니다. 여러 그리드 세포 방향과 스케일의 결합을 통해 시스템은 임의의 대칭적이고 중심이 잡힌 확률 분포 $p(r)$을 근사할 수 있으며, 따라서 임의의 방사형 기저 커널을 근사할 수 있습니다.

의의 및 주장
본 논문은 그리드 세포와 유사한 위상 구조를 가진 신경학적 타당성을 갖춘 표현이 임의의 방사형 기저 함수를 근사하기에 충분함 ("그저 이것만 있으면 됨") 을 입증한다고 주장합니다. 초기하 커널을 분석적으로 특성화하고 가우시안 및 $n$-진크 대안들을 유도함으로써, 이 연구는 추상적 분산 표현 (SSP) 과 생물학적 타당성 (그리드 세포) 간의 간극을 메웁니다.

저자들은 이 연구가 고차원 최적화 및 인지 모델링과 관련된 작업에 대해 신경학적 타당성을 갖춘 표현이 어떻게 구성되는지에 대한 고려를 증대시키도록 동기 부여하는 것을 목표로 한다고 명시합니다. 본 논문은 그리드 세포와 유사한 표현이 방사형 기저 커널을 실현할 수 있을 뿐만 아니라, 이를 수행하는 데 최적이며, 물리적 및 지각적 현상을 단일 표현 공간으로 통합하는 통일된 프레임워크를 제공한다고 강조합니다.