On periodic distributed representations using Fourier embeddings

技術的概要：フーリエ埋め込みを用いた周期的分散表現に関する考察

問題定義
方位角、概日リズム、音楽的パターンなどの周期的信号は、物理的および知覚的現象の基礎をなす。しかし、これらの信号をスカラーの実数角度（ラジアンや度など）で表現すると、重大な課題が生じる。具体的には、スカラー表現は、絶対差が$\pi$を超えた場合に近接する角度を区別または処理することが困難であり、信号の周期の限界において急激な不連続性を引き起こす。例えば、$\epsilon$と$2\pi - \epsilon$の間の角度距離は物理的には小さいが、そのスカラー差は大きい（$|2\pi - 2\epsilon|$）。既存の分散埋め込みアプローチ、例えばランダムフーリエ特徴（RFFs）は、通常、無限の直線を高次元軌道に写像する連続的な特徴表現に焦点を当てており、これらの埋め込みの周期的バージョンおよびそれらが誘発するカーネルの特性評価と分析は未解明なままとなっている。

手法
著者らは、スカラー的不連続性を解決するために、高次元空間における実数値の周期的埋め込みの構築を提案する。中核的な表現は$\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$として定義され、ここで$\mathbf{x} \in \mathbb{R}^n$、$j$は虚数単位、$\mathbf{A} \in \mathbb{R}^{d \times n}$は共役対称な位相行列である。これらの埋め込みは、神経学的な実現可能性と構成的構造が選定理由として、空間的意味ポインタ（SSPs）として特定される。

埋め込みを特定の周期$t^\circ \in \mathbb{R}^+$で周期的にするためには、行列$\mathbf{A}$のすべての要素が、周期スケーリングされたフーリエ根（$2\pi n t^{\circ -1}$）の整数倍でなければならない。可能な要素の集合$\Omega$は、離散集合$S^\circ(t^\circ)$からサンプリングされる。

2点$\mathbf{x}$と$\mathbf{y}$の間の類似性は、それらの埋め込みのドット積を通じて測定され、シフト不変カーネル$K(\mathbf{x} - \mathbf{y})$を近似する。$\mathbf{A}$の列が独立同一分布（i.i.d.）であるため、$n$次元カーネルは個々の1次元カーネルの積となる：$K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$。個々のカーネル$k(x)$の形状は、$\mathbf{A}$の要素をサンプリングするために使用される確率質量関数（PMF）の逆フーリエ変換によって決定される。

本論文は、$\mathbf{A}$に対する異なるサンプリング分布に基づいて、2つの特定のカーネル形状を形式化する：

1. ディリクレカーネル：周波数帯域$B$内でフーリエ根の整数倍を一様にサンプリングすることによって生成される。結果として得られるカーネルは、正規化されたディリクレカーネル（反復する sinc 関数に相当）である。
2. 周期的ガウスカーネル：同じ周波数帯域内の整数に対して、中心化された疑似正規分布から要素をサンプリングすることによって生成される。結果として得られるカーネルは、テータ関数の比を近似し、周期的ガウス類似性カーネルをもたらす。

主な貢献

• 周期的 SSPs の形式化：この研究は、空間的意味ポインタを用いて高次元の周期的埋め込みを構築するための形式的枠組みを提供し、表現が実数値かつ循環的であることを保証する。
• カーネルの特性評価：著者らは、周期的埋め込みに対して誘発されるカーネルの具体的な数学的形式を導出した。彼らは、位相行列の一様サンプリングがディリクレカーネルの積を生み出し、正規分布に似たサンプリングが周期的ガウスカーネルの積を生み出すことを実証した。
• カーネル形状の制御：本論文は、位相行列$\mathbf{A}$のサンプリング分布を制御することで、異なるモデリングニーズに適したさまざまなカーネル形状（例えば、ディリクレ対ガウス）を構築できることを強調している。
• 次元性問題への対処：著者らは、ディリクレカーネルの積は高度に振動し、放射対称ではないため（等距離特徴空間には理想的でない）、一方、ガウスカーネルの積はより滑らかで非負の代替案を提供するが、依然として放射非対称であることを指摘している。

結果
本論文は、正規化された周期的ガウスカーネルとディリクレカーネルを比較する理論的導出と可視化（図 1）を提示する。可視化は以下のことを確認している：

• ディリクレカーネル（一様サンプリングから得られる）は、ゼロ付近で顕著な負のローブと高い振動を示し、等距離の特徴が同様に類似すべき連続的な多次元特徴空間の表現には最適でない可能性がある。
• 周期的ガウスカーネル（正規分布サンプリングから得られる）は、より滑らかで至る所非負であり、より安定した類似度尺度を提供するが、そのディリクレ対応物と同様に放射非対称性を保持している。

意義と主張
本論文は、スカラー角度表現に関連する不連続性を回避する、本質的に循環的な高次元表現を構築する方法を提供すると主張している。高次元特徴空間に対する反復カーネルを特性評価することで、この研究はドット積類似性の性質を制御するメカニズムを提供する。著者らは、これらの技術は、方向、方位、および刺激知覚（色など）に関与する認知モデルに応用され、人間のような振る舞いを示すモデルを構築するために意図されていると述べている。この研究は、神経学的に妥当な表現スキームの文脈において、ディリクレカーネルと周期的ガウスカーネルを形式化する基礎的なステップとして機能する。