On periodic distributed representations using Fourier embeddings

ملخص تقني: حول التمثيلات الموزعة الدورية باستخدام تضمينات فوريه

بيان المشكلة
تعد الإشارات الدورية، مثل زوايا التوجيه، والإيقاعات اليوماوية (circadian rhythms)، والأنماط الموسيقية، أساسية للظواهر الفيزيائية والإدراكية. ومع ذلك، فإن تمثيل هذه الإشارات باستخدام مقاييس زاوية قياسية حقيقية (مثل الراديان أو الدرجات) يفرض تحديات كبيرة. وتحديداً، تعاني التمثيلات القياسية من صعوبة في التمييز بين الزوايا المتقاربة أو معالجتها عندما يتجاوز الفرق المطلق بينهما $\pi$. على سبيل المثال، المسافة الزاوية بين $\epsilon$ و $2\pi - \epsilon$ صغيرة فيزيائياً، ومع ذلك فإن الفرق القياسي بينهما كبير ($|2\pi - 2\epsilon|$). تركز أساليب التضمين الموزعة الحالية، مثل ميزات فوريه العشوائية (RFFs)، عادةً على تمثيلات الميزات المستمرة التي تربط خطوط الأعداد اللانهائية بمسارات عالية الأبعاد، مما يترك توصيف وتحليل النسخ الدورية من هذه التضمينات ونواتجها (kernels) غير مستكشفة بشكل كافٍ.

المنهجية
يقترح المؤلفون بناء تضمينات دورية ذات قيم حقيقية في فضاء عالي الأبعاد لحل الانقطاعات القياسية. يتم تعريف التمثيل الجوهري كـ $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$، حيث $\mathbf{x} \in \mathbb{R}^n$، و $j$ هو الوحدة التخيلية، و $\mathbf{A} \in \mathbb{R}^{d \times n}$ هي مصفوفة طور متناظرة مرافقاً. تُعرف هذه التضمينات باسم المؤشرات الدلالية المكانية (SSPs)، والتي اختيرت لكونها قابلة للتطبيق عصبياً وذات بنية تركيبية.

لضمان أن تكون التضمينات دورية بدورة محددة $t^\circ \in \mathbb{R}^+$، يجب أن تكون جميع مدخلات المصفوفة $\mathbf{A}$ مضاعفات صحيحة لجذور فوريه الموزونة بالدورة ($2\pi n t^{\circ -1}$). ويتم أخذ مجموعة المدخلات الممكنة، $\Omega$، من مجموعة منفصلة $S^\circ(t^\circ)$.

يتم قياس التشابه بين نقطتين $\mathbf{x}$ و $\mathbf{y}$ عبر حاصل الضرب النقطي لتضميناتهما، والذي يقرب نواة (kernel) ثابتة الإزاحة $K(\mathbf{x} - \mathbf{y})$. وبما أن أعمدة $\mathbf{A}$ مستقلة ومتماثلة التوزيع (i.i.d.)، فإن النواة متعددة الأبعاد $n$ هي حاصل ضرب النوى أحادية البعد $k(x_i)$. ويتحدد شكل النواة الفردية $k(x)$ من خلال تحويل فوريه العكسي لدالة الكتلة الاحتمالية (PMF) المستخدمة لأخذ عينات من مدخلات $\mathbf{A}$.

تُصنف الورقة نوعين محددين من أشكال النواة بناءً على توزيعات أخذ العينات المختلفة لـ $\mathbf{A}$:

1. نواة ديريكليه (Dirichlet Kernel): ناتجة عن أخذ عينات منتظمة لمضاعفات صحيحة من جذور فوريه ضمن نطاق تردد $B$. وتنتج عن ذلك نواة ديريكليه معيرة (تعادل دالة sinc متكررة).
2. نواة غاوس الدورية (Periodic Gaussian Kernel): ناتجة عن أخذ عينات من توزيع شبه طبيعي (pseudo-normal) ممركز فوق الأعداد الصحيحة ضمن نفس نطاق التردد. وتنتج عن ذلك نواة تقرب من نسبة دالات ثيتا (theta functions)، مما يعطي نواة تشابه غاوس دورية.

المساهمات الرئيسية

• صياغة المؤشرات الدلالية المكانية الدورية (Periodic SSPs): يوفر العمل إطاراً رسمياً لبناء تضمينات دورية عالية الأبعاد باستخدام المؤشرات الدلالية المكانية، مما يضمن أن تكون التمثيلات ذات قيم حقيقية ودورية.
• توصيف النواة (Kernel Characterization): اشتق المؤلفون الأشكال الرياضية المحددة للنوى المستحثة للتضمينات الدورية. وأثبتوا أن أخذ العينات المنتظمة لمصفوفات الطور ينتج حاصل ضرب لنوى ديريكليه، بينما ينتج أخذ العينات الشبيهة بالتوزيع الطبيعي حاصل ضرب لنوى غاوس الدورية.
• التحكم في أشكال النواة: تسلط الورقة الضوء على أنه من خلال التحكم في توزيع أخذ العينات لمصفوفة الطور $\mathbf{A}$، يمكن بناء مجموعة متنوعة من أشكال النواة (مثل ديريكليه مقابل غاوس) لتناسب احتياجات النمذجة المختلفة.
• معالجة قضاية الأبعاد: يشير المؤلفون إلى أنه بينما تكون نواة "حاصل ضرب ديريكليه" شديدة التذبذب وغير متماثلة شعاعياً (مما يجعلها أقل مثالية لفضاءات الميزات متساوية المسافات)، فإن نواة "حاصل ضرب غاوس" توفر بديلاً أكثر سلاسة وغير سالب، رغم أنها تظل غير متماثلة شعاعياً.

النتائج
تقدم الورقة اشتقاقات نظرية وتصورات (الشكل 1) تقارن بين نواة غاوس الدورية ونواة ديريكليه المعيرة. وتؤكد التصورات أن:

• نواة ديريكليه (من أخذ العينات المنتظم) تظهر فصوصاً سالبة بارزة وتذبذباً عالياً بالقرب من الصفر، مما قد يكون غير مثالي لتمثيل فضاءات الميزات المستمرة متعددة الأبعاد حيث يجب أن تكون الميزات متساوية المسافة متشابهة بنفس القدر.
• نوامة غاوس الدورية (من أخذ العينات الطبيعي) أكثر سلاسة وغير سالبة في كل مكان، مما يوفر مقياس تشابه أكثر استقراراً، رغم أنها تحتفظ بعدم التماثل الشعاعي المماثل لنظيرتها ديريكليه.

الأهمية والادعاءات
تدعي الورقة أنها تقدم طريقة لبناء تمثيلات عالية الأبعاد دورية بطبيعتها، مما يتجنب الانقطاعات المرتبطة بالتمثيلات الزاوية القياسية. ومن خلال توصيف النوى المتكررة لفضاءات الميزات عالية الأبعاد، يوفر هذا العمل آلية للتحكم في طبيعة تشابه الضرب النقطي. ويذكر المؤلفون أن هذه التقنيات تهدف إلى التطبيق في النماذج المعرفية التي تتضمن الاتجاه، والتوجيه، وإدراك المحفزات (مثل اللون) لإنشاء نماذجة قادرة على إظهار سلوكيات شبيهة بالبشر. ويعتبر هذا العمل خطوة تأسيسية لصياغة نوى ديريكليه ونوى غاوس الدورية ضمن سياق مخططات التمثيل القابلة للتفسير عصبياً.