Neurally-plausible radial basis kernels using distributed Fourier embeddings

ملخص تقني: نوى الأساس الشعاعي (Radial Basis Kernels) ذات الصبغة العصبية باستخدام تضمينات فوريه الموزعة

بيان المشكلة
تتطلب الأنظمة المعرفية تمثيلات متماسكة ومستمرة للمساحات متعددة الأبعاد، حيث تحافظ النقاط المتساوية في المسافة على إحساسها بتساوي المسافات بغض النظر عن الاتجاه. عادةً ما تحقق تضمينات فوريه التقليدية، مثل ميزات فوريه العشوائية (RFFs) والمؤشرات الدلالية المكانية القياسية (SSPs)، نوى أحادية البعد. وعند دمج هذه النوى لتشكيل تمثيلات عالية الأبعاد، يصبح تشابه الضرب الداخلي (inner-product similarity) الناتج عبارة عن حاصل ضرب نوى فردية. ونتيجة لذلك، يعتمد التشابه بين النقاط المتساوية في المسافة على كل من مقدار واتجاه المتجه الذي يربط بينهما، مما يؤدي إلى الفشل في تحقيق التماثل الشعاعي الحقيقي. وبينما لوحظ أن المؤشرات الدلالية المكانية السداسية (HexSSPs) تُظهر سلوكاً يشبه دالة الأساس الشعاعي (RBF)، إلا أن الطبيعة التحليلية الدقيقة للنواة المستحثة منها ظلت غير مشخصة. علاوة على ذلك، ليس من الواضح كيف يمكن لطرق أخذ العينات البديلة باستخدام تمثيلات شبيهة بالخلايا الشبكية (grid cells) تقريب أي نوى أساس شعاعي.

المنهجية
يستخدم البحث نظرية بوخنر (Bochner's theorem) لإقامة جسر رياضي بين توزيعات الاحتمالات في فضاء فوريه والنوى المقابلة لها الثابتة بالإزاحة. ويتمثل النهج الجوهري في توصيف النواة $K(\mathbf{x})$ باعتبارها تحويل فوريه العكسي لدالة كثافة احتمالية $p(\boldsymbol{\omega})$ عبر فضاء الطور.

ولتحقيق نواة أساس شعاعي (تشابه متماثل المناحي مستقل عن الاتجاه)، يقترح المؤلفون أخذ عينات من صفوف مصفوفة الطور $\mathbf{A}$ من توزيع احتمالي مشترك يكون ثابتاً دورانياً (isotropic). وهذا يتطلب أن يكون توزيع متجهات الطور قابلاً للفصل إلى مكونات مقدار ($r = \|\boldsymbol{\omega}\|_2$) واتجاه ($\hat{\boldsymbol{\omega}}$) مستقلة، حيث يتوزع المكون الاتجاهي بانتظام فوق سطح كرة $n$-بعدية.

يشتق البحث صيغة تكاملية عامة لنواة التشابه في فضاء ميزات $n$-أبعادي:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
حيث $J$ هي دالة بيسل من النوع الأول.

ثم يطبق المؤلفون هذا الإطار على ثلاثة توزيعات أخذ عينات محددة للمقدار $r$:

1. التوزيع المنتظم ($r \sim U(0, \lambda)$): يقابل التنفيذ القياسي لـ HexSSP حيث يتم أخذ عينات من مقاييس السيمبلكس (simplex scales) بشكل منتظم.
2. توزيع تشي (Chi Distribution) ($r \sim \chi(n)$): يقابل أخذ العينات من توزيع غاوسي متماثل المناحي.
3. توزيع بيتا المقياس ($r \sim \beta_\lambda(n, 1)$): يقابل أخذ العينات بانتظام داخل كرة $n$-بعدية.

المساهمات والنتائج الرئيسية

1. التوصيف التحليلي لنوى HexSSP:
   يقدم البحث أول اشتقاق تحليلي للنواة المستحثة بواسطة HexSSPs القياسية (حيث تكون المقادير موزعة بانتظام). وقد تم تحديد النواة الناتجة على أنها نواة هيبرجيومترية متكاملة (integrated hypergeometric kernel) أو ببساة "النواة الهيبرجيومترية".

• تُعبر النواة عن سلسلة قوى تتضمن رمز بوشامر (Pochhammer symbol).
• يُظهر التحليل أنه مع زيادة الأبعاد $n$، تتسع النواة وتقل التذبذبات، لتقترب من القيمة الثابتة 1. وهذا يعني أنه بالنسبة لأبعاد الميزات العالية بما يكفي، يفقد فضاء التضمين القدرة على التمييز بين النقاط، وهو قصور لا يوجد في نوى غاوس.

2. اشتقاق نوى بديلة:
   يوضح المؤلفون أنه من خلال تغيير توزيع أخذ عينات المقدار ضمن إطار HexSSP، يمكن تحقيق نوى أساس شعاعي مختلفة:

• نواة غاوس (Gaussian Kernel): من خلال أخذ عينات من المقادير من توزيع تشي ($r \sim \chi(n)$)، يحقق الإطار نواة غاوس قياسية $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$. وبخلاف النواة الهيبرجيومترية، فإن هذا الشكل يكون قوياً تجاه التغيرات في البعد $n$ فيما يتعلق بشكله، بشرط أن يتم قياس توزيع $r$ بشكل مناسب.
• نواة $n$-jinc: من خلال أخذ عينات من المقادير من توزيع بيتا المقياس ($r \sim \beta_\lambda(n, 1)$)، يحقق الإطار نواة دالة بيسل متناقصة، تُسمى نواة "$n$-jinc". تسلك هذه النواة سلوك دالة jinc ($x^{-1}J_0(x)$) عندما تكون $n=2$. ومثل النواة الهيبرجيومترية، يعتمد شكلها على البعد $n$.

3. مثالية التمثيلات الشبيهة بالخلايا الشبكية:
   يجادل البحث بأن البنية الهندسية لـ HexSSPs —المبنية من سيمبلكسات مركزة (تشبه مجالات إطلاق الخلايا الشبكية)— توفر عنصراً أولياً مثالياً لتقريب دالات الأساس الشعاعي. يضمن شكل السيمبلكس المساهمة المتساوية لجميع النقاط في جميع الاتجاهات مع تقليل عدد النقاط المطلوبة لتغطية فضاء الميزات $n$-أبعادي. وتسمح مجموعة من اتجاهات ومقاييس الخلايا الشبكية بتقريب أي توزيع احتمالي متماثل ومركزي $p(r)$، وبالتالي أي نواة أساس شعاعي.

الأهمية والادعاءات
يدعي البحث أنه أثبت أن التمثيلات ذات الصبغة العصبية ذات البنى الطورية الشبيهة بالخلايا الشبكية كافية ("كل ما تحتاجه") لتقريب أي دالة أساس شعاعي. ومن خلال التوصيف التحليلي للنواة الهيبرجيومترية واشتقاق بدائل غاوس و $n$-jinc، يجسر هذا العمل الفجوة بين التمثيلات الموزعة المجردة (SSPs) والواقعية البيولوجية (الخلايا الشبكية).

يصرح المؤلفون أن هذا العمل يهدف إلى حث الاهتمام المتزايد بكيفية بناء التمثيلات ذات الصبغة العصبية للمهام التي تتضمن الأمثلة عالية الأبعاد والنمذجة المعرفية. ويؤكد البحث أن الخلايا الشبكية ليست قادرة فقط على تحقيق نوى الأساس الشعاعي، بل هي مثالية للقيام بذلك، مما يوفر إطاراً موحداً لتركيب الظواهر الفيزيائية والإدراكية في مساحة تمثيلية واحدة.