Neurally-plausible radial basis kernels using distributed Fourier embeddings

तकनीकी सारांश: वितरित फूरियर एम्बेडिंग का उपयोग करके न्यूरल-प्लासिबल रेडियल बेस कर्नेल

समस्या विवरण
संज्ञानात्मक प्रणालियों (cognitive systems) को बहु-आयामी स्थानों के सुसंगत, निरंतर प्रतिनिधित्व की आवश्यकता होती है जहाँ समदूरस्थ बिंदु दिशा के बावजूद अपनी समदूरस्थता का बोध बनाए रखते हैं। पारंपरिक फूरियर-आधारित एम्बेडिंग, जैसे कि रैंडम फूरियर फीचर्स (RFFs) और मानक स्थानिक सिमेंटिक पॉइंटर्स (SSPs), आमतौर पर एकल-आयामी कर्नेल को साकार करते हैं। जब इन्हें उच्च-आयामी प्रतिनिधित्व बनाने के लिए संयोजित किया जाता है, तो परिणामी आंतरिक-गुणन (inner-product) समानता व्यक्तिगत कर्नेल का एक गुणनफल बन जाती है। फलस्वरूप, समदूरस्थ बिंदुओं के बीच समानता वेक्टर के परिमाण (magnitude) और दिशा दोनों पर निर्भर करती है, जो वास्तविक रेडियल समरूपता (radial symmetry) प्राप्त करने में विफल रहती है। जबकि हेक्सागोनल स्थानिक सिमेंटिक पॉइंटर्स (HexSSPs) में रेडियल बेस फंक्शन (RBF)-जैसे व्यवहार देखे गए हैं, उनके प्रेरित कर्नेल की सटीक विश्लेषणात्मक प्रकृति अब तक अनिश्चित रही है। इसके अलावा, यह स्पष्ट नहीं है कि ग्रिड सेल जैसी प्रस्तुतियों का उपयोग करने वाली वैकल्पिक सैंपलिंग विधियाँ किसी भी मनमाने रेडियल बेस कर्नेल को कैसे अनुमानित (approximate) कर सकती हैं।

कार्यप्रणाली
यह शोध पत्र बोचनर के प्रमेय (Bochner's theorem) का उपयोग करके फूरियर स्पेस में प्रायिकता वितरणों (probability distributions) और उनके संगत शिफ्ट-इनवेरिएंट कर्नेल के बीच एक गणितीय सेतु स्थापित करता है। मुख्य दृष्टिकोण फेज स्पेस पर एक प्रायिकता घनत्व फलन $p(\boldsymbol{\omega})$ के फूरियर ट्रांसफॉर्म के रूप में कर्नेल $K(\mathbf{x})$ को लक्षणित करना है।

एक रेडियल बेस कर्नेल (दिशा से स्वतंत्र आइसोट्रोपिक समानता) प्राप्त करने के लिए, लेखक एक फेज मैट्रिक्स $\mathbf{A}$ की पंक्तियों को एक संयुक्त प्रायिकता वितरण से सैंपल करने का प्रस्ताव देते हैं जो रोटेशन-इनवेरिएंट (आइसोट्रोपिक) हो। इसके लिए फेज वेक्टर्स के वितरण को स्वतंत्र परिमाण ($r = \|\boldsymbol{\omega}\|_2$) और दिशा ($\hat{\boldsymbol{\omega}}$) घटकों में विभाज्य होना चाहिए, जहाँ दिशात्मक घटक एक $n$-बॉल की सतह पर समान रूप से वितरित होता है।

शोध पत्र एक $n$-आयामी फीचर स्पेस में सामान्य इंटीग्रल रूप को व्युत्पन्न करता है:
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
जहाँ $J$ प्रथम प्रकार का बेसेल फलन (Bessel function of the first kind) है।

लेखक इस ढांचे को परिमाण $r$ के लिए तीन विशिष्ट सैंपलिंग वितरणों पर लागू करते हैं:

1. यूनिफॉर्म डिस्ट्रीब्यूशन ($r \sim U(0, \lambda)$): यह मानक HexSSP कार्यान्वयन के अनुरूप है जहाँ सिम्प्लेक्स स्केल्स को यूनिफॉर्मली सैंपल किया जाता है।
2. ची डिस्ट्रीब्यूशन ($r \sim \chi(n)$): यह एक आइसोट्रोपिक गौसियन वितरण से सैंपलिंग के अनुरूप है।
3. स्केल्ड बीटा डिस्ट्रीब्यूशन ($r \sim \beta_\lambda(n, 1)$): यह एक $n$-बॉल के भीतर यूनिफॉर्म सैंपलिंग के अनुरूप है।

मुख्य योगदान और परिणाम

1. HexSSP कर्नेल का विश्लेषणात्मक लक्षण वर्णन:
   शोध पत्र मानक HexSSPs (जहाँ परिमाण यूनिफॉर्मली वितरित होते हैं) द्वारा प्रेरित कर्नेल का पहला विश्लेषणात्मक व्युत्पन्न प्रदान करता है। परिणामी कर्नेल को एक इंटीग्रेटेड हाइपरजियोमेट्रिक कर्नेल (या सरल रूप से "हाइपरजियोमेट्रिक कर्नेल") के रूप में पहचाना गया है।

• कर्नेल को पोचमर सिंबल (Pochhammer symbol) वाले पावर सीरीज़ के रूप में व्यक्त किया गया है।
• विश्लेषण से पता चलता है कि जैसे-जैसे आयामन $n$ बढ़ता है, कर्नेल चौड़ा होता जाता है और दोलन (oscillations) कम होते जाते हैं, जिससे यह 1 के स्थिर मान के करीब पहुँच जाता है। यह दर्शाता है कि पर्याप्त उच्च फीचर आयामों के लिए, एम्बेडिंग स्पेस बिंदुओं के बीच अंतर करने की क्षमता खो देता है, जो कि गौसियन कर्नेल में मौजूद एक सीमा नहीं है।

2. वैकल्पिक कर्नेल का व्युत्पन्न:
   लेखक प्रदर्शित करते हैं कि HexSSP ढांचे के भीतर परिमाण सैंपलिंग वितरण को बदलकर, विभिन्न रेडियल बेस कर्नेल को साकार किया जा सकता है:

• गौसियन कर्नेल: ची डिस्ट्रीब्यूशन ($r \sim \chi(n)$) से परिमाण सैंपल करके, यह ढांचा एक मानक गौसियन कर्नेल $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$ को साकार करता है। हाइपरजियोमेट्रिक कर्नेल के विपरीत, यह रूप आयामन $n$ के परिवर्तनों के प्रति अपने आकार के संबंध में मजबूत है, बशर्ते कि $r$ का वितरण उचित रूप से स्केल हो।
• $n$-jinc कर्नेल: स्केल्ड बीटा डिस्ट्रीब्यूशन ($r \sim \beta_\lambda(n, 1)$) से परिमाण सैंपल करके, यह ढांचा एक घटते हुए बेसेल फलन कर्नेल को साकार करता है, जिसे "$n$-jinc कर्नेल" कहा जाता है। हाइपरजियोमेट्रिक कर्नेल की तरह, इसका आकार $n$ पर निर्भर करता है। $n=2$ होने पर यह jinc फलन ($x^{-1}J_0(x)$) की तरह व्यवहार करता है।

3. ग्रिड सेल-जैसी प्रस्तुतियों की इष्टतमता:
   शोध पत्र तर्क देता है कि HexSSPs की ज्यामितीय संरचना—जो केंद्रित सिम्प्लेक्स (केंद्रित ग्रिड सेल फायरिंग फील्ड्स के समान) से निर्मित है—रेडियल बेस फंक्शनों का अनुमान लगाने के लिए एक इष्टतम प्रिमिटिव (primitive) प्रदान करती है। सिम्प्लेक्स का आकार यह सुनिश्चित करता है कि सभी दिशाओं में सभी बिंदुओं का समान योगदान मिले और साथ ही $n$-आयामी फीचर स्पेस को कवर करने के लिए आवश्यक बिंदुओं की संख्या न्यूनतम हो। कई ग्रिड सेल ओरिएंटेशन और स्केल्स का संयोजन किसी भी सममित, केंद्रित प्रायिकता वितरण $p(r)$ का अनुमान लगाने, और इस प्रकार किसी भी रेडियल बेस कर्नेल को साकार करने में सक्षम बनाता है।

महत्व और दावे
शोध पत्र का दावा है कि ग्रिड सेल-जैसे फेज स्ट्रक्चर वाले न्यूरल-प्लासिबल प्रतिनिधित्व रेडियल बेस फंक्शन का अनुमान लगाने के लिए पर्याप्त ("ऑल यू नीड") हैं। हाइपरजियोमेट्रिक कर्नेल को विश्लेषणात्मक रूप से लक्षणित करके और गौसियन एवं $n$-jinc विकल्पों को व्युत्पन्न करके, यह कार्य अमूर्त वितरित प्रस्तुतियों (SSPs) और जैविक संभाव्यता (ग्रिड सेल्स) के बीच के अंतर को पाटता है।

लेखक का कहना है कि इस कार्य का उद्देश्य यह प्रेरित करना है कि उच्च-आयामी अनुकूलन (optimization) और संज्ञानात्मक मॉडलिंग के कार्यों में शामिल न्यूरल-प्लासिबल प्रस्तुतियों का निर्माण कैसे किया जाता है। शोध पत्र इस बात पर जोर देता है कि ग्रिड सेल-जैसे प्रतिनिधित्व न केवल रेडियल बेस कर्नेल को साकार करने में सक्षम हैं, बल्कि ऐसा करने के लिए इष्टतम भी हैं, जो भौतिक और प्रत्यक्ष घटनाओं (perceptual phenomena) को एक एकल प्रतिनिधि स्थान (representational space) में संश्लेषित करने के लिए एक एकीकृत ढांचा प्रदान करते हैं।