🧬 biology

On periodic distributed representations using Fourier embeddings

यह शोध पत्र आवधिक संकेतों (periodic signals) को दर्शाने में स्केलर कोणीय मापों (scalar angular measures) की सीमाओं को दूर करने के लिए उच्च-आयामी, वास्तविक-मान वाले आवधिक एम्बेडिंग (high-dimensional, real-valued periodic embeddings) का उपयोग करने का प्रस्ताव देता है, विशेष रूप से यह प्रदर्शित करता है कि स्थानिक सिमेंटिक पॉइंटर्स (Spatial Semantic Pointers) ढांचे के भीतर डिरिचलेट और आवधिक गाऊसी कर्नेल (Dirichlet and periodic Gaussian kernels) का निर्माण कैसे किया जाए।

मूल लेखक: Jakeb Chouinard

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jakeb Chouinard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को उन चीजों को समझना सिखाने की कोशिश कर रहे हैं जो वृत्ताकार (circles) में चलती हैं, जैसे कि घड़ी की सुइयां, किसी व्यक्ति के सामने देखने की दिशा, या किसी संगीत के सुर (pitch) की तीव्रता।

डिजिटल दुनिया में, कंप्यूटर आमतौर पर संख्याओं को एक सीधी रेखा के रूप में देखते हैं। यदि आप कंप्यूटर को बताते हैं कि "1 डिग्री" और "359 डिग्री" लगभग एक समान हैं, तो वह भ्रमित हो जाता है। कंप्यूटर के लिए, 1 और 359 एक संख्या रेखा पर बहुत दूर हैं, भले ही एक घड़ी के चेहरे पर वे एक-दूसरे के ठीक बगल में हों। यह डेटा में एक "तीक्ष्ण ढलान" (sharp cliff) जैसा बना देता है जहाँ चीजें, जिन्हें सहज होना चाहिए था, अचानक टूट जाती हैं।

यह शोध पत्र पीरियोडिक डिस्ट्रिब्यूटेड रिप्रेजेंटेशन (periodic distributed representations) का उपयोग करके इस समस्या को ठीक करने का एक चतुर तरीका प्रस्तावित करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: सीधी रेखा बनाम वृत्त

एक मानक कंप्यूटर संख्या रेखा को एक लंबी, सीधी सड़क के रूप में सोचें। यदि आप सड़क के अंत के पास (मान लीजिए मील 359) गाड़ी चला रहे हैं और आप मील 1 पर जाना चाहते हैं, तो आपको वापस शुरुआत तक पूरी सड़क तय करनी होगी। कंप्यूटर उनके बीच एक विशाल दूरी देखता है।

लेकिन वास्तविक दुनिया में, कई चीजें वृत्ताकार होती हैं। यदि आप अपना सिर उत्तर से थोड़ा सा उत्तर-उत्तर-पश्चिम (North-North-West) की ओर घुमाते हैं, तो वह एक मामूली बदलाव है। लेकिन यदि आप उत्तर को "0" और उत्तर-उत्तर-पश्चिम को "359" के रूप में दर्शाते हैं, तो कंप्यूटर सोचेगा कि आपने दुनिया का लगभग पूरा चक्कर लगा लिया है।

2. समाधान: संकेतों का "ऑर्केस्ट्रा" (The "Orchestra" of Signals)

एक कोण (angle) को दर्शाने के लिए एक एकल संख्या (जैसे "0" या "359") का उपयोग करने के बजाय, लेखक एक हाई-डायमेंशनल एम्बेडिंग (high-dimensional embedding) का सुझाव देते हैं।

कल्पना कीजिए कि आप किसी दिशा को वर्णित करने के लिए केवल एक संख्या का उपयोग नहीं करते हैं। इसके बजाय, आप 100 अलग-अलग गायकों के एक पूरे समूह (एक हाई-डायमेंशनल वेक्टर) का उपयोग करते हैं। प्रत्येक गायक एक विशिष्ट स्वर (लहर/wave) गुनगुनाता है जो बार-बार दोहराया जाता है।

जब आप "0 डिग्री" पर होते हैं, तो समूह एक विशिष्ट सामंजस्य (harmony) गाता है।
जब आप "359 डिग्री" पर होते हैं, तो समूह एक ऐसा सामंजस्य गाता है जो "0 डिग्री" वाले के लगभग समान होता है।
जब आप "180 डिग्री" (विपरीत दिशा) पर होते हैं, तो समूह एक पूरी तरह से अलग, बेसुरा (dissonant) सामंजस्य गाता है।

इन दोहराव वाली लहरों (विशेष रूप से, फूरियर एम्बेडिंग्स) के इस "गायन समूह" का उपयोग करके, कंप्यूटर तुरंत पहचान सकता है कि 0 और 359 पड़ोसी हैं क्योंकि उनका "गीत" बहुत समान सुनाई देता है। यहाँ कोई तीक्ष्ण ढलान नहीं है; परिवर्तन सहज है।

3. "गीतों" को ट्यून करना (The Kernels)

शोध पत्र बताता है कि आप अपने समूह के लिए स्वर चुनकर इन "गीतों" को बिल्कुल कैसे नियंत्रित कर सकते हैं। इसे कर्नेल शेप (kernel shape) चुनना कहा जाता है।

लेखक इसे ट्यून करने के दो मुख्य तरीके बताते हैं:

"डिरिचलेट" विधि (यूनिफॉर्म सैंपलिंग - The "Dirichlet" Method): कल्पना करें कि आप एक विशिष्ट सीमा से अपने समूह के लिए स्वर पूरी तरह से यादृच्छिक (random) रूप से चुन रहे हैं। यह एक ऐसा पैटर्न बनाता है जो एक दोहराव वाले "सिंक" (sinc) वेव (एक लहर जिसके बीच में एक बड़ा उभार और किनारों पर छोटी लहरें होती हैं) जैसा दिखता है। यह अच्छा काम करता है, लेकिन इसकी लहरें थोड़ी अव्यवस्थित और नकारात्मक हो सकती हैं, जो जटिल, बहु-आयामी दिशाओं की तुलना करते समय कंप्यूटर के लिए भ्रमित करने वाला हो सकता है।
"गौसियन" विधि (नॉर्मल सैंपलिंग - The "Gaussian" Method): कल्पना करें कि आप अपने समूह के स्वरों को बेल कर्व (bell curve) के आधार पर चुन रहे हैं, जहाँ बीच के स्वर सबसे अधिक बार चुने जाते हैं और चरम नोट (extreme notes) बहुत कम बार। यह एक पीरियोडिक गौसियन कर्नेल (Periodic Gaussian Kernel) बनाता है।
- उपमा: इसे एक नरम, धुंधली स्पॉटलाइट की तरह समझें। केंद्र उज्ज्वल है (उच्च समानता), और यह बिना किसी अव्यवठे या नकारात्मक लहरों के, सभी दिशाओं में सुचारू रूप से फीका पड़ता जाता है। यह जटिल स्थानों को दर्शाने के लिए पहले विधि की तुलना में अधिक "सुचारू" और विश्वसनीय है।

4. यह क्यों महत्वपूर्ण है

लेखक तर्क देते हैं कि इन विशिष्ट "गायन समूह" प्रस्तुतियों (जिन्हें वे स्पेशियल सिमेंटिक पॉइंटर्स कहते हैं) का उपयोग करके, हम पहले की तुलना में गोलाकार डेटा को बेहतर ढंग से संभालने वाले कंप्यूटर मॉडल बना सकते हैं।

वे विशेष रूप से उल्लेख करते हैं कि यह मॉडलों को निम्नलिखित को समझने में मदद कर सकता है:

दिशा और अभिविन्यास (Direction and Orientation): जैसे कि एक रोबोट को यह पता होना कि "ऊपर" या "सामने" क्या है, बिना 360-डिग्री के निशान पर भ्रमित हुए।
सर्केडियन रिदम (Circadian Rhythms): समय चक्र (दिन/रात) को समझना।
संगीत के पैटर्न (Musical Patterns): एक सप्तक (octave) के चारों ओर घूमने वाले सुरों को पहचानना।
उद्दीपन धारणा (Stimulus Perception): यहाँ तक कि रंग जैसी चीजें भी, जो अक्सर चक्रों में चलती हैं (लाल रंग फिर से लाल में बदल जाता है)।

सारांश

संक्षेप में, शोध पत्र कहता है: "वृत्तों को मापने के लिए सीधी रेखाओं का उपयोग करना बंद करें।" इसके बजाय, कोणों को दर्शाने के लिए दोहराव वाली लहरों (एक गायक समूह की तरह) के एक उच्च-आयामी सेट का उपयोग करें। इन लहरों को ट्यून करने के तरीके को सावधानीपूर्वक चुनकर, हम एक सुचारू, निरंतर मानचित्र बना सकते हैं जहाँ चक्र का प्रारंभ और अंत पूरी तरह से जुड़ जाता है, जिससे कंप्यूटर दुनिया के प्राकृतिक चक्रों को ठीक वैसे ही समझ पाता है जैसे हम समझते हैं।

तकनीकी सारांश: फूरियर एम्बेडिंग्स का उपयोग करके आवधिक वितरित निरूपणों पर

समस्या विवरण
आवधिक संकेत (periodic signals), जैसे कि ओरिएंटेशन कोण, सर्कैडियन रिदम और संगीतमय पैटर्न, भौतिक और संवेदी घटनाओं के लिए मौलिक हैं। हालाँकि, इन संकेतों को स्केलर, वास्तविक कोणीय मापों (जैसे रेडियन या डिग्री) का उपयोग करके निरूपित करने से महत्वपूर्ण चुनौतियाँ उत्पन्न होती हैं। विशेष रूप से, स्केलर निरूपण संकेत की सीमा पर तीक्ष्ण विच्छिन्नता (discontinuities) के कारण निकटवर्ती कोणों को अलग करने या संसाधित करने में संघर्ष करते हैं। उदाहरण के लिए, $\epsilon$ और $2\pi - \epsilon$ के बीच का कोणीय अंतर भौतिक रूप से छोटा है, फिर भी उनका स्केलर अंतर बड़ा ( $|2\pi - 2\epsilon|$ ) होता है। मौजूदा वितरित एम्बेडिंग दृष्टिकोण, जैसे कि रैंडम फूरियर फीचर्स (RFFs), आमतौर पर अनंत संख्या रेखाओं को उच्च-आयामी प्रक्षेपवक्रों (trajectories) में मैप करने वाले निरंतर फीचर निरूपणों पर ध्यान केंद्रित करते हैं, जिससे इनके आवधिक संस्करणों और उनके प्रेरित कर्नेल्स (kernels) के लक्षण वर्णन और विश्लेषण को कम खोजा गया है।

लेखक उच्च-आयामी स्थान में वास्तविक-मान वाले, आवधिक एम्बेडिंग्स का निर्माण करने का प्रस्ताव करते हैं ताकि स्केलर विच्छिन्नता को हल किया जा सके। मुख्य निरूपण $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$ के रूप में परिभाषित है, जहाँ $\mathbf{x} \in \mathbb{R}^n$ , $j$ काल्पनिक इकाई है, और $\mathbf{A} \in \mathbb{R}^{d \times n}$ एक संयुग्मी सममित चरण मैट्रिक्स (conjugate symmetric phase matrix) है। इन एम्बेडिंग्स को स्पेशियल सिमेंटिक पॉइंटर्स (SSPs) के रूप में पहचाना गया है, जिन्हें न्यूरल व्यवहार्यता और संरचनात्मक संयोजन के लिए चुना गया है।

यह सुनिश्चित करने के लिए कि एम्बेडिंग्स एक विशिष्ट आवर्त $t^\circ \in \mathbb{R}^+$ के साथ आवधिक हों, मैट्रिक्स $\mathbf{A}$ के सभी प्रविष्टियों को आवर्त-स्केल किए गए फूरियर रूट्स ( $2\pi n t^{\circ -1}$ ) के पूर्णांक गुणज होना चाहिए। संभावित प्रविष्टियों का सेट, $\Omega$ , $S^\circ(t^\circ)$ के एक असतत सेट से लिया गया है।

दो बिंदुओं $\mathbf{x}$ और $\mathbf{y}$ के बीच समानता को उनके एम्बेडिंग्स के डॉट उत्पाद के माध्यम से मापा जाता है, जो एक शिफ्ट-इनवेरिएंट कर्नेल $K(\mathbf{x} - \mathbf{y})$ का अनुमान लगाता है। चूंकि $\mathbf{A}$ के कॉलम स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं, इसलिए $n$ -आयामी कर्नेल व्यक्तिगत 1D कर्नेल्स का उत्पाद है: $K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$ । व्यक्तिगत कर्नेल $k(x)$ का आकार $\mathbf{A}$ की प्रविष्टियों को नमूना लेने के लिए उपयोग किए जाने वाले प्रोबेबिलिटी मास फंक्शन (PMF) के व्युत्क्रम फूरियर ट्रांसफॉर्म द्वारा निर्धारित होता है।

लेखक $\mathbf{A}$ के लिए विभिन्न सैंपलिंग डिस्ट्रीब्यूशन के आधार पर दो विशिष्ट कर्नेल आकृतियों को औपचारिक रूप देते हैं:

डिरिचलेट कर्नेल (Dirichlet Kernel): यह एक फ्रीक्वेंसी बैंड $B$ के भीतर फूरियर रूट्स के पूर्णांक गुणजों को समान रूप से नमूना लेकर उत्पन्न होता है। परिणामी कर्नेल एक सामान्यीकृत डिरिचलेट कर्नेल है (जो दोहराते हुए sinc फंक्शन के समान है)।
आवधिक गाऊसी कर्नेल (Periodic Gaussian Kernel): यह उसी फ्रीक्वेंसी बैंड के भीतर पूर्णांकों पर केंद्रित, छद्म-सामान्य (pseudo-normal) वितरण से प्रविष्टियों को नमूना लेकर उत्पन्न होता है। परिणामी कर्नेल थीटा फंक्शन्स के अनुपात के रूप में अनुमान लगाता है, जिससे एक आवधिक गाऊसी समानता कर्नेल प्राप्त होता है।

मुख्य योगदान

आवधिक SSPs का औपचारिकीकरण: यह कार्य स्पेशियल सिमेंटिक पॉइंटर्स का उपयोग करके उच्च-आयामी आवधिक एम्बेडिंग्स के निर्माण के लिए एक औपचारिक ढांचा प्रदान करता है, जो वास्तविक-मान वाले और चक्रीय (cyclic) होने की गारंटी देता है।
कर्नेल लक्षण वर्णन: लेखक आवधिक एम्बेडिंग्स के लिए विशिष्ट गणितीय रूपों को व्युत्पन्न करते हैं। वे प्रदर्शित करते हैं कि चरण मैट्रिक्स $\mathbf{A}$ के यूनिफॉर्म सैंपलिंग से डिरिचलेट कर्नेल्स का उत्पाद प्राप्त होता है, जबकि नॉर्मल-जैसे सैंपलिंग से आवधिक गाऊसी कर्नेल्स का उत्पाद प्राप्त होता है।
कर्नेल आकृतियों पर नियंत्रण: शोध पत्र इस बात पर प्रकाश डालता है कि चरण मैट्रिक्स $\mathbf{A}$ के सैंपलिंग डिस्ट्रीब्यूशन को नियंत्रित करके, विभिन्न कर्नेल आकृतियों (जैसे डिरिचलेट बनाम गाऊसी) का निर्माण किया जा सकता है ताकि विभिन्न मॉडलिंग आवश्यकताओं को पूरा किया जा सके।
आयामीता संबंधी मुद्दों का समाधान: लेखक नोट करते हैं कि जबकि प्रोडक्ट-ऑफ-डिरिचलेट्स कर्नेल अत्यधिक दोलनशील (oscillatory) है और रेडियली सममित नहीं है (जो इसे समदूरी फीचर स्पेस के लिए कम आदर्श बनाता है), प्रोडक्ट-ऑफ-गाउशियन्स कर्नेल एक स्मूथ, गैर-ऋणात्मक विकल्प प्रदान करता है, हालांकि यह अभी भी रेडियली असममित रहता है।

परिणाम
शोध पत्र सामान्यीकृत आवधिक गाऊसी और डिरिचलेट कर्नेल्स की तुलना करने वाले सैद्धांतिक व्युत्पन्न और विज़ुअलाइज़ेशन (चित्र 1) प्रस्तुत करता है। विज़ुअलाइज़ेशन पुष्टि करते हैं कि:

डिरिचलेट कर्नेल (यूनिफॉर्म सैंपलिंग से) स्पष्ट नकारात्मक लोब्स (negative lobes) और शून्य के पास उच्च दोलन प्रदर्शित करता है, जो निरंतर, बहु-आयामी फीचर स्पेस का प्रतिनिधित्व करने के लिए उप-इष्टतम हो सकता है जहाँ समदूरी फीचर्स समान रूप से समान होने चाहिए।
आवधिक गाऊसी कर्नेल (नॉर्मल सैंपलिंग से) अधिक स्मूथ और हर जगह गैर-ऋणात्मक है, जो एक स्थिर समानता माप प्रदान करता है, हालांकि यह अपने डिरिचलेट समकक्ष के समान रेडियल विषमता बनाए रखता है।

महत्व और दावे
शोध पत्र का दावा है कि यह स्वाभाविक रूप से चक्रीय उच्च-आयामी निरूपणों के निर्माण के लिए एक विधि प्रदान करता है, जिससे स्केलर कोणीय निरूपणों से जुड़ी विच्छिन्नता से बचा जा सकता है। उच्च-आयामी फीचर स्पेस के लिए दोहराते हुए कर्नेल्स का लक्षण वर्णन करके, यह कार्य डॉट-प्रोडक्ट समानता की प्रकृति को नियंत्रित करने के लिए एक तंत्र प्रदान करता है। लेखक कहते हैं कि इन तकनीकों का उपयोग दिशा, ओरिएंटेशन और उत्तेजना धारणा (जैसे रंग) से जुड़े संज्ञानात्मक मॉडलों (cognitive models) में मानव जैसे व्यवहार प्रदर्शित करने वाले मॉडल बनाने के लिए किया जाना है। यह कार्य डिरिचलेट और आवधिक गाऊसी कर्नेल्स को न्यूरल रूप से प्रशंसनीय निरूपण योजनाओं के संदर्भ में औपचारिक बनाने के लिए एक आधारभूत कदम के रूप में कार्य करता है।

1. समस्या: सीधी रेखा बनाम वृत्त

2. समाधान: संकेतों का "ऑर्केस्ट्रा" (The "Orchestra" of Signals)

3. "गीतों" को ट्यून करना (The Kernels)

4. यह क्यों महत्वपूर्ण है

सारांश

इसी तरह के और पेपर