🤖 machine learning

Frequency Domain Reservoir Computing

यह शोधपत्र FRESCO को प्रस्तुत करता है, जो एक नवीन फ्रीक्वेंसी डोमेन रिज़र्वोइर कंप्यूटिंग आर्किटेक्चर है जो पारंपरिक इको स्टेट नेटवर्क्स की क्वाड्रेटिक स्केलिंग बाधा को दूर करते हुए, घने (dense), गैर-रेखीय आवर्ती अपडेट के लिए रैखिक $\mathcal{O}(N)$ जटिलता प्राप्त करता है और साथ ही अत्याधुनिक भविष्य कहनेवाला प्रदर्शन बनाए रखता है।

मूल लेखक: Klaus Schertler, Xiomara Runge, Andrea Ceni, David Kappel, Claudio Gallicchio

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Klaus Schertler, Xiomara Runge, Andrea Ceni, David Kappel, Claudio Gallicchio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं, जो डेटा के एक लंबे प्रवाह (stream) पर आधारित हो, जैसे मौसम के पैटर्न या शेयर बाजार की कीमतें। लंबे समय तक, इसके लिए सबसे अच्छे उपकरण "ट्रांसफॉर्मर" (Transformers) थे (जो आधुनिक AI चैटबॉट्स के पीछे का दिमाग हैं)। हालाँकि, ट्रांसफॉर्मर्स एक किताब को हर शब्द की तुलना किताब के हर दूसरे शब्द से करते हुए पढ़ने जैसा है; जैसे-जैसे किताब लंबी होती जाती है, प्रयास विस्फोटक रूप से बढ़ता जाता है, जिससे यह धीमा और ऊर्जा-खपत वाला हो जाता है।

यह पेपर इस तरह के काम को करने का एक बहुत तेज़ तरीका पेश करता है जिसे FRESCO (फ्रीक्वेंसी डोमेन रिज़र्वोयर कंप्यूटिंग) कहा जाता है। यह एक पुराने विचार "इको स्टेट नेटवर्क्स" (ESNs) का एक चतुर अपग्रेड है।

यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करके:

1. पुरानी समस्या: "भारी काम" की बाधा (The "Heavy Lifting" Bottleneck)

एक मानक इको स्टेट नेटवर्क को लोगों (न्यूरॉन्स) के एक विशाल कमरे के रूप में सोचें जो एक-दूसरे को नोट्स पास कर रहे हैं।

समस्या: यदि आपके पास 1,000 लोग हैं, तो हर एक व्यक्ति को हर दूसरे व्यक्ति से बात करनी होगी। वह 1,000 × 1,000 = 1 मिलियन बातचीत प्रति सेकंड है। जैसे-जैसे आप अधिक लोग जोड़ते हैं, बातचीत की संख्या विस्फोटक रूप से बढ़ती है। यह कंप्यूटर के लिए इसे तेज़ी से संभालना बहुत भारी बना देता है।
फ्रीक्वेंसी का विचार: लेखकों ने महसूस किया कि यदि आप इस "बातचीत" को व्यक्तिगत शब्दों के बजाय, एक "ध्वनि तरंग" (frequency) के रूप में देखते हैं, तो गणित बदल जाता है। ध्वनि तरंगों की दुनिया में, दो जटिल संकेतों को मिलाना केवल कुछ वॉल्यूम नॉब (संख्याओं को गुणा करना) घुमाने जितना आसान है, बजाय इसके कि हर किसी को एक-दूसरे से बात करनी पड़े।

2. FRESCO समाधान: कमरे के लेआउट को बदलना

FRESCO इस पूरी "बातचीत" को इस फ्रीक्वेंसी की दुनिया में ले जाता है। लेकिन एक पेच था: आमतौर पर, फ्रीक्वेंसी की दुनिया में जाने के लिए, आपको डेटा को अंदर और बाहर अनुवादित (translate) करना पड़ता है, जिसमें समय लगता है। FRESCO ने उबाऊ हिस्सों को छोड़ने के लिए तीन चतुर तरकीबें बनाईं:

तरकीब A: "डायमेंशनल ज़ीरो-पैडिंग" (एक स्मार्ट फाइलिंग सिस्टम)

पुराना तरीका: कल्पना करें कि आपके पास एक छोटा पत्र (इनपुट) है और आप इसे एक विशाल पुस्तकालय (रिज़र्वोयर) में फाइल करना चाहते हैं। आमतौर पर, आपको उस पत्र को एक बहुत बड़े खाली पन्ने पर कॉपी करना होगा, बाकी हिस्से को शून्य (zeros) से भरना होगा, और फिर पूरे पन्ने को स्कैन करना होगा। यह धीमा है।
FRESCO का तरीका: पत्र को बड़ा बनाने के बजाय, वे पत्र को 2D ग्रिड में मोड़ देते हैं। वे एक नए आयाम (dimension) में शून्य जोड़ते हैं (जैसे स्प्रेडशीट में एक नई पंक्ति जोड़ना) न कि मौजूदा एक को खींचकर बड़ा करना।
परिणाम: वे बिना किसी विशाल खाली पन्ने को बनाए सीधे छोटे पत्र को स्कैन कर सकते हैं। यह ऐसा है जैसे यह महसूस करना कि एक किताब खोजने के लिए आपको पूरी लाइब्रेरी की फोटोकॉपी करने की ज़रूरत नहीं है; आप बस उस विशिष्ट शेल्फ को देखते हैं जहाँ वह किताब है।

तरकीब B: "पैक्ड रीडआउट" (एक कुशल संदेशवाहक)

पुराना तरीका: फ्रीक्वेंसी गणित पूरा होने के बाद, उत्तर प्राप्त करने के लिए आपको आमतौर पर परिणाम को वापस "सामान्य" भाषा (स्पेशियल डोमेन) में अनुवादित करना पड़ता है। यह अनुवाद धीमा और बर्बादी भरा है।
FRESCO का तरीका: उन्होंने महसूस किया कि क्योंकि गणित एक विशिष्ट तरीके से किया गया है, इसलिए "फ्रीक्वेंसी" परिणाम में ही उत्तर एक संक्षिप्त, वास्तविक दुनिया के प्रारूप में पहले से मौजूद है। वे बस फ्रीक्वेंसी डेटा के उपयोगी हिस्सों को एक व्यवस्थित, वास्तविक-मूल्य वाली सूची में "पैक" कर देते हैं।
परिणाम: वे अनुवाद चरण को पूरी तरह से छोड़ देते हैं। यह एक डिलीवरी प्राप्त करने जैसा है जो पहले से ही अंतिम बॉक्स में पैक होकर आती है, ताकि आपको उसे फिर से पैक न करना पड़े।

तरकीब C: "सर्कुलर मिक्सिंग" (राउंड-रॉबिन चैट)

सिस्टम को जटिल, गैर-रेखीय (non-linear) कार्यों (जैसे अराजक मौसम) को संभालने के लिए पर्याप्त स्मार्ट बनाने के लिए, उन्होंने एक छोटा सा, चतुर मोड़ जोड़ा: वे फ्रीक्वेंसी "नोट्स" को प्रोसेसिंग से पहले अपने पड़ोसी के पास एक घेरे (circle) में गुजरने देते हैं। यह जानकारी को इतना मिला देता है कि यह शक्तिशाली बन जाए, बिना काम को धीमा किए।

3. परिणाम: तेज़, सस्ता और सटीक

पेपर ने मैकी-ग्लास समीकरण (Mackey-Glass equation) जैसे अराजक टाइम सीरीज़, जेस्चर या ऑडियो को पहचानने जैसे कार्यों के लिए मानक इको स्टेट नेटवर्क्स और यहाँ तक कि आधुनिक डीप लर्निंग मॉडल (जैसे ट्रांसफॉर्मर और मम्बा) के खिलाफ FRESCO का परीक्षण किया।

उन्होंने क्या पाया:

गति: FRESCO नाटकीय रूप से तेज़ है। कुछ परीक्षणों में, यह मानक नेटवर्क की तुलना में 26 गुना तेज़ था।
ऊर्जा: क्योंकि यह कम गणित करता है, यह भारी डीप लर्निंग मॉडल की तुलना में 1,000 गुना कम ऊर्जा (kWh) का उपयोग करता है।
सटीकता: इतनी सरल और तेज़ होने के बावजूद, यह बहुत अधिक जटिल, भारी मॉडलों की सटीकता के बराबर या उनसे बेहतर प्रदर्शन करता है।

मुख्य निष्कर्ष (The Bottom Line)

लेखक दिखाते हैं कि न्यूरल नेटवर्क की "सोचने" की प्रक्रिया को फ्रीक्वेंसी डोमेन में ले जाकर और धीमे अनुवादों से बचने के लिए कुछ चतुर गणितीय तरकीबों का उपयोग करके, आप एक ऐसा सिस्टम बना सकते हैं जो बिजली की तरह तेज़, अविश्वसनीय रूप से ऊर्जा-कुशल और भारी मॉडलों की तरह ही स्मार्ट है। यह भाप के इंजन से हाई-स्पीड इलेक्ट्रिक ट्रेन में अपग्रेड करने जैसा है: मंजिल वही है, लेकिन आप बहुत कम ईंधन और समय में वहां पहुँच जाते हैं।

तकनीकी सारांश: फ्रीक्वेंसी डोमेन रिसर्वायर कंप्यूटिंग (FRESCO)

समस्या विवरण

अनुक्रम मॉडलिंग (Sequence modeling) वर्तमान में ट्रांसफॉर्मर आर्किटेक्चर द्वारा संचालित है, जो अनुक्रम लंबाई $L$ के सापेक्ष एक द्विघातीय (quadratic) कम्प्यूटेशनल बाधा ( $O(L^2)$ ) से ग्रस्त है। इसने पुनरावर्ती मॉडलों (recurrent models) के प्रति फिर से रुचि जगाई है जो प्रति-चरण सीमित लागत प्रदान करते हैं। हालाँकि, पारंपरिक सघन पुनरावर्ती मॉडल, विशेष रूप से इको स्टेट नेटवर्क्स (ESNs), एक अलग स्केलेबिलिटी समस्या का सामना करते हैं: सघन मैट्रिक्स-वेक्टर गुणन के कारण उनका प्रति-चरण कम्प्यूटेशनल खर्च जलाशय आकार $N$ के साथ द्विघातीय ( $O(N^2)$ ) रूप से बढ़ता है। जबकि ESNs रिज़ विधि (ridge regression) के माध्यम से कुशल, क्लोज्ड-फॉर्म प्रशिक्षण प्रदान करते हैं (जो बैकप्रोपैगेशन थ्रू टाइम को दरकिनार करता है), $O(N^2)$ अपडेट बाधा उन्हें जटिल, आधुनिक अनुक्रम मॉडलिंग कार्यों के लिए आवश्यक जलाशय आकारों तक स्केल करने से रोकती है।

ESNs को फ्रीक्वेंसी डोमेन (फास्ट फूरियर ट्रांसफॉर्म, FFT के माध्यम से) का उपयोग करके त्वरित करने के मौजूदा प्रयास डोमेन-शिफ्ट ओवरहेड्स (domain-shift overheads) द्वारा सीमित रहे हैं। एक साधारण फ्रीक्वेंसी-डोमेन ESN को इनपुट को बदलने के लिए $O(N \log N)$ FFT और प्रत्येक रीडआउट के लिए एक इनवर्स FFT की आवश्यकता होती है। उन स्थितियों में जहाँ जलाशय का आकार $N$ , इनपुट आकार $N_x$ की तुलना में काफी बड़ा होता है, ये रूपांतरण कम्प्यूटेशनल लागत पर हावी हो जाते हैं, जिससे संभावित दक्षता लाभ समाप्त हो जाता है।

कार्यप्रणाली: FRESCO

लेखक फ्रीक्वेंसी डोमेन रिसर्वायर कंप्यूटिंग (FRESCO) पेश करते हैं, जो एक ESN आर्किटेक्चर है जिसे मूल रूप से फ्रीक्वेंसी डोमेन में संचालित होने के लिए डिज़ाइन किया गया है और जो मानक डोमेन ट्रांज़िशन से जुड़े ओवरहेड्स को व्यवस्थित रूप से समाप्त करता है। FRESCO तीन मुख्य नवाचारों के माध्यम से सघन, गैर-रेखीय पुनरावर्ती अपडेट के लिए स्ट्रिक्टली लीनियर $O(N)$ जटिलता प्राप्त करता है:

1. डायमेंशनल ज़ीरो-पैडिंग इनपुट एम्बेडिंग

मानक फ्रीक्वेंसी-डोमेन दृष्टिकोण में $N$ -पॉइंट FFT लागू करने से पहले 1D इनपुट वेक्टर $x_t \in \mathbb{R}^{N_x}$ को पूर्ण जलाशय आकार $N$ तक पैड करना आवश्यक होता है, जिससे $O(N \log N)$ लागत आती है। FRESCO 1D सर्कुलर कन्वल्यूशन फॉर्मूलेशन को 2D कन्वल्यूशन फॉर्मूलेशन में सामान्यीकृत करता है।

तंत्र: मौजूदा अक्ष के साथ पैडिंग करने के बजाय, इनपुट को एक नए दूसरे आयाम के साथ ज़ीरो अपेंड करके एक 2D मैट्रिक्स में एम्बेड किया जाता है।
परिणाम: इस पैडेड मैट्रिक्स का 2D डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) केवल मूल इनपुट के $N_x$ -पॉइंट DFT का उपयोग करके ही निकाला जा सकता है। यह एम्बेडिंग जटिलता को $O(N \log N)$ से घटाकर $O(N_x \log N_x)$ कर देता है, जिससे इनपुट ट्रांसफॉर्मेशन बाधा प्रभावी रूप से दूर हो जाती है।

2. नेटिव फ्रीक्वेंसी-डोमेन रिकरेंस

FRESCO पुनरावर्ती वेट मैट्रिसेस को सर्कुलेंट (circulant) होने के लिए बाध्य करता है। सर्कुलर कन्वल्यूशन प्रमेय के अनुसार, स्थानिक डोमेन (spatial domain) में सघन मैट्रिक्स-वेक्टर उत्पाद फ्रीक्वेंसी डोमेन में एलिमेंट-वाइज हैडमार्ड प्रोडक्ट (Hadamard product) में बदल जाता है।

अपडेट नियम: स्टेट अपडेट $\hat{R}_t = (1-\tau)\hat{R}_{t-1} + \tau \hat{\Phi}(\hat{W}_x \odot \hat{X}_t + \hat{W}_r \odot \hat{R}_{t-1} + \hat{B})$ बन जाता है, जहाँ $\odot$ एलिमेंट-वाइज मल्टीप्लिकेशन को दर्शाता है।
जटिलता: यह पुनरावर्ती अपडेट लागत को $O(N^2)$ से घटाकर $O(N)$ कर देता है।
स्थिरता नियंत्रण (Stability Control): स्थानिक पुनरावर्ती मैट्रिक्स का स्पेक्ट्रल रेडियस सीधे फ्रीक्वेंसी-डोमेन वेट मैट्रिक्स $\hat{W}_r$ के तत्वों के अधिकतम परिमाण (magnitude) के अनुरूप होता है। यह बिना किसी अतिरिक्त लागत के आइजनवैल्यू स्पेक्ट्रम को स्पष्ट रूप से आकार देने (जैसे, आइजनवैल्यूज को एक विशिष्ट रिंग तक सीमित करना) की अनुमति देता है, जिससे मानक ESNs में आवश्यक महंगी $O(N^3)$ आइजनडीकंपोजिशन से बचा जा सकता है।

3. पैक्ड फ्रीक्वेंसी-डोमेन रीडआउट

रीडआउट के दौरान इनवर्स FFT बाधा से बचने के लिए, FRESCO एक पैक्ड फ्रीक्वेंसी-डोमेन रीडआउट पेश करता है।

तंत्र: कॉम्प्लेक्स फ्रीक्वेंसी-डोमेन रिसर्वायर स्टेट $\hat{R}_t$ में हर्मिटियन सिमेट्री (Hermitian symmetries - रेडंडेंट जानकारी) होती है। FRESCO एक "पैकिंग" ऑपरेटर $P\{\cdot\}$ का उपयोग करता है जो गैर-रेडंडेंट डिग्री ऑफ फ्रीडम को एक निरंतर, रियल-वैल्यूड वेक्टर $p_t$ में निकालता है।
दक्षता: यह पैकिंग एक कस्टम एक्सिस-रीऑर्डर्ड 2D RFFT फॉर्मेट का उपयोग करती है जो अद्वितीय फ्रीक्वेंसी कंपोनेंट्स को एक सिंगल मेमोरी ब्लॉक में समेकित करती है, जिससे ज़ीरो-ओवरहेड पॉइंटर रीइंटरप्रिटेशन संभव होता है।
तुल्यता (Equivalence): लेखक सिद्ध करते हैं कि इस पैक्ड रिप्रेजेंटेशन पर रिज रिग्रेशन (ridge regression) करना गणितीय रूप से स्थानिक-डोमेन स्टेट्स पर प्रशिक्षण के समान है (रेगुलराइजेशन द्वारा अवशोषित स्केलिंग फैक्टर तक), जिससे प्रशिक्षण और अनुमान दोनों के दौरान इनवर्स FFT की आवश्यकता पूरी तरह समाप्त हो जाती है।

दो वेरिएंट प्रस्तावित हैं:

FRESCO (plain): एक कॉम्प्लेक्स नॉन-लिनियैरिटी ($invabs$) को एलिमेंट-वाइज लागू करता है।
FRESCO (mix): फ्रीक्वेंसी को เพิ่ม करने वाली एक्सप्रेसिविटी (expressivity) के लिए नॉन-लिनियैरिटी से पहले फ्रीक्वेंसी कोएफिशिएंट्स के एक नियत साइक्लिक शिफ्ट (मिक्सिंग) को पेश करता है, जिससे क्रॉस-फ्रीक्वेंसी कपलिंग सक्षम होती है।

मुख्य योगदान

FRESCO आर्किटेक्चर: एक सघन, नॉन-लीनियर ESN आर्किटेक्चर जो मूल रूप से फ्रीक्वेंसी डोमेन में $O(N)$ जटिलता के साथ निष्पादित होता है।
डायमेंशनल ज़ीरो-पैडिंग: एक नवीन इनपुट एम्बेडिंग रणनीति जो मानक ट्रांसफॉर्म बाधाओं के बिना लो-डायमेंशनल इनपुट्स को फ्रीक्वेंसी डोमेन में मैप करती है।
पैक्ड रीडआउट: एक रेडंडेंसी-मुक्त, मेमोरी-कंटीगुअस, FFT-मुक्त स्टेट रीडआउट जो स्थानिक-डोमेन प्रशिक्षण के रूप में प्रमाणित रूप से समकक्ष है।
उच्च दक्षता: कम कम्प्यूटेशनल और ऊर्जा पदचिह्न (footprint) बनाए रखते हुए प्रतिस्पर्धी प्रेडिक्टिव प्रदर्शन के साथ नाटकीय रूप से कम लागत का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने तीन अक्षों पर FRESCO का मूल्यांकन किया:

क्लासिकल RC रिग्रेशन बेंचमार्क (NARMA10, Mackey-Glass):
- FRESCO (mix) ने Mackey-Glass पर सबसे कम त्रुटि प्राप्त की और NARMA10 पर मानक ESNs के बराबर प्रदर्शन किया।
- FRESCO वेरिएंट्स ने बेहतर स्केलिंग प्रदर्शित की, जो बड़े रिसर्वोयर्स के लिए मानक ESNs की तुलना में दो गुना (two orders of magnitude) तेज़ चलते हैं।
टाइम-सीरीज क्लासिफिकेशन (UCR Archive):
- FRESCO ने दस डेटासेट्स पर मानक ESNs के मुकाबले प्रतिस्पर्धी सटीकता हासिल की।
- इन्फरेंस स्पीडअप डेटासेट के आधार पर $2.3\times$ से लेकर $26\times$ तक रहा।
- सांख्यिकीय विश्लेषण (क्रिटिकल डिफरेंस डायग्राम) ने पुष्टि की कि गति में लाभ प्रेडिक्टिव सटीकता की कीमत पर नहीं आया।
लॉन्ग-होरिज़न मल्टीवेरिएट फोरकास्टिंग (ETT, Solar, Weather):
- FESSCO की तुलना डीप सीक्वेंस बेसलाइन्स (LSTM, Mamba, Transformer) से की गई।
- FRESCO ने सभी डेटासेट्स और प्रेडिक्शन होराइजन्स में इन डीप मॉडल्स की सटीकता के बराबर या उससे अधिक प्रदर्शन किया।
- ऊर्जा दक्षता: FRESCO ने डीप बेसलाइन्स की तुलना में (kWh में मापा गया) तीन गुना (three orders of magnitude) कम ऊर्जा का उपभोग किया, जबकि समान सटीकता बनाए रखी।

महत्व और दावे

पेपर का दावा है कि FRESCO यह प्रदर्शित करता है कि कम्प्यूटेशनल बाधाओं को फ्रीक्वेंसी डोमेन में शिफ्ट करके सघन पुनरावर्ती परतों (dense recurrent layers) को सुरुचिपूर्ण ढंग से बायपास किया जा सकता है। लेखक तर्क देते हैं कि:

सर्कुलेंट कनेक्टिविटी का स्ट्रक्चरल प्रायर (structural prior) व्यवस्थित रूप से एक्सप्रेसिविटी से समझौता नहीं करता है, जैसा कि जटिल बेंचमार्क पर प्रतिस्पर्धी परिणामों से सिद्ध होता है।
FRESCO सघन पुनरावर्ती आर्किटेक्चर के लिए एक स्केलेबल पथ प्रदान करता है, जो आधुनिक स्टेट स्पेस मॉडल्स (SSMs) की उप-द्विघातीय (sub-quadratic) स्केलिंग प्राप्त करता है, जबकि पारंपरिक ESNs के अल्ट्रा-फास्ट, क्लोज्ड-फॉर्म ट्रेनिंग को भी बरकरार रखता है।
फ्रीक्वेंसी डोमेन की गणितीय सुंदरता एक शक्तिशाली, अत्यधिक टिकाऊ विकल्प प्रदान करती है, जो विशेष रूप से लॉन्ग-होरिज़न फोरकास्टिंग जैसे कार्यों के लिए महत्वपूर्ण है जहाँ ऊर्जा दक्षता अत्यंत आवश्यक है।

लेखक अपनी सीमाओं के प्रति भी विनम्र हैं, यह नोट करते हुए कि FESSCO फिक्स्ड, रैंडमली इनिशियलाइज्ड वेट्स पर निर्भर करता है (जो एंड-टू-एंड ट्रेंड डीप मॉडल्स की तुलना में कुछ पूर्ण प्रदर्शन को त्याग देता है) और अल्ट्रा-लॉन्ग कॉन्टेक्स्ट विंडोज़ पर फ्रीक्वेंसी-डोमेन रिकरेंस की स्थिरता के लिए आगे के अनुभवजन्य सत्यापन की आवश्यकता है।