TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity

टाइम सीरीज़ फोरकास्टिंग (समय श्रृंखला पूर्वानुमान) उस डेटा स्ट्रीम में आगे क्या होने वाला है, इसका अनुमान लगाने की एक कला है जो समय के साथ बदलती रहती है। यह पावर ग्रिड, फैक्ट्री फ्लोर और वेदर स्टेशनों में निर्णयों के पीछे का इंजन है, जहाँ सिग्नल के भविष्य के मान को जानने से सिस्टम को तैयारी करने, समायोजन करने या चेतावनी देने में मदद मिलती है। दशकों तक, मानक दृष्टिकोण के लिए प्रत्येक एकल सिग्नल के लिए एक अद्वितीय मॉडल की आवश्यकता होती थी, जिसे विशेष रूप से उस एक संख्यात्मक धारा पर प्रशिक्षित किया जाता था। यह काम तो करता था, लेकिन यह भारी और धीमा था, क्योंकि हर नए सेंसर के लिए एक नए प्रशिक्षण चक्र की मांग करता था। हाल ही में, "फाउंडेशन मॉडल्स" की एक नई पीढ़ी उभरी है, जो विभिन्न सिग्नलों के एक विशाल पुस्तकालय से सीखने में सक्षम है और बिना किसी अतिरिक्त प्रशिक्षण के अनदेखे सिग्नलों की भविष्यवाणी कर सकती है। ये मॉडल शक्तिशाली हैं, लेकिन वे बहुत विशाल भी हैं, जिनमें अक्सर लाखों पैरामीटर्स—वे आंतरिक सेटिंग्स जो मॉडल के सोचने के तरीके को परिभाषित करती हैं—होते हैं। यह आकार उन्हें उन छोटे, कम शक्ति वाले चिप्स पर चलाना असंभव बना देता है जो रोजमर्रा के उपकरणों के भीतर पाए जाते हैं, जहाँ इंजीनियरों को एक ऐसे पूर्वानुमान की आवश्यकता होती है जो सटीक भी हो और इतने छोटे मेमोरी स्पेस में फिट होने के लिए पर्याप्त हल्का भी हो।

RAWS लैब्स के एक शोधकर्ता ने 'टाइनीकास्ट' (TinyCast) नामक एक नया मॉडल पेश किया है, जिसे इस विशिष्ट समस्या को हल करने के लिए डिज़ाइन किया गया है। उन्होंने एक सरल प्रश्न पूछा: यदि एक संभाव्य पूर्वानुमानकर्ता (probabilistic forecaster) को पैटर्न सीखने के बजाय गणित का उपयोग करके उन्हें खोजने की अनुमति दी जाए, तो वह कितना छोटा हो सकता है? उन्हें जो उत्तर मिला वह एक ऐसा मॉडल है जिसमें केवल 146,505 पैरामीटर्स हैं, एक ऐसा आकार जो प्रमुख बेंचमार्क पर रिकॉर्ड किया गया अब तक का सबसे छोटा ज़ीरो-शॉट फोरकास्टर है। अपने बड़े समकक्षों के विपरीत, जो अरबों गणनाओं के माध्यम से मौसम और चक्रों की लय को याद रखने की कोशिश करते हैं, टाइनीकास्ट सीधे देखे गए डेटा से प्रमुख लय की गणना करता है। फिर यह डेटा को उस लय के इर्द-गिर्द मोड़ देता है, जिससे मॉडल को अपनी सूक्ष्म शिक्षण शक्ति को पैटर्न के शेष भाग पर केंद्रित करने की अनुमति मिलती है। परिणाम एक ऐसी प्रणाली है जो पूरी तरह से एक एकल माइक्रोकंट्रोलर चिप पर चल सकती है, जो केवल एक अनुमान के बजाय भविष्य के संभावित परिणामों की एक पूरी श्रृंखला उत्पन्न करती है, और वह भी बिना किसी नए सिग्नल के लिए पुन: प्रशिक्षित हुए।

टाइनीकास्ट के पीछे का मूल विचार यह है कि बहुत छोटे आकार पर, एक न्यूरल नेटवर्क को इसे खोजने के लिए सिखाने के बजाय सिग्नल की आवधिकता (periodicity) को मापना अधिक कुशल है। आवधिकता केवल डेटा में दोहराव वाला चक्र है, जैसे बिजली के उपयोग का दैनिक उतार-चढ़ाव या ट्रैफ़िक का साप्ताहिक पैटर्न। बड़े मॉडलों में, कंप्यूटर को इन चक्रों को हजारों उदाहरण दिखाकर सीखना होता है। हालाँकि, टाइनीकास्ट एक ज़ीरो-पैरामीटर स्पेक्ट्रल डिटेक्टर का उपयोग करता है, जो एक गणितीय उपकरण है जो डेटा स्ट्रीम का विश्लेषण करके इसके सबसे मजबूत दोहराव वाली आवृत्तियों को तुरंत खोज लेता है। इस टूल को स्टोर करने के लिए कोई मेमोरी की आवश्यकता नहीं होती और न ही सीखने के लिए कोई प्रशिक्षण; यह बस लय की गणना करता है। एक बार जब मॉडल को अवधि का पता चल जाता है, तो यह डेटा के संदर्भ को उस लय पर मोड़ देता है, डेटा बिंदुओं को एक चक्र के रूप में एक के ऊपर एक व्यवस्थित करता है। यह प्रक्रिया प्रभावी रूप से मॉडल को समस्या का सबसे महत्वपूर्ण ढांचा मुफ्त में प्रदान करती है, जिससे इसके सीमित सीखने योग्य पैरामीटर्स को सिग्नल के अधिक जटिल और अनियमित हिस्सों को संभालने के लिए छोड़ दिया जाता है जिन्हें गणित अनुमानित नहीं कर सकता।

मॉडल की वास्तुकला (architecture) पूरी तरह से उन ऑपरेशन्स से बनी है जो एम्बेडेड हार्डवेयर की सीमाओं के अनुकूल हैं। यह बड़े मॉडलों द्वारा उपयोग किए जाने वाले जटिल अटेंशन मैकेनिज्म से बचता है, जिन्हें छोटे चिप्स पर चलाना कठिन होता है। इसके बजाय, यह 'डाइलेटेड कन्वोल्यूशन' (dilated convolutions) की एक श्रृंखला का उपयोग करता है, जो एक प्रकार का फिल्टर है जो लंबी दूरी के पैटर्न को पकड़ने के लिए बढ़ती दूरियों पर डेटा को देखता है, जिससे बहुत अधिक मेमोरी की आवश्यकता नहीं पड़ती। मॉडल डेटा को ब्लॉक्स में प्रोसेस करता है, अगले 48 स्टेप्स के लिए नौ अलग-अलग संभावित परिणामों का सेट प्रेडिक्ट करता है, जिन्हें क्वांटाइल्स (quantiles) कहा जाता है। ये क्वांटाइल्स एक पूर्ण संभाव्यता वितरण (probability distribution) का प्रतिनिधित्व करते हैं, जो उपयोगकर्ता को न केवल यह बताते हैं कि अगला मान क्या हो सकता है, बल्कि यह भी कि मॉडल उस भविष्यवाणी के बारे में कितना निश्चित है। यह एक महत्वपूर्ण अंतर है, क्योंकि नियंत्रण प्रणालियाँ और अलार्म थ्रेशोल्ड अक्सर केवल एक बिंदु अनुमान के बजाय अनिश्चितता की सीमा को समझने पर निर्भर करते हैं। पूरा सिस्टम मेमोरी के एक निश्चित विंडो में चलने के लिए डिज़ाइन किया गया है, जिसका अर्थ है कि जैसे-जैसे भविष्यवाणी का क्षितिज (prediction horizon) बढ़ता है, इसे अपने मेमोरी उपयोग को बढ़ाने की आवश्यकता नहीं होती, जो इसे वास्तविक समय के अनुप्रयोगों के लिए स्थिर और अनुमानित बनाता है।

परीक्षण में, टाइनीकास्ट अपने अत्यंत छोटे पदचिह्न (footprint) के बावजूद उल्लेखनीय रूप से प्रतिस्पर्धी साबित हुआ। GIFT-Eval बेंचमार्क पर, जो टाइम सीरीज़ फोरकास्टिंग के लिए एक मानक परीक्षण है, इसने हर उस अन्य ज़ीरो-शट मॉडल को पछाड़ दिया जिसे इसके आकार के लिए मापा जा सकता था, और यह 1.4 मिलियन पैरामीटर्स से कम वाले मॉडलों में एकमात्र मॉडल था जो सफलतापूर्वक एक पूर्ण प्रेडिक्टिव डिस्ट्रीब्यूशन जारी करने में सफल रहा। अन्य मॉडलों के मुकाबले, जिनमें से कुछ में 28 गुना अधिक सेटिंग्स थीं, टाइनीकास्ट ने एक नया मोर्चा तय किया जहाँ आकार और सटीकता मिलते हैं। इसने प्रदर्शित किया कि आवधिक संरचना को स्पष्ट रूप रूप से कंप्यूट करके, मॉडल बिना किसी विशाल कम्प्यूटेशनल बजट के उच्च सटीकता प्राप्त कर सकता है। शोधकर्ता ने यह भी दिखाया कि मॉडल को 8-बिट इंटीजर फॉर्मेट में कंप्रेस किया जा सकता है, जिससे यह किसी बाहरी नेटवर्क या होस्ट कंप्यूटर के बिना एक मानक एम्बेडेड डेवलपमेंट बोर्ड पर चल सकता है।

एक भौतिक डिवाइस पर इस मॉडल की तैनाती ने इसकी व्यावहारिक उपयोगिता को उजागर किया। शोधकर्ता ने सफलतापूर्वक इसे STM32H753 माइक्रोकंट्रोलर पर चलाया, जो औद्योगिक और उपभोक्ता इलेक्ट्रॉनिक्स में उपयोग किया जाने वाला एक सामान्य चिप है। संपूर्ण प्रणाली, जिसमें मॉडल वेट्स और आवश्यक रनटाइम शामिल है, डिवाइस की मेमोरी में समाहित हो गई, जिसमें केवल लगभग 138 किलोबाइट स्टोरेज का उपयोग हुआ। मॉडल ने डेटा के पूर्ण संदर्भ को प्रोसेस किया और केवल चार सेकंड से कुछ अधिक समय में एक पूर्वानुमान उत्पन्न किया, जो कई वास्तविक समय की निगरानी कार्यों के लिए पर्याप्त गति है। महत्वपूर्ण रूप से, इसने बिना किसी प्रति-सिग्नल फिटिंग के यह किया, जिसका अर्थ है कि एक ही फर्मवेयर इमेज को उपकरणों के बेड़े (fleet) में तैनात किया जा सकता है, जहाँ प्रत्येक अलग प्रकार के सेंसर की निगरानी कर रहा हो, और यह तुरंत काम करेगा। यह प्रत्येक डिवाइस के लिए कस्टम मॉडल एकत्र करने और प्रशिक्षित करने की आवश्यकता को समाप्त करता है, जो बड़े पैमाने पर तैनाती के लिए अक्सर बहुत महंगा और समय लेने वाला होता है।

शोधकर्ता ने यह भी पता लगाया कि क्या होता है जब मॉडल को उसके आवधिकता डिटेक्टर (periodicity detector) से हटा दिया जाता है। जब उन्होंने इस घटक के बिना मॉडल को पुन: प्रशिक्षित किया, तो इसकी सटीकता गिर गई, जिससे पुष्टि हुई कि चक्रों की स्पष्ट गणना इसकी सफलता का एक महत्वपूर्ण हिस्सा थी। उन्होंने पाया कि डिटेक्टर केवल एक सहायक जोड़ नहीं था, बल्कि एक आवश्यक घटक था, जो एक ऐसा सिग्नल प्रदान करता था जिस पर मॉडल अपनी भविष्यवाणियों को संरेखित करने के लिए निर्भर था। इसके अलावा, उन्होंने मॉडल का विभिन्न हस्तक्षेपों (interventions) के विरुद्ध परीक्षण किया, जैसे कि उसे खुद लय कंप्यूट करने देने के बजाय पहले से गणना किए गए पूर्वानुमान खिलाना, और पाया कि ये दृष्टिकोण उतने प्रभावी नहीं थे। मॉडल की ताकत कच्चे डेटा से लय को मापने और फिर अपने सीखे हुए पैरामीटर्स का उपयोग करके भविष्यवाणी को परिष्कृत करने की क्षमता में निहित थी, न कि लय को शून्य से सीखने या बाहरी गणनाओं पर निर्भर रहने में।

टाइनीकास्ट की सफलता इस बारे में हमारे सोचने के तरीके में बदलाव का सुझाव देती है कि हम छोटे, कुशल मॉडल कैसे बनाते हैं। यह इस धारणा को चुनौती देता है कि प्रभावी होने के लिए एक मॉडल को सब कुछ डेटा से सीखना ही चाहिए। इसके बजाय, यह दिखाता है कि छोटे बजट के लिए, यह अक्सर बेहतर होता है कि ज्ञात संरचनाओं, जैसे कि सीजनलिटी (seasonality), की खोज को निश्चित गणितीय गणनाओं पर छोड़ दिया जाए। यह मॉडल की सीमित क्षमता को सिग्नल के अप्रत्याशित तत्वों पर ध्यान केंद्रित करने के लिए मुक्त करता है। शोधकर्ता ने उल्लेख किया कि यह दृष्टिकोण केवल टाइम सीरीज़ तक सीमित नहीं है; कोई भी संरचना जिसे सीखा जाने के बजाय मापा जा सकता है, उसे स्पष्ट रूप से कंप्यूट किया जा सकता है ताकि सीखे जाने वाले पैरामीटर्स की क्षमता वापस मिल सके। टाइनीकास्ट के मामले में, इस ट्रेड-ऑफ ने मॉडल को इतना छोटा बनाने की अनुमति दी कि वह माइक्रोकंट्रोलर पर फिट हो सके और साथ ही वह समृद्ध, संभाव्य पूर्वानुमान प्रदान कर सके जो बड़े, अधिक जटिल मॉडल आमतौर पर प्रदान करते हैं।

इस कार्य के निहितार्थ केवल टाइम सीरीज़ फोरकास्टिंग से परे हैं। यह दर्शाता है कि नेटवर्क के किनारे (edge) पर, जहाँ डेटा उत्पन्न होता है और तत्काल कार्रवाई की आवश्यकता होती है, परिष्कृत, फाउंडेशन-मॉडल-शैली की क्षमताओं को लाना संभव है। आवधिकता की एक सरल, स्पष्ट गणना के साथ एक हल्के वजन वाले न्यूरल नेटवर्क को जोड़कर, शोधकर्ता ने एक ऐसा उपकरण बनाया है जो शक्तिशाली और व्यावहारिक दोनों है। यह उन वातावरणों में इंटेलिजेंट फोरकास्टिंग तैनात करने के लिए एक मार्ग प्रदान करता है जहाँ बिजली, मेमोरी और कनेक्टिविटी सीमित है, जिससे डिवाइस को क्लाउड पर डेटा भेजने या कस्टम प्रशिक्षण चक्र की प्रतीक्षा किए बिना स्मार्ट निर्णय लेने में सक्षम बनाया जा सकता है। यह मॉडल एक प्रमाण है कि सही डिज़ाइन विकल्पों के साथ, उच्च-प्रदर्शन फोरकास्टिंग और एम्बेडेड बाधाओं के बीच के अंतर को पाटा जा सकता है।