ITGPT: Generative Pretraining on Irregular Timeseries
यह शोध पत्र ITGPT को प्रस्तुत करता है, जो एक अटेंशन-आधारित आर्किटेक्चर है जो अनियमित रूप से नमूने लिए गए (इरेगुलरली सैंपल्ड), मल्टीमॉडल टाइमसीरीज डेटा पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए सेल्फ-सुपरवाइज्ड और जनरेटिव प्रीट्रेनिंग का लाभ उठाता है, जिसमें रीसैंपलिंग, फीचर फ्यूजन या स्पष्ट इम्प्यूटेशन की आवश्यकता नहीं होती है, और यह विशेष रूप से कम लेबल वाले परिदृश्यों में उत्कृष्ट प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह भविष्यवाणी करने की कोशिश कर रहे हैं कि कार का इंजन कब खराब होगा या किसी मरीज की सेहत कब बिगड़ सकती है। आमतौर पर, आपके पास इन प्रणालियों पर नज़र रखने के लिए कई अलग-अलग सेंसर होते हैं। कुछ सेंसर हाई-स्पीड कैमरों की तरह होते हैं, जो एक सेकंड में 500 बार तस्वीरें खींचते हैं। अन्य धीमे चलते हुए घोंघों (snails) की तरह होते हैं, जो दिन में केवल एक बार माप लेते हैं।
समस्या यह है कि ये सेंसर एक ही शेड्यूल पर एक-दूसरे से बात नहीं करते हैं। कुछ डेटा गायब है, कुछ देर से आता है, और सभी तालमेल से बाहर हैं। वे अनियमित रूप से नमूने (irregularly sampled) लेते हैं। पारंपरिक कंप्यूटर मॉडल कठोर मुनीमों की तरह होते हैं; उन्हें इस अव्यवस्था से नफरत होती है। उन्हें काम करने के लिए, आपको आमतौर पर पूरे डेटा को एक व्यवस्थित ग्रिड में बदलने (resampling), गायब संख्याओं का अनुमान लगाने (imputation), या उन सभी को एक एकल, धुंधली तस्वीर में मिलाने (feature fusion) के लिए मजबूर करना पड़ता है। यह एक चौकोर खांचे में गोल छेद फिट करने जैसा है—इसमें जानकारी बर्बाद होती है और बहुत अधिक मैन्युअल काम की आवश्यकता होती है।
ITGPT से मिलिए।
लेखकों ने एक नया प्रकार का AI बनाया है, जिसे ITGPT कहा जाता है, जो अराजकता के साथ सहज है। ITGPT को एक कठोर मुनीम के रूप में नहीं, बल्कि एक कुशल कंडक्टर (master conductor) के रूप में सोचें, जो एक ऐसे ऑर्केस्ट्रा का नेतृत्व कर रहा है जहाँ हर संगीतकार अपनी गति से बजता है और जब चाहे रुक जाता है।
ITGPT कैसे काम करता है: "एंकर" (Anchor) का रूपक
संगीतकारों को अपनी लय बदलने के लिए मजबूर करने के बजाय, ITGPT एक चालाकी भरे तरीके का उपयोग करता है जिसमें एक "एंकर" (Anchor) शामिल है।
- एन्कोडर (अनुवादक): कल्पना कीजिए कि आपके सभी सेंसरों (संगीतकारों) से आने वाला अनियमित डेटा एक अनुवादक के पास बह रहा है। यह अनुवादक हर वाद्य यंत्र को सुनता है, चाहे वे कितनी भी तेज़ या धीमी गति से बज रहे हों, और उनकी अनूठी, बिखरी हुई लय को एक एकल, सुचारू और तालमेल वाली धुन ( "एंकर") में बदल देता है। यह किसी भी एकल वाद्य यंत्र के अनूठे विवरणों को खोए बिना होता है।
- डिकोडर (पुनर्निर्माता): फिर, AI का दूसरा हिस्सा उस सुचारू धुन को लेता है और व्यक्तिगत वाद्य यंत्रों की मूल, बिखरी हुई ध्वनियों को फिर से बनाने की कोशिश करता है।
AI को बार-बार इस "अनुवाद करो और पुनः निर्मित करो" के खेल को खेलने के लिए प्रशिक्षित करके, यह सीख जाता है कि ये प्रणालियाँ कैसे व्यवहार करती हैं, भले ही डेटा गायब हो या अनियमित हो। यह एक कहानी सुनने और फिर उसे फिर से सुनाने के माध्यम से भाषा सीखने जैसा है, न कि केवल एक शब्दकोश को रटने जैसा।
बिना शिक्षक के सीखना (स्व-पर्यवेक्षित शिक्षण - Self-Supervised Learning)
आमतौर पर, कंप्यूटर को खराबी की भविष्यवाणी करने के लिए सिखाने हेतु, आपको उन उदाहरणों की एक विशाल सूची की आवश्यकता होती है जहाँ खराबी वास्तव में हुई हो, जिसे किसी विशेषज्ञ द्वारा लेबल किया गया हो। लेकिन वास्तविक दुनिया में (जैसे अस्पतालों या ट्रक बेड़े में), वे विशेषज्ञ लेबल दुर्लभ और महंगे होते हैं।
ITGPT इसे दो विशेष प्रशिक्षण मोडों के साथ हल करता है:
- "खाली स्थान भरने" का खेल (SSL): AI को डेटा का एक हिस्सा दिखाया जाता है और उससे पूछा जाता है कि जो उसने अभी देखा है, उसके आधार पर अगला डेटा का टुकड़ा क्या होना चाहिए। यह ऐसा ही सभी डेटा के लिए करता है, चाहे वह लेबल किया गया हो या नहीं। यह एक किताब पढ़ने और हर वाक्य में अगले शब्द का अनुमान लगाने जैसा है। यह AI को बिना किसी शिक्षक की मदद के, बिना यह बताए कि वह सही है या नहीं, डेटा के "व्याकरण" को सिखाता है।
- "प्री-ट्रेनिंग फिर फाइन-ट्यूनिंग" की रणनीति (GPT): पहले, AI ढेर सारे बिना लेबल वाले डेटा पर "खाली स्थान भरने" का खेल खेलता है ताकि वह स्मार्ट बन सके। फिर, उसे बहुत कम लेबल वाले डेटा (विशेषज्ञों के नोट्स) मिलते हैं ताकि वह विफलता की भविष्यवाणी करने के विशिष्ट कार्य को सीख सके।
उन्होंने क्या पाया
शोधकर्ताओं ने ITGPT का परीक्षण दो वास्तविक दुनिया की जटिलताओं पर किया:
- हेल्थकेयर (TIHM): डिमेंशिया वाले लोगों की निगरानी करना, जिसमें ऐसे सेंसर थे जो नींद, हृदय गति और रक्तचाप को अलग-अलग समय पर रिकॉर्ड करते थे।
- ट्रक (CompX): भारी ड्यूटी वाले ट्रकों के पुर्जों के विफल होने की भविष्यवाणी करना, जिसमें 28,000 वाहनों के अनियमित सेंसर रीडिंग का डेटा उपयोग किया गया।
परिणाम:
- कोई सफाई नहीं: ITGPT को डेटा को रीसैंपल करने, गायब मानों को भरने या डेटा को ग्रिड में जबरदस्ती फिट करने की आवश्यकता नहीं थी। इसने सीधे कच्चे, बिखरे हुए डेटा को संभाला।
- कम लेबल के साथ जीत: जब शोधकर्ताओं ने AI को बहुत कम विशेषज्ञ लेबल दिए (जैसे कि उसे केवल 0.1% डेटा दिखाना), तो ITGPT ने, जिसने "खाली स्थान भरने" वाले प्रशिक्षण (SSL) का उपयोग किया था, उन मॉडलों की तुलना में बहुत बेहतर प्रदर्शन किया जिन्होंने केवल उपलब्ध लेबल को याद करने की कोशिश की थी।
- स्टेट-ऑफ-द-आर्ट (सर्वश्रेष्ठ): ट्रक डेटासेट पर, ITGPT ने इस विशिष्ट कार्य के लिए अब तक के सर्वश्रेष्ठ परिणाम प्राप्त किए, जिससे यह सिद्ध हुआ कि पहले डेटा के "व्याकरण" को सीखने से यह बाद में "कहानी" को समझने में मदद करता है।
मुख्य निष्कर्ष
ITGPT एक ऐसा नया उपकरण है जो हमें वास्तविक दुनिया में मौजूद विशाल, बिखरे हुए और अनियमित डेटा का उपयोग करने की अनुमति देता है, बिना इसे साफ करने में हफ्तों बिताए। यह डेटा के साथ खुद खेल खेलकर सीखता है, जो इसे तब अविश्वसनीय रूप से शक्तिशाली बनाता है जब हमारे पास मार्गदर्शन के लिए बहुत कम विशेषज्ञ लेबल होते हैं। यह ऐसी AI की ओर एक कदम है जो वास्तविक दुनिया को ठीक वैसे ही समझ सकती है जैसी वह है—अनियमित, अपूर्ण और अराजक।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।