Second Order Drifting Models
यह शोध पत्र सेकंड-ऑर्डर ड्रिफ्टिंग मॉडल्स (Second-Order Drifting Models) को प्रस्तुत करता है, जो फूरियर स्पेस में नेस्टरोव-जैसे त्वरण (Nesterov-like acceleration) को प्राप्त करने के लिए कृत्रिम वेग चरों (artificial velocity variables) के साथ ड्रिफ्टिंग डायनेमिक्स को संवर्धित करते हैं, जिससे एक-चरण अनुमान (one-step inference) बनाए रखते हुए प्रथम-क्रम के ड्रिफ्टिंग मॉडल्स में सूक्ष्म-स्तरीय संरचनाओं के धीमे अभिसरण (slow convergence) की समस्या को दूर किया जा सके।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं, लेकिन उसे पेंसिल देने और रेखा दर रेखा स्केच बनाने के लिए कहने के बजाय, आप उसे एक जादुई इरेज़र (मिटाने वाला) और एक खाली पन्ने से अंतिम चित्र तक "ड्रिफ्ट" (तैरने या खिसकने) करने के निर्देश देते हैं। यह जेनरेटिव एआई (generative AI) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें नया डेटा बनाना सीखती हैं—जैसे चित्र, ध्वनियाँ या रोबोट की गतिविधियाँ—जो बिल्कुल असली चीज़ों जैसा दिखता है।
आमतौर पर, ये एआई मॉडल एक स्लो-मोशन फिल्म की तरह काम करते हैं। एक चित्र बनाने के लिए, कंप्यूटर को सैकड़ों छोटे कदम उठाने पड़ते हैं, धीरे-धीरे एक धुंधले ढेर को एक स्पष्ट चित्र में बदलना पड़ता है। यह सटीक तो है, लेकिन धीमा और गणनात्मक रूप से महंगा है, जैसे पानी में ब्रश डुबोकर हज़ार बार एक उत्कृष्ट कृति (मास्टरपीस) पेंट करने की कोशिश करना। हाल ही में, वैज्ञानिकों ने ड्रिफ्टिंग मॉडल्स (Drifting Models) नामक एक तेज़ तरीका खोजा है। अंत में सैकड़ों कदम उठाने के बजाय, मॉडल अपने प्रशिक्षण के दौरान ही पूरे सफर को एक ही विशाल छलांग में पूरा करना सीख जाता है। यह रोबोट को सीधे तैयार चित्र तक कूदना सिखाने जैसा है। हालाँकि, इसमें एक पेंच है: यह "एक-कदम" (one-step) विधि बड़े, धुंधले आकार (जैसे चेहरे की रूपरेखा) सीखने में तो बहुत अच्छी है, लेकिन सूक्ष्म, तीक्ष्ण विवरणों (जैसे त्वचा की बनावट या मुस्कान का घुमाव) को सीखने में संघर्ष करती है। यह ऐसा है जैसे रोबट जंगल को तो देख सकता है लेकिन हर एक पत्ते को मिस कर देता है।
यह शोध पत्र, जिसका शीर्षक "सेकंड ऑर्डर ड्रिफ्टिंग मॉडल्स" (Second Order Drifting Models) है, रोबोट को पत्तों को भी देखने में मदद करने के लिए एक चतुर समाधान प्रस्तावित करता है। लेखक, ड्रेक ब्राउन, युहाओ हुआंग, शिह-ह्सिन वांग और बाओ वांग (यूनिवर्सिटी ऑफ यूटा), सुझाव देते हैं कि रोबोट के प्रशिक्षण में मोमेंटम (momentum - संवेग) नामक एक अवधारणा जोड़ने से काम बन जाएगा। इसे एक स्केटबोर्डर की तरह समझें: यदि आप केवल स्केटबोर्ड को आगे धकेलते हैं, तो जब आप धक्का देना बंद करते हैं तो वह तुरंत रुक जाता है। लेकिन यदि स्केटबोर्डर तेज़ी से चल रहा है और किसी ऊबड़-खाबड़ हिस्से से टकराता है, तो वे रुकते नहीं हैं बल्कि अपनी गति का उपयोग करके उसके ऊपर से फिसल जाते हैं। एआई को "कृत्रिम वेग" (artificial velocity) देकर, मॉडल उन कठिन, उच्च-आवृत्ति वाले विवरणों के ऊपर से आसानी से फिसल सकता है जो आमतौर पर उसे धीमा कर देते हैं। परिणाम स्वरूप, एक ऐसा मॉडल प्राप्त होता है जो अभी भी एक ही चरण में चित्र बनाता है लेकिन पहले की तुलना में बारीक विवरणों को बहुत बेहतर तरीके से पकड़ पाता है।
समस्या: "लो-पास फ़िल्टर" का जाल
यह समझने के लिए कि इस नए तरीके की आवश्यकता क्यों है, हमें यह देखना होगा कि मूल "ड्रिफ्टिंग मॉडल्स" कैसे काम करते हैं। कल्पना कीजिए कि आप लोगों की भीड़ (आपका एआई-जनरेटेड सैंपल) को एक विशिष्ट वीआईपी समूह (वास्तविक डेटा) के साथ मिलाने की कोशिश कर रहे हैं। एआई एक "ड्रिफ्ट फील्ड" (drift field) का उपयोग करता है, जो एक अदृश्य हवा की तरह है जो भीड़ को वीआईपी की ओर धकेलती है और खाली जगहों से दूर रखती है।
समस्या यह है कि यह हवा एक गणितीय उपकरण का उपयोग करके बनाई जाती है जिसे कर्नेल (kernel) कहा जाता है, जो एक लो-पास फ़िल्टर के रूप में कार्य करता है। रोजमर्रा की भाषा में, एक लो-पास फ़िल्टर एक छलनी की तरह है जो बड़े पत्थरों (कम-आवृत्ति, धुंधले आकारों) को आसानी से गुजरने देती है लेकिन रेत (उच्च-आवृत्ति, तीक्ष्ण विवरणों) को रोक देती है। इस कारण, एआई डेटा के बड़े आकार बहुत जल्दी सीख लेता है, लेकिन सूक्ष्म, तीक्ष्ण विवरण फंस जाते हैं। गणित दर्शाता है कि इन बारीक विवरणों के लिए, "हवा" इतनी कमजोर है कि एआई को उन्हें सही करने में अविश्वसनीय रूप से लंबा समय लगता है। यह एक धूल भरी खिड़की को पंख वाले झाड़ू (फेदर डस्टर) से साफ करने जैसा है जो केवल बड़े धब्बों पर काम करता है लेकिन बारीक धूल को बिना छुए छोड़ देता है।
समाधान: मिश्रण में मोमेंटम जोड़ना
लेखकों ने महसूस किया कि एआई बहुत धीरे चल रहा था क्योंकि वह केवल "फर्स्ट-ऑर्डर" (प्रथम-क्रम) गतिकी का उपयोग कर रहा था। भौतिकी में, फर्स्ट-ऑर्डर मोशन चलने जैसा है: आप उस गति से चलते हैं जो इस बात पर निर्भर करती है कि आप अभी कितनी ज़ोर से धक्का दे रहे हैं। यदि धक्का कमजोर है, तो आप धीरे चलते हैं।
इसे ठीक करने के लिए, उन्होंने सेकंड-ऑर्डर ड्रिफ्टिंग मॉडल्स पेश किए। केवल यह ट्रैक करने के बजाय कि एआई के नमूने कहाँ हैं, वे यह भी ट्रैक करते हैं कि वे नमूने कितनी तेज़ी से चल रहे हैं। उन्होंने समीकरण में एक "वेलोसिटी" (वेग) चर जोड़ा है। अब, एआई केवल चल नहीं रहा है; वह स्केटबोर्डिंग कर रहा है।
यहाँ जादू है: जब एआई को एक कठिन, उच्च-आवृत्ति वाले विवरण (धूल के एक छोटे से कण) का सामना करना पड़ता है, तो मोमेंटम उसे आगे बढ़ाता रहता है, भले ही "हवा" (ड्रिफ्ट फील्ड) कमजोर हो। यह गणितीय रूप से नेस्टरोव एक्सेलरेशन (Nesterov acceleration) नामक एक प्रसिद्ध अनुकूलन तकनीक के समान है, जिसका उपयोग कंप्यूटरों को समस्याओं को तेज़ी से हल करने में मदद करने के लिए किया जाता है। समस्या को "फेज़ स्पेस" (phase space - एक फैंसी शब्द जो स्थिति और गति दोनों को ट्रैक करने के लिए उपयोग किया जाता है) में उठाकर, लेखकों ने दिखाया कि एआई उन सूक्ष्म विवरणों को बहुत तेज़ी से पुनः प्राप्त कर सकता है, प्रभावी रूप से लो-पास फ़िल्टर द्वारा उत्पन्न बाधा को पार कर सकता है।
उन्होंने इसका परीक्षण कैसे किया
टीम ने केवल कागज़ पर गणित नहीं किया; उन्होंने मॉडल बनाया और इसे तीन अलग-अलग दुनियाओं में परीक्षण किया ताकि देखा जा सके कि क्या यह वास्तव में काम करता है।
- स्विस रोल (सिंथेटिक डेटा): उन्होंने एक सरल 2D आकार से शुरुआत की जिसे "स्विस रोल" कहा जाता है, जो एक मुड़े हुए कागज की शीट जैसा दिखता है जिसमें सर्पिल पैटर्न होता है। इस आकार में तीखे मोड़ और मोड़ होते हैं। मूल ड्रिफ्टिंग मॉडल सर्पिल के कड़ेपन को पकड़ने में संघर्ष करता था, जिससे अक्सर ऐसे नमूने बनते थे जो बहुत चिकने थे या जिनके किनारे गायब थे। हालाँकि, नया सेकंड-ऑर्डर मॉडल तीखे घुमावों को पूरी तरह से ट्रैक करता है, जो चित्र के उच्च-आवृत्ति वाले हिस्सों में कम त्रुटियां दिखाता है।
- MNIST (हस्तलिखित अंक): इसके बाद, उन्होंने हस्तलिखित संख्याओं (0 से 9 तक) के चित्र बनाने की कोशिश की। इस परीक्षण में, उन्होंने गुणवत्ता को FID (Fréchet Inception Distance) नामक एक स्कोर का उपयोग करके मापा, जहाँ कम संख्या बेहतर होती है। मूल ड्रिफ्टिंग मॉडल का स्कोर 59.5 था, लेकिन उनके नए सेकंड-ऑर्डर मॉडल ने इसे सुधारकर 48.2 कर दिया। इसका मतलब है कि जनरेट किए गए नंबर बहुत अधिक वास्तविक और कम धुंधले दिख रहे थे। महत्वपूर्ण बात यह है कि उन्होंने यह सब केवल 1 फंक्शन इवैल्यूएशन (एक चरण) में किया, जिससे गति का लाभ बरकरार रहा।
- रोबोटिक्स कंट्रोल: अंत में, उन्होंने रोबोटों पर इस मॉडल का परीक्षण किया। उन्होंने एआई को एक रोबोटिक हाथ को "लिफ्ट" (उठाना), "पुश" (धक्का देना), या "टूल हैंग" (औजार लटकाना) जैसे कार्यों को करने के लिए प्रशिक्षित किया। इन कार्यों में, रोबटेज को सटीक, त्वरित समायोजन करने की आवश्यकता होती है। सेकंड-ऑर्डर मॉडल ने इन कार्यों को काफी तेज़ी से सीखा। उदाहरण के लिए, "लिफ्ट" कार्य पर, नया मॉडल केवल 8 ट्रेनिंग एपोक्स (सीखने के दौर) में 100% सफलता दर तक पहुँच गया, जबकि पुराने ड्रिफ्टिंग मॉडल को 50 एपोक्स लगे, और एक अन्य लोकप्रिय विधि जिसे डिफ्यूजन पॉलिसी (Diffusion Policy) कहा जाता है, उसे 3050 एपोक्स लगे।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि प्रशिक्षण प्रक्रिया में एक सरल "वेलोसिटी" घटक जोड़कर, हम एक-चरण वाले जेनरेटिव मॉडल्स को धीमा किए बिना बहुत स्मार्ट बना सकते हैं। लेखक दिखाते हैं कि यह विधि मॉडल की बारीक विवरणों और जटिल पैटर्न को सीखने की क्षमता में सुधार करती है, चाहे वह अंक बनाना हो या रोबोटिक हाथ को नियंत्रित करना हो।
वे सावधानीपूर्वक यह नोट करते हैं कि यह ड्रिफ्टिंग मॉडल्स के लिए एक विशिष्ट सुधार है और हालांकि परिणाम सिंथेटिक डेटा, छवियों और रोबोटिक्स में उत्साहजनक हैं, अन्य प्रकार के एआई की पूर्ण क्षमता की अभी भी खोज की जा रही है। लेकिन फिलहाल, उन्होंने यह सिद्ध कर दिया है कि एआई को थोड़ा सा "मोमेंटम" देने से यह ऊबड़-खाबड़ रास्तों पर आसानी से फिसल सकता है और बड़े जंगल से लेकर छोटे पत्तों तक, पूरी तस्वीर देख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।