Reinforcement Learning with World Models in the Era of Scale: From Online Imagination to World Action Models
यह शोध पत्र 2019 से 2026 तक वर्ल्ड मॉडल्स के साथ सुदृढीकरण अधिगम (Reinforcement Learning) के विकास की समीक्षा करता है, जो इंटरनेट-स्केल जनरेटिव फाउंडेशन मॉडल्स और एकीकृत आर्किटेक्चर की ओर तीन प्रमुख प्रतिमान परिवर्तनों (paradigm shifts) को रेखांकित करता है, और साथ ही रोबोटिक्स, स्वायत्त ड्राइविंग, स्वास्थ्य सेवा और मल्टी-एजेंट सिस्टम में उनके विविध अनुप्रयोगों का सर्वेक्षण करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे मन की कल्पना करें जो होने से पहले ही भविष्य का पूर्वाभ्यास (rehearse) कर सके। सदियों से, दार्शनिकों और जीवविज्ञानियों ने यह तर्क दिया है कि निर्णय के परिणामों का मानसिक सिमुलेशन करने की यह क्षमता बुद्धिमत्ता का एक आधार स्तंभ है। यह वह तरीका है जिससे एक इंसान तय करता है कि सड़क पार करते समय यातायात में कदम न रखे, या कैसे एक पक्षी तूफान के बीच से अपने उड़ने का रास्ता बनाता है। आर्टिफिशियल इंटेलिजेंस के आधुनिक युग में, शोधकर्ता मशीनों को यही कौशल सिखाने की कोशिश कर रहे हैं। वे इन आंतरिक सिमुलेशन को "वर्ल्ड मॉडल्स" (world models) कहते हैं। वास्तविक दुनिया में केवल परीक्षण और त्रुटि (trial and error) के माध्यम से सीखने के बजाय—जो एक धीमी, खतरनाक और महंगी प्रक्रिया है—एक कृत्रिम एजेंट इस बात का एक मानसिक मानचित्र बनाता है कि उसका वातावरण कैसे काम करता है। यह इस मानचित्र का उपयोग हजारों संभावित भविष्य की कल्पना करने के लिए करता है, अपने मन में कार्यों का परीक्षण करता है ताकि यह देख सके कि क्या सफलता की ओर ले जाता है और क्या आपदा की ओर, और यह सब बिना अपनी एक भी शारीरिक मांसपेशी हिलाए करता है। यह दृष्टिकोण एक सैद्धांतिक जिज्ञासा से बदलकर अगली पीढ़ी के बुद्धिमान सिस्टम बनाने के एक केंद्रीय स्तंभ के रूप में विकसित हो गया है।
2019 और 2026 के बीच प्रकाशित शोध की एक व्यापक समीक्षा बताती है कि यह क्षेत्र एक क्रांतिकारी परिवर्तन से गुजरा है। कहानी अब केवल रोबोट को तेजी से सीखने में मदद करने के बारे में नहीं है; बल्कि यह इस बारे में है कि कैसे ये सिस्टम सरल सिम्युलेटर से बढ़कर विशाल, मौलिक बुनियादी ढांचे बन गए हैं जो सेल्फ-ड्राइविंग कारों से लेकर चिकित्सा उपचार तक सब कुछ संचालित करते हैं। शोधकर्ता, वोजीशेक डैब्रोविकी (Wojciech Dąbrowicki) और आंद्रेज़ र्यूसेकी (Andrzej Rusiecki), उस यात्रा का पता लगाते हैं जो दृश्य कार्यों (visual tasks) में दक्षता सुधारने के प्रयासों के साथ शुरू हुई थी और उन प्रणालियों के रूप में परिणत हुई है जो वीडियो के अरबों फ्रेमों से सीखने में सक्षम हैं, जो भौतिक दुनिया को छूने से पहले ही नए कौशल का सपना देखने (dreaming up) में सक्षम हैं।
इस समीक्षा में पहचाना गया सबसे महत्वपूर्ण बदलाव इन प्रणालियों को प्रशिक्षित करने के तरीके में आया है। शुरुआती दिनों में, एक कृत्रिम एजेंट वास्तविक वातावरण के साथ बातचीत करते समय अपना वर्ल्ड मॉडल और अपनी निर्णय लेने की नीति (decision-making policy) एक साथ सीखता था। आज, प्रमुख दृष्टिकोण पहले वर्ल्ड मॉडल को प्री-ट्रेन करना है। शोधकर्ता अब इन प्रणालियों को बड़ी मात्रा में बिना लेबल वाले वीडियो डेटा—कभी-कभी मानव गतिविधि के दस हजार घंटों या इंटरनेट-स्केल फुटेज—को खिलाते हैं ताकि उन्हें सिखाया जा सके कि दुनिया कैसे चलती और बदलती है। एक बार जब यह मानसिक मॉडल बन जाता है, तो एजेंट इस सिम्युलेटेड "सपने" के भीतर पूरी तरह से अपने विशिष्ट कार्यों को सीखता है। उसे नया कौशल सीखने के लिए वास्तविक दुनिया के साथ बातचीत करने की आवश्यकता भी नहीं होती। इस पद्धति ने प्रणालियों को मानव वीडियोओं से सीखकर जटिल कार्यों, जैसे कि एक रोबोटिक हाथ द्वारा वस्तुओं को उठाने में महारत हासिल करने में सक्षम बनाया है, जिसमें केवल उस डेटा के एक छोटे से अंश की आवश्यकता होती है जो पहले आवश्यक माना जाता था।
एक अन्य प्रमुख विकास मानचित्र (map) और यात्री (traveler) के बीच की रेखा का धुंधला होना है। अतीत में, एक एजेंट के पास दुनिया को समझने के लिए एक अलग मॉडल और क्या करना है यह तय करने के लिए एक अलग मस्तिष्क होता था। नई पीढ़ी के सिस्टम, जिन्हें अक्सर 'वर्ल्ड एक्शन मॉडल्स' (World Action Models) कहा जाता है, इन दोनों कार्यों को एकीकृत करते हैं। जो मॉडल भविष्य की भविष्यवाणी करता है वह वहां तक पहुँचने के लिए आवश्यक कार्यों को भी उत्पन्न करता है। कुछ मामलों में, ये एकीकृत मॉडल इतने मजबूत होते हैं कि वे बिना किसी अतिरिक्त प्रशिक्षण के अंतिम निर्णय लेने वाले के रूप में कार्य कर सकते हैं। यह एकीकरण स्वायत्त ड्राइविंग (autonomous driving) में विशेष रूप से शक्तिशाली साबित हुआ है, जहाँ इन प्रणालियों को अब उत्पादन में तैनात किया जा रहा है ताकि वे दुर्लभ और खतरनाक परिदृश्यों की कल्पना कर सकें, जैसे कि सड़क पर दौड़ता हुआ बच्चा, जिससे वाहन को वास्तविक दुर्घटना का अनुभव किए बिना सुरक्षित रूप से प्रतिक्रिया करना सीखने में मदद मिलती है।
समीक्षा यह भी रेखांकित करती है कि ये सिस्टम कितने अधिक कुशल और अमूर्त (abstract) हो गए हैं। शुरुआती मॉडलों ने वीडियो फ्रेम के हर पिक्सेल को फिर से बनाने की कोशिश की, जो गणनात्मक रूप से भारी था और अक्सर सिस्टम को बैकग्राउंड शोर जैसे अप्रासंगिक विवरणों से विचलित कर देता था। नए दृष्टिकोणों ने पिक्सेल-दर-पिक्सेल पुनर्निर्माण को छोड़ना सीख लिया है, और इसके बजाय उन अंतर्निहित गतिकी (dynamics) और संबंधों पर ध्यान केंद्रित किया है जो कार्य के लिए महत्वपूर्ण हैं। इनमें से कुछ सिस्टम एक अरब से अधिक पैरामीटर तक बढ़ गए हैं, जो दस लाख घंटों से अधिक के वीडियो पर प्रशिक्षित हैं, फिर भी वे 'ज़ीरो-शॉट प्लानिंग' (zero-shot planning) कर सकते हैं, जिसका अर्थ है कि वे अपने विशाल प्रशिक्षण डेटा से जो सीखा है उसे लागू करके एक नया कार्य हल कर सकते हैं जिसे उन्होंने पहले कभी नहीं देखा।
इन छलांगों के बावजूद, लेखक बताते हैं कि महत्वपूर्ण चुनौतियां अभी भी बनी हुई हैं। एक निरंतर समस्या त्रुटियों का संचय (accumulation of errors) है; जब कोई सिस्टम घटनाओं के एक लंबे क्रम की कल्पना करता है, तो अगले चरण की भविष्यवाणी करने में छोटी गलतियाँ भी जुड़कर भविष्य का एक विकृत दृश्य बना सकती हैं। भौतिक सटीकता (physical accuracy) की भी समस्या है; जबकि ये मॉडल दृश्य पैटर्न की भविष्यवाणी करने में उत्कृष्ट हैं, वे कभी-कभी वस्तुओं के टकराने के सटीक यांत्रिकी या तरल पदार्थों के बहने के तरीके के साथ संघर्ष करते हैं। इसके अलावा, क्षेत्र में सफलता को मापने के लिए एक एकीकृत तरीके का अभाव है। कई अलग-अलग बेंचमार्क हैं, लेकिन उनमें से कोई भी यह पूरी तरह से अनुमान नहीं लगा पाता कि एक वर्ल्ड मॉडल किसी एजेंट को वास्तविक दुनिया के निर्णय लेने वाले कार्य में कितना बेहतर प्रदर्शन करने में मदद करेगा।
लेख समाप्त करता है कि हालांकि तकनीक अकादमिक प्रयोगों से औद्योगिक बुनियादी ढांचे में बदल गई है, लेकिन आगे का रास्ता इन मौलिक मुद्दों को हल करने की आवश्यकता है। दृष्टिकोण स्पष्ट है: एक ऐसा भविष्य जहाँ आर्टिफिशियल इंटेलिजेंस मानव वीडियो के विशाल इतिहास से सीख सके, भौतिक नियमों की गहरी समझ बना सके, और अपने कार्यों के परिणामों के बारे में सोचकर जटिल वातावरण में सुरक्षित रूप से नेविगेट कर सके। सरल 'परीक्षण और त्रुटि' से परिष्कृत 'कल्पना-आधारित शिक्षण' तक की यात्रा तीव्र रही है, लेकिन इन वर्ल्ड मॉडल्स की पूर्ण क्षमता का वास्तविक रूप से उपयोग अभी शुरू ही हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।