Correcting a learned physical invariant improves world-model rollouts
यह शोध पत्र यह प्रदर्शित करता है कि जबकि DreamerV3 जैसे वर्ल्ड मॉडल्स वीडियो डेटा से ऊर्जा जैसे भौतिक इनवेरियंट्स (physical invariants) को एनकोड करना सीख सकते हैं, ये इनवेरियंट्स स्वायत्त रोलआउट्स (autonomous rollouts) के दौरान विचलित होते हैं, और सीखे गए बाधा (constraint) को संतुष्ट करने के लिए लेटेंट स्टेट को सुधारना भविष्यवाणी की सटीकता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, "वर्ल्ड मॉडल" (विश्व मॉडल) नामक एक विशिष्ट प्रकार का सॉफ्टवेयर भविष्यवाणी के लिए एक शक्तिशाली उपकरण के रूप में उभरा है। ये सिस्टम वीडियो फुटेज देखने और दुनिया कैसे चलती है, यह सीखने के लिए प्रशिक्षित किए जाते हैं, जिससे वे कल्पना कर पाते हैं कि आगे क्या होगा। यदि कोई रोबोट गिरती हुई गेंद के पथ या पेंडुलम के झूलने की भविष्यवाणी करना सीख जाता है, तो वह उस दूरदर्शिता का उपयोग अपने स्वयं के कार्यों की योजना बनाने के लिए कर सकता है। हालाँकि, एक ऐसे मॉडल के बीच एक महत्वपूर्ण अंतर है जो केवल पिक्सेल को सही ढंग से भविष्यवाणी करता है और एक ऐसे मॉडल के बीच जो उन पिक्सेल को नियंत्रित करने वाले भौतिक विज्ञान (फिजिक्स) को वास्तव में समझता है। एक मॉडल वीडियो के अगले फ्रेम का उच्च सटीकता के साथ अनुमान लगाने के लिए पैटर्न पहचानकर सीख सकता है, बिना गति के अंतर्निहित नियमों, जैसे कि गुरुत्वाकर्षण या ऊर्जा संरक्षण को समझे। यह अंतर तब बहुत गहरा हो जाता है जब हम इन मॉडलों से उन परिदृश्यों की कल्पना करने के लिए कहते हैं जो उनके प्रशिक्षण के दौरान देखे गए दृश्यों से कहीं आगे हैं; यदि मॉडल ब्रह्मांड के मौलिक नियमों का सम्मान नहीं करता है, तो उसकी दीर्घकालिक भविष्यवाणियाँ अंततः निरर्थक हो जाएँगी।
शोधकर्ताओं ने हाल ही में यह परीक्षण करने के लिए प्रयास किया कि क्या एक परिष्कृत वर्ल्ड मॉडल, जिसे केवल एक झूलते हुए पेंडुलम के वीडियो पर प्रशिक्षित किया गया था, ने वास्तव में ऊर्जा संरक्षण के भौतिक नियम को सीखा है। उन्होंने ड्रीमरवी3 (DreamerV3) नामक एक प्रणाली का उपयोग किया, जिसे वीडियो फ्रेम प्रभावी ढंग से भविष्यवाणी करने के लिए दिखाया गया था, लेकिन उन्होंने इसमें से किसी भी बाहरी मार्गदर्शन को हटा दिया। मॉडल को निर्वात (वैक्यूम) में झूलते पेंडुलम के 64-बाय-64 पिक्सेल वीडियो दिए गए, जिसमें ऊर्जा क्या है, इसके बारे में कोई लेबल नहीं था, कोई भौतिक समीकरण नहीं थे, और सही होने के लिए कोई पुरस्कार (रिवॉर्ड) नहीं दिया गया था। लक्ष्य यह देखना था कि क्या प्रशिक्षण के बाद, मॉडल ने अपने स्वयं के आंतरिक अवस्था (इंटरनल स्टेट) के भीतर एक छिपे हुए नंबर की खोज की है जो पेंडुलम के झूलने के साथ स्थिर रहता है, ठीक वैसे ही जैसे वास्तविक दुनिया की ऊर्जा करती है।
टीम ने पहले यह जांचा कि क्या मॉडल को ऐसे किसी नंबर को खोजने के लिए "पढ़ा" जा सकता है। उन्होंने पाया कि मॉडल को प्रशिक्षित करने से पहले भी, इसकी आंतरिक अवस्था के यादृच्छिक अनुमान कभी-कभी एक ऐसा नंबर बना सकते थे जो ऊर्जा जैसा दिखता था। इससे यह सुझाव मिला कि मॉडल के भीतर सही जानकारी होना ही यह साबित करने के लिए पर्याप्त नहीं था कि उसने भौतिकी को सीख लिया है। वास्तविक परीक्षण प्रशिक्षण के बाद आया। शोधकर्ताओं ने तीन स्वतंत्र रूप से प्रशिक्षित मॉडलों की आंतरिक अवस्था का विश्लेषण किया और पाया कि वे सभी लगभग एक ही छिपे हुए नंबर पर अभिसरित (कन्वर्ज) हुए थे। यह नंबर पेंडुलम के झूलने के दौरान बिल्कुल ऊर्जा के व्यवहार की तरह काम करता था: यह पेंडुलम के आगे-पीछे झूलने के साथ स्थिर रहा, सिमुलेशन की प्राकृतिक सीमाओं के कारण इसमें बहुत मामूली बदलाव आया। महत्वपूर्ण रूप से, यह निरंतरता उन मॉडलों में नहीं दिखी, जिन्हें डैम्प्ड (मंदित) पेंडुलम पर प्रशिक्षित किया गया था, जहाँ घर्षण के कारण ऊर्जा समाप्त हो जाती है। उन मामलों में, संरक्षित नंबर की खोज पूरी तरह से विफल रही, जिससे यह सिद्ध हुआ कि मॉडल केवल यादृच्छिक पैटर्न नहीं खोज रहे थे बल्कि विशेष रूप से एक भौतिक संरक्षण नियम की उपस्थिति के प्रति प्रतिक्रिया दे रहे थे।
हालाँकि, एक गहरी समस्या तब उभरी जब शोधकर्ताओं ने मॉडलों से वास्तविक वीडियो देखे बिना भविष्य की कल्पना करने के लिए कहा। जब मॉडलों को पेंडुलम की गति की भविष्यवाणी करने के लिए अकेले छोड़ दिया गया, तो उनके द्वारा सीखा गया छिपा हुआ नंबर बदलने लगा। यह समय के साथ धीरे-धीरे अपने मान (वैल्यू) को बदलने लगा, जिससे भौतिकी के उसी नियम का उल्लंघन हुआ जिसे मॉडल ने सीखा था। इस विचलन (ड्रिफ्ट) के कारण मॉडल की भविष्यवाणियाँ तेजी से गलत होती गईं। यह परीक्षण करने के लिए कि क्या यह विचलन त्रुटि का कारण था, शोधकर्ताओं ने एक सरल सुधार लागू किया: कल्पना के प्रत्येक चरण में, उन्होंने मॉडल की आंतरिक अवस्था को सही ऊर्जा स्तर पर वापस धकेल दिया। इस हस्तक्षेप में मॉडल को फिर से प्रशिक्षित करना या उसके कोड को बदलना शामिल नहीं था; इसने केवल आंतरिक अवस्था को सही पथ पर वापस लाया। परिणाम तत्काल और सुसंगत था। उन तीनों मॉडलों में जिन्होंने भौतिक नियम सीखा था, इस सुधार ने उनकी 50-चरणों की भविष्यवाणियों में लगभग 3 प्रतिशत की त्रुटि को कम कर दिया। इसके विपरीत, एक यादृच्छिक, अर्थहीन नंबर के आधार पर समान सुधार लागू करने से भविष्यवाणियाँ और खराब हो गईं।
यह अध्ययन बताता है कि इन कृत्रिम मस्तिष्क के संचालन में एक विशिष्ट विफलता मोड (फेलियर मोड) है। मॉडलों ने उन पिक्सेल से एक भौतिक बाधा को सफलतापूर्वक एनकोड किया था जिन्हें उन्होंने देखा था, फिर भी वे अपनी कल्पना में उस बाधा को बनाए रखने में विफल रहे। यह थोड़ा वैसा ही है जैसे कोई छात्र जो खेल के नियमों को पूरी तरह से रट सकता है लेकिन अकेले खेलते समय अवैध चालें चलता रहता है। शोध से पता चलता है कि हालांकि वर्ल्ड मॉडल भौतिक नियमों की संरचना को सीख सकते हैं, वे अपनी स्वयं की आंतरिक सिमुलेशन के दौरान उन नियमों का स्वतः पालन नहीं करते हैं। यह निष्कर्ष कि पैटर्न सीखने और नियम समझने के बीच एक अंतर है, यह दर्शाता है कि उन्नत प्रणालियाँ भी भौतिक सत्य को अपनी स्मृति में रख सकती हैं और साथ ही अपनी कल्पना में उसका उल्लंघन भी कर सकती हैं। यह कार्य यह दावा नहीं करता है कि इसने सभी जटिल प्रणालियों के लिए इस समस्या को हल कर लिया है, बल्कि यह पहचान करने का एक स्पष्ट तरीका प्रदान करता है कि कब किसी मॉडल ने एक भौतिक इनवेरिएंट (अपरिवर्तनीय) को सीखा है और उन त्रुटियों को ठीक करने का एक ठोस तरीका देता है जो तब उत्पन्न होती हैं जब वह उस नियम को लागू करना भूल जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।