QuantWAMs: Calibrating at the Right Granularity for World Action Models
QuantWAMs एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो तीन नवीन रणनीतियों के माध्यम से क्वांटाइजेशन निर्णयों को वर्ल्ड एक्शन मॉडल्स के विशिष्ट कैलिब्रेशन संदर्भ के साथ संरेखित करता है, जिससे सिमुलेशन बेंचमार्क और वास्तविक-रोबोट हेरफेर कार्यों दोनों पर न्यूनतम प्रदर्शन गिरावट के साथ कुशल W4A4 परिनियोजन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खाना बनाना या ब्लॉक्स का टावर बनाना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट केवल एक तस्वीर देखकर अनुमान नहीं लगाता; बल्कि वह एक "वर्ल्ड एक्शन मॉडल" (World Action Model) का उपयोग करता है। इस मॉडल को एक सुपर-स्मार्ट, भविष्यवादी फिल्म निर्देशक के रूप में समझें। यह वर्तमान दृश्य को देखता है, भविष्यवाणी करता है कि आगे क्या होगा, और साथ ही यह भी तय करता है कि उस भविष्य को साकार करने के लिए रोबोट के हाथों को क्या करना चाहिए। यह एक बंद लूप (closed loop) है: रोबोट हिलता है, दुनिया बदलती है, रोबोट बदलाव को देखता है, और फिर अगला कदम तय करता है। यह अविश्वसनीय रूप से शक्तिशाली है, लेकिन यह एक बहुत ही छोटे, बैटरी से चलने वाले कैलकुलेटर पर एक ब्लॉकबस्टर फिल्म चलाने की कोशिश करने जैसा है। भविष्य की भविष्यवाणी करने और हाथों को चलाने के लिए आवश्यक गणित इतना भारी है कि इसके लिए आमतौर पर विशाल, महंगे कंप्यूटरों की आवश्यकता होती है।
इन रोबोटों को हमारे घरों और कारखानों के लिए व्यावहारिक बनाने के लिए, वैज्ञानिक इन विशाल कंप्यूटर दिमागों को छोटे चिप्स में समाहित करने के लिए उन्हें छोटा करना चाहते हैं। वे इसे "क्वांटाइजेशन" (quantization) नामक तकनीक का उपयोग करके करते हैं, जो एक हाई-डेफिनिशन मूवी को छोटी फ़ाइल आकार में कंप्रेस करने जैसा है। आप स्टोरेज और गति में भारी लाभ के लिए चित्र की थोड़ी सी गुणवत्ता का त्याग करते हैं। हालाँकि, इन फ़ाइलों को कंप्रेस करने के पुराने तरीके स्थिर छवियों या सरल टेक्स्ट के लिए डिज़ाइन किए गए थे, न कि एक ऐसे रोबोट के लिए जो लगातार हिल रहा है और दुनिया के प्रति प्रतिक्रिया दे रहा है। यदि आप पुराने नियमों का उपयोग करके रोबोट के मस्तिष्क को कंप्रेस करते हैं, तो वह भ्रमित (hallucinate) होने लग सकता है, कप पकड़ना भूल सकता है, या दीवारों से टकरा सकता है क्योंकि "कंप्रेशन" ने उसके निर्णय लेने के नाजुक संतुलन को बिगाड़ दिया होगा।
यहीं पर नया पेपर, QuantWAMs, काम आता है। शोधकर्ताओं ने महसूस किया कि रोबोट के मस्तिष्क को बिना तोड़े छोटा करने के लिए, आप केवल एक 'वन-साइज़-फिट्स-ऑल' कंप्रेशन टूल का उपयोग नहीं कर सकते। आपको कंप्रेशन को रोबोट की दुनिया के विशिष्ट "वाइब" (vibe) के अनुसार कैलिब्रेट करना होगा। उन्होंने पाया कि मानक तरीके तीन बड़ी गलतियाँ करते हैं: वे रोबोट के मस्तिष्क को अलग-थм देखते हैं (यह अनदेखा करते हुए कि क्रियाएं दुनिया को कैसे बदलती हैं), वे मस्तिष्क के सभी हिस्सों को एक समान मानते हैं (यह अनदेखा करते हुए कि वीडियो और एक्शन के हिस्से अलग हैं), और वे यह तय करने के लिए गलत डेटा का उपयोग करते हैं कि किसे छोटा किया जाए।
टीम ने QuantWAMs नामक एक नया तरीका प्रस्तावित किया जो इन त्रुटियों को ठीक करता है क्योंकि यह रोबोट के मस्तिष्क को एक एकल वाद्य यंत्र के बजाय एक जटिल ऑर्केस्ट्रा की तरह मानता है। उन्होंने इसे इस प्रकार किया:
सबसे पहले, उन्होंने महसूस किया कि रोबोट के मस्तिष्क के कुछ हिस्से "कोऑर्डिनेट-कम्पैटिबल" (coordinate-compatible) हैं, जिसका अर्थ है कि वे एक ही भाषा बोलते हैं और जानकारी साझा कर सकते हैं, जबकि अन्य पूरी तरह से अलग हैं। कल्पना कीजिए कि एक गायक दल (choir) में जहाँ सोप्रानो और टेनर एक ही शीट संगीत साझा कर सकते हैं, लेकिन ड्रमर को अपने स्वयं के संगीत की आवश्यकता होती है। पुराने तरीकों ने सबको एक ही शीट देने की कोशिश की, जिससे अराजकता फैल गई। QuantWAMs सावधानीपूर्वक केवल संगत हिस्सों को एक साथ समूहबद्ध करता है ताकि वे अपने "आउटलियर" (outlier) डेटा (अजीब, तेज़ स्वर जिन्हें कंप्रेस करना कठिन होता है) को साझा कर सकें, जिससे यह सुनिश्चित हो सके कि कंप्रेशन प्रत्येक अनुभाग की अनूठी आवाज़ को विकृत न करे।
दूसिमा, उन्होंने यह बदलने का तरीका बदला कि मस्तिष्क के किन हिस्सों को उच्च-गुणवत्ता वाला बना रहना चाहिए और किन्हें कंप्रेस किया जा सकता है। वीडियो वाले हिस्से और एक्शन वाले हिस्से को अलग-अलग देखने के बजाय, उन्होंने यह देखा कि वे साथ मिलकर कैसे काम करते हैं। यह एक डांस जोड़ी को जज करने जैसा है: आप केवल डांसर के पैरों की हरकत और पार्टनर के लिफ्ट को अलग-अलग रेट नहीं करते हैं; आप यह रेट करते हैं कि वे तालमेल में कैसे चलते हैं। मस्तिष्क के "जॉइंट" ग्रेडिएंट (वीडियो और एक्शन के संयुक्त प्रयास) का विश्लेषण करके, वे सटीक रूप से पहचान सके कि मस्तिष्क के कौन से स्तर रोबोट की सफलता के लिए सबसे महत्वपूर्ण थे और उन स्तरों को उच्च सटीकता के साथ सुरक्षित रखा, जबकि बाकी हिस्सों को सुरक्षित रूप से कंप्रेस कर दिया।
तीसरा, और शायद सबसे महत्वपूर्ण, उन्होंने कंप्रेस किए गए मस्तिष्क का परीक्षण एक "नकली" दुनिया में करना बंद कर दिया। मानक तरीके रोबोट का परीक्षण स्थिर चित्रों के सेट पर करते हैं, जैसे बंद ट्रैक पर ड्राइवर का टेस्ट। लेकिन एक वास्तविक रोबोट हमेशा एक ऊबड़-खाबड़ सड़क पर गाड़ी चला रहा होता है जहाँ हर मोड़ अगला दृश्य बदल देता है। उन्होंने एक "फिक्स्ड-इंटरवेंशन ऑडिट" (fixed-intervention audit) बनाया। उन्होंने रोबोट की वास्तविक, पूर्ण-सटीकता वाली गतिविधियों को लिया, उन्हें रोका, और पूछा: "यदि हमने इस सटीक क्षण पर कंप्रेस किए गए मस्तिष्क का उपयोग किया होता, तो क्या रोबोट उबर पाता?" इसने उन्हें सुरक्षा शेड्यूल को गतिशील रूप से समायोजित करने की अनुमति दी, जिससे यह सुनिश्चित हुआ कि जब दुनिया अव्यवस्थित हो जाए तब भी रोबोट सुरक्षित रहे।
इस नए दृष्टिकोण के परिणाम प्रभावशाली हैं, हालांकि लेखक सावधानी से नोट करते हैं कि वे सिमुलेशन और विशिष्ट वास्तविक दुनिया के परीक्षणों पर आधारित हैं। जब उन्होंने दो अलग-अलग रोबोट मॉडल (Fast-WAM और LingBot-VA) पर एक बहुत ही आक्रामक कंप्रेशन सेटिंग (W4A4, जिसका अर्थ है वेट्स और एक्टिवेशन्स दोनों के लिए 4-बिट प्रिसिजन का उपयोग करना) का उपयोग करके QuantWAMs का परीक्षण किया, तो रोबरोट का प्रदर्शन बहुत कम हुआ। सिमुलेशन में, सफलता दर मूल, अनकंप्रेस्ड संस्करण की तुलना में केवल 0.2 से 0.7 प्रतिशत अंक कम थी। उदाहरण के लिए, RoboTwin 2.0 नामक कार्य पर, कंप्रेस्ड रोबोट ने मूल के 91.9% की तुलना में 91.7% बार सफलता प्राप्त की।
इससे भी महत्वपूर्ण बात यह है कि इस कंप्रेशन के साथ भारी लाभ आए। रोबोट के वीडियो और एक्शन ब्लॉक्स के लिए आवश्यक मेमोरी मूल संस्करण की तुलना में लगभग 29% रह गई। इसने रोबोट को निर्णय लेने में 1.4 से 1.6 गुना तेज़ बना दिया। वे एक AgiBot G2 रोबोट का उपयोग करके सेब उठाने, ब्लॉक्स को स्टैक करने और तौलिया मोड़ने जैसे कार्यों को करने के लिए कंप्रेस्ड रोबोट को वास्तविक दुनिया में भी ले गए। इन वास्तविक दुनिया के परीक्षणों में, कंप्रेस्ड रोबोट ने 30 में से 17 प्रयासों में सफलता प्राप्त की, जबकि पूर्ण-सटीकता वाले संस्करण ने 30 में से 19 बार सफलता प्राप्त की, जिससे यह सिद्ध हुआ कि कंप्रेस्ड मस्तिष्क वास्तव में भौतिक वातावरण में कार्य कर सकता है।
यह पेपर सुझाव देता है कि रोबोट लर्निंग की अद्वितीय, क्लोज्ड-लूप प्रकृति का सम्मान करके—जहाँ क्रियाएं दुनिया को बदलती हैं, और दुनिया अगला एक्शन बदल देती है—हम अंततः इन शक्तिशाली AI मॉडलों को इतना छोटा बना सकते हैं कि वे उन रोबोटों पर चल सकें जिन्हें हम एक दिन अपने दैनिक जीवन में देखेंगे। यह कोई जादुई समाधान नहीं है जो सब कुछ तुरंत हल कर देता है, लेकिन यह रोबोट के दिमाग को स्मार्ट और छोटा बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।