Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents
यह शोध पत्र Agentic Real2Sim को प्रस्तुत करता है, जो एक विजन-लैंग्वेज एजेंट फ्रेमवर्क है जो ज्यामिति (geometries) को पुनः प्राप्त करके, भौतिक मापदंडों (physical parameters) का अनुमान लगाकर और दृश्य घटकों (scene components) को संयोजित करके, वास्तविक दुनिया की रोबोटिक अंतःक्रियाओं को चलाने योग्य भौतिक सिमुलेशन में बदलने के श्रमसाध्य कार्य को स्वचालित करता है, जिससे विविध हेरफेर (manipulation) और गति डोमेन में स्केलेबल पॉलिसी लर्निंग और मूल्यांकन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक नया करतब सिखाने की कोशिश कर रहे हैं, जैसे कपों को एक के ऊपर एक रखना या कपड़े तह करना। आप एक इंसान को यह करते हुए दिखाने के लिए महीनों तक वीडियो शूट कर सकते हैं, लेकिन फिर आपको रोबोट को अभ्यास करने देने के लिए कंप्यूटर प्रोग्राम के अंदर हर एक कप, मेज और हाथ की हरकत को मैन्युअल रूप से फिर से बनाना होगा। यह एक वीडियो गेम के पात्र को उसके जीवन की दुनिया के हर एक पिक्सेल को हाथ से पेंट करके सिखाने जैसा है। यह "रियल-टू-सिम" (Real-to-Sim) की समस्या है: वास्तविक दुनिया के अव्यवस्थित वीडियो को एक साफ, खेलने योग्य डिजिटल जुड़वां (डिजिटल ट्विन) में बदलना। वैज्ञानिक इसे स्वचालित करने की कोशिश कर रहे हैं, लेकिन यह आमतौर पर एक नाजुक प्रक्रिया होती है जहाँ मेज की ऊंचाई या कप के वजन को मापने में एक छोटी सी गलती भी पूरे सिमुलेशन को बिगाड़ देती है।
"एजेंटिक" (Agentic) AI की दुनिया में प्रवेश करें। एक AI एजेंट को केवल एक साधारण कैलकुलेटर के रूप में नहीं, बल्कि एक छोटे, बेहद स्मार्ट प्रोजेक्ट मैनेजर के रूप में सोचें। निर्देशों की एक कठोर सूची का पालन करने के बजाय, एक एजेंट एक अव्यवस्थित स्थिति को देख सकता है, तय कर सकता है कि किन उपकरणों का उपयोग करना है, अपने काम की जांच कर सकता है, और चलते-फिरते गलतियों को सुधार सकता है। यह पेपर, जिसका शीर्षक "एजेंटिक रियल2सिम" (Agentic Real2Sim) है, एक बड़ा सवाल पूछता है: क्या हम इन स्मार्ट AI प्रोजेक्ट प्रबंधकों का उपयोग करके एक वीडियो को उस सटीक क्षण के एक उच्च-गुणवत्ता वाले, खेलने योग्य डिजिटल संस्करण में स्वचालित रूप से बदल सकते हैं? लक्ष्य केवल एक सुंदर 3D चित्र बनाना नहीं है; बल्कि एक भौतिकी-सटीक (physics-accurate) दुनिया बनाना है जहाँ रोबोट उस कार्य को फिर से कर सके, अपनी गलतियों से सीख सके और बेहतर बन सके, वह भी बिना किसी इंसान द्वारा हर एक नंबर को हाथ से बदलने की आवश्यकता के।
लेखक एक नया ढांचा पेश करते हैं जिसे एजेंटिक रियल2सिम कहा जाता है, जो इस पहेली को सुलझाने के लिए मिलकर काम करने वाली डिजिटल जासूसों और इंजीनियरों की एक टीम की तरह कार्य करता है। इसमें एक इंसान द्वारा 3D मॉडल को मैन्युअल रूप से साफ करने या यह अनुमान लगाने के बजाय कि कोई वस्तु कितनी भारी है, यह सिस्टम एक "विज़न-लैंग्वेज एजेंट" (एक AI जो छवियों को देख सकता है और भाषा को समझ सकता है) का उपयोग पूरे प्रक्रम को संचालित करने के लिए करता है। यह सिस्टम एक वास्तविक रोबोट के वस्तुओं के साथ बातचीत करने के वीडियो को लेता है—जैसे कि एक DROID रोबोट द्वारा एक उपकरण उठाना—और इस काम को चार विशिष्ट चरणों में तोड़ देता है, जिनमें से प्रत्येक को टीम के एक अलग "एजेंट" द्वारा संभाला जाता है।
सबसे पहले, विजुअल प्रोसेसिंग एजेंट वीडियो को देखता है। यह एक फॉरेंसिक विश्लेषक की तरह है जो सबसे अच्छे फ्रेम चुनने के लिए क्रिया को फ्रीज कर देता है, उन वस्तुओं को काट देता है जिन्हें रोबोट छू रहा है, और उनका 3D मॉडल बनाता है। यह पता लगाता है कि रोबोट कहाँ है, कैमरा कहाँ है, और फर्श कैसा दिखता है। यदि AI किसी छाया या प्रतिबिंब (reflection) के कारण भ्रमित हो जाता है, तो यह खुद से किसी दूसरे फ्रेम के साथ फिर से प्रयास करने के लिए कह सकता है।
इसके बाद, फिजिकल-प्रायर इन्फरेंस एजेंट आता है। यह इस समूह का "भौतिकी शिक्षक" है। यह 3D मॉडल को देखता है और उन अदृश्य गुणों का अनुमान लगाता है जिन्हें कंप्यूटर को महसूस करने के लिए जानना आवश्यक है ताकि सिमुलेशन वास्तविक लगे। यह पूछता है: "क्या यह वस्तु धातु की बनी है या रबर की? यह कितनी भारी है? यह कैसे उछलती है?" यह इन भौतिक नियमों को डिजिटल मॉडलों के साथ जोड़ देता है ताकि जब सिमुलेशन चले, तो एक भारी बॉक्स एक हल्के बॉक्स की तुलना में अलग तरह से गिरे।
फिर, सीन प्रिपरेशन एजेंट एक स्टेज मैनेजर की भूमिका निभाता है। यह सभी 3D मॉडल, रोबोट की शुरुआती स्थिति और कैमरा एंगल लेता है, और MuJoCo नामक एक भौतिक इंजन में पूरी डिजिटल दुनिया को स्थापित करता है। यह सुनिश्चित करता है कि रोबोट के पैर जमीन पर हों और वस्तुएं सही स्थानों पर हों।
अंत में, सिम्युलेटर-इन-द-लूप एजेंट एक गुणवत्ता नियंत्रण निरीक्षक है। यह यह देखने के लिए सिमुलेशन चलाता है कि क्या रोबोट वास्तव में वस्तु को पकड़ सकता है। यदि रोबोट कप को इसलिए नहीं पकड़ पाता क्योंकि डिजिटल कप थोड़ा सा दूर रखा गया था, तो यह एजेंट विफलता को नोट करता है, स्थिति को ठीक करता है, और तब तक फिर से प्रयास करता है जब तक कि रोबोट सफल न हो जाए। यह "कोशिश करो, जांचो, ठीक करो, फिर से कोशिश करो" का एक लूप है जो स्वचालित रूप से होता है।
शोधकर्ताओं ने 10 अलग-अलग प्रकार के कार्यों (जैसे वस्तुओं को उठाना और रखना) वाले 100 विभिन्न रोबोट वीडियो (DROID-100 नामक डेटासेट से) पर इस प्रणाली का परीक्षण किया। उन्होंने पाया कि यह प्रणाली लगभग 100 में से 48 एपिसोड को खेलने योग्य, यथार्थवादी सिमुलेशन में सफलतापूर्वक परिवर्तित कर सकती है जहाँ रोबोट कार्य को दोबारा दोहरा सकता है। हालाँकि इसका अर्थ यह है कि लगभग आधे प्रयासों को अभी भी चुनौतियों का सामना करना पड़ा या और अधिक सुधार की आवश्यकता थी, लेकिन परिणाम उत्साहजनक थे। यह सिस्टम विभिन्न प्रकार की चुनौतियों को संभालने के लिए पर्याप्त लचीला था: यह कपड़े या रस्सी जैसी नरम, लचीली वस्तुओं (deformable objects) का अनुकरण कर सकता था और यहाँ तक कि एक ह्यूमनॉइड रोबोट के चलने की गतिविधियों का भी।
सबसे रोमांचक निष्कर्षों में से एक लागत के बारे में था। टीम ने एजेंटों को चलाने के लिए विभिन्न "मस्तिष्क" (AI मॉडल) का उपयोग करके इस प्रणाली का परीक्षण किया। उन्होंने पाया कि एक छोटा, ओपन-सोर्स AI मॉडल (Gemma 4 नामक एक 31-बिलियन पैरामीटर वाला मॉडल) बड़ी तकनीकी कंपनियों के बहुत अधिक महंगे, प्रोप्रायटरी मॉडलों के समान ही प्रदर्शन करता है। वास्तव में, सस्ते मॉडल का उपयोग करने में समान संख्या में रूपांतरणों को चलाने के लिए लगभग 31 गुना कम पैसा खर्च हुआ। यह सुझाव देता है कि हमें इन डिजिटल जुड़वांों को बनाने के लिए सबसे महंगे, शक्तिशाली AI की आवश्यकता नहीं है; एक स्मार्ट, कुशल एजेंट बहुत कम कीमत पर भारी काम कर सकता है।
यह पेपर निष्कर्ष निकालता है कि हालांकि यह प्रणाली अभी भी पूर्ण नहीं है—इसे अभी भी कुछ जटिल दृश्य त्रुटियों या कठिन भौतिकी के साथ संघर्ष करना पड़ता है—यह एक बड़ी प्रगति का प्रतिनिधित्व करती है। इंसानों द्वारा मैन्युअल रूप से सिमुलेशन बनाने के बजाय, हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ AI एजेंट एक रोबोट को काम करते हुए देख सकते हैं, उस क्षण का डिजिटल जुड़वां बना सकते हैं, और अन्य रोबोटों को इससे सीखने दे सकते हैं। लेखक आशा करते हैं कि भविष्य में, इन डिजिटल जुड़वांों का उपयोग रोबोटों को नए कौशल तेजी से और सुरक्षित रूप से सीखने के लिए प्रशिक्षित करने हेतु किया जाएगा, जिससे भौतिक दुनिया की अव्यवस्थित वास्तविकता को सीखने के एक खेल के मैदान में बदल दिया जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।