← नवीनतम पेपर
🤖 machine learning

XP-JEPA: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics

यह शोध पत्र XP-JEPA को प्रस्तुत करता है, जो एक क्रॉस-प्रेडिक्टिव लर्निंग फ्रेमवर्क है जो प्रशिक्षण के दौरान विजुअल लेटेंट डायनेमिक्स को विशेषाधिकार प्राप्त भौतिक प्रक्षेप पथों (physical trajectories) के साथ ग्राउंड करता है ताकि पूर्वानुमान क्षमता और नियंत्रण प्रदर्शन में महत्वपूर्ण सुधार किया जा सके, जबकि विजुअल-ओनली परिनियोजन (deployment) के लिए भौतिक शाखा को हटा दिया जाता है।

मूल लेखक: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

प्रकाशित 2026-08-26
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जो रोबोट भविष्य की योजना बनाने में सक्षम होते हैं, वे अक्सर एक मानसिक शॉर्टकट का उपयोग करते हैं: वे दुनिया का एक आंतरिक मानचित्र बनाते हैं, जो एक प्रकार का सिमुलेशन है जहाँ वे वास्तव में कदम उठाने से पहले विभिन्न चालों का परीक्षण कर सकते हैं। ऐसा करने के लिए, रोबोट अपने परिवेश की एक तस्वीर लेता है, उस छवि को संख्याओं के एक सरलीकृत सेट में बदल देता है, और फिर एक कंप्यूटर प्रोग्राम से पूछता है कि यदि रोबोट किसी चीज़ को धकेले, उठाए या घुमाए, तो वह संख्या कुछ क्षणों बाद कैसी दिखेगी। यदि अनुमान लक्ष्य से मेल खाता है, तो रोबोट उस चाल को निष्पादित करता है। यह प्रक्रिया तब अच्छी तरह काम करती है जब रोबोट का आंतरिक मानचित्र इस बात को सटीक रूप से दर्शाता है कि भौतिक दुनिया कैसे बदलती है। हालाँकि, एक आम समस्या तब उत्पन्न होती है जब रोबोट केवल चित्रों के आधार पर भविष्य की भविष्यवाणी करना सीखता है। वह अपने ही फायदे के लिए बहुत चतुर हो सकता है, जिससे वह दृश्य डेटा में ऐसे पैटर्न खोज लेता है जो आसानी से अनुमानित होते हैं लेकिन वास्तविक भौतिकी से उनका कोई लेना-देना नहीं होता। उदाहरण के लिए, रोबोट यह सीख सकता है कि एक निश्चित रंग का नीला रंग के बाद आना सामान्य है, भले ही वास्तविक वस्तु हिली भी न हो। यह एक नाजुक समझ पैदा करता है जहाँ रोबोट की भविष्यवाणियाँ वास्तविकता से दूर हो जाती हैं, जिससे वह दुनिया के साथ अंतःक्रिया करने का प्रयास करते समय विफल हो जाता है।

नेशनल यूनिवर्सिटी ऑफ सिंगापुर के शोधकर्ताओं की एक टीम ने इस खामी को ठीक करने के लिए एक नया तरीका विकसित किया है, जो यह सुनिश्चित करता है कि रोबroट की आंतरिक भविष्यवाणियाँ भौतिकी के नियमों में जमी हुई रहें। वे अपने दृष्टिकोण को XP-JEPA कहते हैं। रोबोट को केवल वीडियो देखकर सीखने देने के बजाय, उन्होंने प्रशिक्षण के दौरान उसे सूचना का एक दूसरा स्ट्रीम दिया: वस्तुओं की भौतिक स्थिति का सीधा विवरण, जैसे कि उनकी सटीक स्थिति, आकार और अंतरिक्ष में उनका ओरिएंटेशन। यह भौतिक डेटा सत्य की एक छिपी हुई परत की तरह है जिसे रोबोट अपने कैमरे से नहीं देख सकता है लेकिन सीखने के दौरान उसका उपयोग कर सकता है। शोधकर्ताओं ने एक ऐसी प्रणाली डिजाइन की जहाँ रोबोट का विजुअल ब्रेन (दृश्य मस्तिष्क) और फिजिकल ब्रेन (भौतिक मस्तिष्क) मिलकर काम करते हैं। दोनों पक्ष क्रियाओं का एक ही इतिहास प्राप्त करते हैं और भविष्य की भविष्यवाणी करने का प्रयास करते हैं। विजुअल पक्ष अगली तस्वीर कैसी दिखेगी इसकी भविष्यवाणी करता है, जबकि फिजिकल पक्ष अगले निर्देशांकों (कोऑर्डिनेट्स) की भविष्यवाणी करता है। महत्वपूर्ण रूप से, यह प्रणाली इन दोनों भविष्यवाणियों को एक-दूसरे के साथ सहमत होने के लिए मजबूर करती है। यदि विजुअल पक्ष भविष्यवाणी करता है कि एक ब्लॉक ऊपर जाएगा, लेकिन फिजिकल पक्ष भविष्यवाणी करता है कि वह स्थिर रहेगा, तो सिस्टम सीखता है कि विजुअल भविष्यवाणी गलत है। यह क्रॉस-चेकिंग प्रक्रिया विजुअल सिस्टम को वास्तविक भौतिक परिवर्तनों पर ध्यान देने के लिए सिखाती है जो वास्तव में मायने रखते हैं, न कि केवल सतही दृश्य पैटर्न के आधार पर अनुमान लगाने के लिए।

शोधकर्ताओं ने इस पद्धति का परीक्षण विभिन्न प्रकार के रोबोटिक कार्यों पर किया, जिसमें ब्लॉकों को धकेलना, वस्तुओं को स्टैक करना और कंटेनरों में चीजें डालना शामिल था। उन्होंने अपने नए सिस्टम की तुलना उन मानक मॉडलों से की जो केवल चित्रों से सीखते हैं। परिणाम आश्चर्यजनक थे। जब शोधकर्ताओं ने नए सिस्टम को किसी कार्य का सिमुलेशन चलाने दिया, तो इसकी भविष्यवाणी में त्रुटि समय के साथ बहुत धीरे-धीरे बढ़ी। इसके विपरीत, मानक मॉडल की भविष्यवाणी काफी भटक गई, जो केवल कुछ चरणों के बाद अविश्वसनीय हो गई। विशेष रूप से, नए तरीके ने भविष्यवाणी त्रुटि को 0.361 से घटाकर 0.104 कर दिया। इस सटीकता में सुधार सीधे बेहतर प्रदर्शन में परिवर्तित हुआ। जब रोबोटों को वास्तव में कार्य करने के लिए कहा गया, तो नया सिस्टम 78.2 प्रतिशत समय सफल रहा, जो मानक विजुअल-ओनली मॉडल की 53.6 प्रतिशत सफलता दर से एक बड़ी छलांग है। यह सुधार छह अलग-अलग प्रकार की अंतःक्रियाओं में बना रहा, जो दर्शाता है कि यह विधि भौतिक चुनौतियों की एक विस्तृत श्रृंखला के लिए काम करती है।

अध्ययन के सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि क्या होता है जब रोबोट भौतिक डेटा का उपयोग करना बंद कर देता है। भौतिक जानकारी केवल प्रशिक्षण चरण के दौरान उपलब्ध होती है; यह वह चीज़ नहीं है जिसे एक वास्तविक दुनिया का रोबोट मिशन के दौरान माप सके। शोधकर्ताओं ने पाया कि एक बार जब रोबोट ने भौतिक डेटा की मदद से सीखना पूरा कर लिया, तो वे भौतिक सेंसरों को पूरी तरह से हटा सकते थे। रोबोट फिर केवल अपने कैमरे का उपयोग करके संचालित हुआ, बिल्कुल मानक मॉडलों की तरह। भौतिक डेटा तक पहुंच खोने के बावजूद, रोबोट ने भविष्य की भविष्यवाणी करने की बेहतर क्षमता बनाए रखी। यह सुझाव देता है कि रोबोट ने सफलतापूर्वक भौतिकी के नियमों को अपनी दृश्य समझ में आत्मसात कर लिया था। उसने दुनिया को इस तरह से देखना सीख लिया जो स्वाभाविक रूप से वस्तुओं के हिलने और परस्पर क्रिया करने के नियमों का सम्मान करता है, न कि केवल दृश्य ट्रिक्स को याद रखता है।

अध्ययन ने यह भी पता लगाया कि क्या केवल रोबोट को यह पहचानने में सिखाना कि वस्तुएं कहाँ स्थित हैं, समस्या को हल करने के लिए पर्याप्त होगा। उन्होंने एक अलग दृष्टिकोण अपनाया जहाँ रोबोट को छवि के एक एकल स्नैपशॉट से सीधे वस्तु की स्थिति का अनुमान लगाने के लिए मजबूर किया गया। हालांकि इस पद्धति ने रोबोट को एक विशिष्ट क्षण में वस्तु कहाँ है, यह पहचानने में बहुत कुशल बनाया, लेकिन इसने भविष्य में उस वस्तु के कैसे हिलने की भविष्यवाणी करने में मदद नहीं की। रोबलेट अभी भी किसी वस्तु की स्थिति का सटीक अनुमान लगा सकता था, लेकिन भविष्य के पथ के बारे में उसकी भविष्यवाणियाँ मानक मॉडल जितनी ही अविश्वसनीय थीं। यह अंतर महत्वपूर्ण है: अभी कोई चीज़ कहाँ है यह जानना भविष्य में उसके कैसे बदलने की समझ रखने के समान नहीं है। नया तरीका इसलिए सफल हुआ क्योंकि इसने क्रियाओं और भविष्य की स्थितियों के बीच के संबंध पर ध्यान केंद्रित किया, भौतिक डेटा का उपयोग उस संबंध को सीखने के लिए मार्गदर्शन के रूप में किया, न कि केवल वर्तमान दृश्य को लेबल करने के लिए।

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या विजुअल और फिजिकल डेटा के बीच संबंध को तोड़ दिया जाए तो क्या होगा। एक प्रयोग में, उन्होंने एक कार्य के विजुअल वीडियो को पूरी तरह से अलग, असंबंधित कार्य के फिजिकल डेटा के साथ जोड़ा। इस परिदृश्य में, रोबोट की भविष्यवाणियाँ अराजक हो गईं, और रोबोट को नियंत्रित करने की उसकी क्षमता केवल 16.6 प्रतिशत की सफलता दर तक गिर गई। यह परिणाम सिद्ध करता है कि सिस्टम सही जोड़ीदार (पेयरिंग) वाले विजुअल और फिजिकल सूचना पर निर्भर करता है। केवल भौतिक डेटा तक पहुंच होना पर्याप्त नहीं है; रोबोट को जो देखता है और वह दृश्य भौतिक रूप से कैसे विकसित होता है, उसके बीच के विशिष्ट लिंक को सीखना चाहिए। अध्ययन पुष्टि करता है कि सुधार दुनिया की सही गतिशीलता (डायनामिक्स) को सीखने से आया है, न कि केवल अधिक डेटा होने से।

अंत में, यह कार्य अधिक विश्वसनीय रोबोटिक प्लानिंग की दिशा में एक मार्ग प्रदर्शित करता है। भौतिक दुनिया के एक अस्थायी, विशेषाधिकार प्राप्त दृश्य का उपयोग करके, शोधकर्ताओं ने एक ऐसा मॉडल बनाया जो भविष्य की कल्पना करने में बहुत बेहतर है। रोबोट अपने कार्यों के परिणामों का अधिक सटीकता के साथ पूर्वानुमान लगाना सीखता है, जिससे वास्तविक वस्तुओं के साथ हेरफेर करने के प्रयास में विफलता का जोखिम कम हो जाता है। हालांकि वर्तमान प्रयोग एक सिम्युलेटेड वातावरण में किए गए थे, यह दृष्टिकोण मशीनों को दुनिया को केवल छवियों के संग्रह के रूप में नहीं, बल्कि निरंतर नियमों द्वारा शासित गतिशील भागों की एक प्रणाली के रूप में समझने के लिए सिखाने की एक स्पष्ट रणनीति प्रदान करता है। रोबोट को वास्तविक दुनिया में भारी भौतिक सेंसर ले जाने की आवश्यकता नहीं है; उसे केवल देखने का सही तरीका सीखना है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →